当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

kafka topic命令

发表于: 2015-07-02   作者:blackproof   来源:转载   浏览次数:
摘要:    kafka topic可以定制执行brokerid和partition的topic,还有增加partition kafka topic Create, delete, describe, or change a topic. Option                  

 

 kafka topic可以定制执行brokerid和partition的topic,还有增加partition

kafka topic

Create, delete, describe, or change a topic.

Option                                  Description                            

------                                  -----------                            

--alter                                 Alter the configuration for the topic. 

--config <name=value>                   A topic configuration override for the 

                                          topic being created or altered.The   

                                          following is a list of valid         

                                          configurations:                      

                                                unclean.leader.election.enable        

                                                delete.retention.ms                   

                                                segment.jitter.ms                     

                                                retention.ms                          

                                                flush.ms                              

                                                segment.bytes                         

                                                flush.messages                        

                                                segment.ms                            

                                                retention.bytes                       

                                                cleanup.policy                        

                                                segment.index.bytes                   

                                                min.cleanable.dirty.ratio             

                                                max.message.bytes                     

                                                file.delete.delay.ms                  

                                                min.insync.replicas                   

                                                index.interval.bytes                  

                                        See the Kafka documentation for full   

                                          details on the topic configs.        

--create                                Create a new topic.                    

--delete                                Delete a topic                         

--delete-config <name>                  A topic configuration override to be   

                                          removed for an existing topic (see   

                                          the list of configurations under the 

                                          --config option).                    

--describe                              List details for the given topics.     

--help                                  Print usage information.               

--list                                  List all available topics.             

--partitions <Integer: # of partitions> The number of partitions for the topic 

                                          being created or altered (WARNING:   

                                          If partitions are increased for a    

                                          topic that has a key, the partition  

                                          logic or ordering of the messages    

                                          will be affected                     

--replica-assignment                    A list of manual partition-to-broker   

  <broker_id_for_part1_replica1 :         assignments for the topic being      

  broker_id_for_part1_replica2 ,          created or altered.                  

  broker_id_for_part2_replica1 :                                               

  broker_id_for_part2_replica2 , ...>                                          

--replication-factor <Integer:          The replication factor for each        

  replication factor>                     partition in the topic being created.

--topic <topic>                         The topic to be create, alter or       

                                          describe. Can also accept a regular  

                                          expression except for --create option

--topics-with-overrides                 if set when describing topics, only    

                                          show topics that have overridden     

                                          configs                              

--unavailable-partitions                if set when describing topics, only    

                                          show partitions whose leader is not  

                                          available                            

--under-replicated-partitions           if set when describing topics, only    

                                          show under replicated partitions     

--zookeeper <urls>                      REQUIRED: The connection string for    

                                          the zookeeper connection in the form 

                                          host:port. Multiple URLS can be      

                                          given to allow fail-over.  

 

 

topic describe命令:

topic所有的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest

在复制的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --under-replicated-partitions    

没有leader的partition

 bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --unavailable-partitions

 打印新配置

  bin/kafka-topics.sh --describe --topic dirkzhang --zookeeper host34/kafka-dirktest --topics-with-overrides

 

 

topic create 命令

bin/kafka-topics.sh --create --topic testcreate2 --zookeeper host34/kafka-dirktest --partitions 3 --replication-factor 2

数据定位具体的brokerid

在用replica-assignment的时候,不允许用partitions和replication-factor

并且replica不能重复

bin/kafka-topics.sh --create --topic testcreate --zookeeper host34/kafka-dirktest  --replica-assignment 0341:0361,0341:0371,0341:0361

 

topic add命令

增加partition,partitions必须是增多的

bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4 

以下命令不管用 bug:

bin/kafka-topics.sh --alter --topic testcreate --zookeeper host34/kafka-dirktest --partitions 4  --replica-assignment 0341:0361

 

修改topic的delete时间为6小时

bin/kafka-topics.sh --alter --zookeeper host211/kafka-real --topic report_rtb_request --config delete.retention.ms=21600000

 

 

kafka topic命令

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛
  《Windows Azure Platform 系列文章目录》   项目文件,请在这里下载   在笔者之前的文章中
1.概述   在《Kafka实战-入门》一篇中,为大家介绍了Kafka的相关背景、原理架构以及一些关键知识
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
kafka自带了很多工具类,在源码kafka.tools里可以看到: 这些类该如何使用呢,kafka的设计者早就为
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_co
1. 获取Kafka Consumer Offset Monitor安装包 http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer
1. 获取Kafka Consumer Offset Monitor安装包 http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号