当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

kafka接口协议二 详细

发表于: 2015-07-10   作者:blackproof   来源:转载   浏览次数:
摘要: kafka没有直接将消息发给某个topic的partition,所以product必须发送partition的broker   client可以从任意broker获得cluster metadata信息,获得paritition的leader broker,当leader broker处理数据有误时,有两种情况1.broker死了,2broker不在包含此partition;

kafka没有直接将消息发给某个topic的partition,所以product必须发送partition的broker

 
client可以从任意broker获得cluster metadata信息,获得paritition的leader broker,当leader broker处理数据有误时,有两种情况1.broker死了,2broker不在包含此partition;
所以需要循环处理过程,当返回有误,则刷新metadata,在执行
 
官网:

 

  • Cycle through a list of "bootstrap" kafka urls until we find one we can connect to. Fetch cluster metadata.
  • Process fetch or produce requests, directing them to the appropriate broker based on the tofspic/partitions they send to or fetch from.
  • If we get an appropriate error, refresh the metadata and try again.
 
partition策略:
为了分摊请求压力和数据均衡, 用多余broker的producer随机写parition
 
producer:使用异步,默认是batch,1表示压缩用gz
  1. props.put("zk.connect"‚ "127.0.0.1:2181");  
  2. props.put("serializer.class""kafka.serializer.StringEncoder");  
  3. props.put("producer.type""async");  
  4. props.put("compression.codec""1");  

kafka接口协议二 详细

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
Kafka系统的角色 Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_co
本文已授权InfoQ独家发表,如需转载请注明出处并与InfoQ中文站联系。InfoQ首发地址为http://www.inf
本文已授权InfoQ独家发表,如需转载请注明出处并与InfoQ中文站联系。InfoQ首发地址为 http://www.in
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完
这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上
串行通信是指使用一条数据线,将数据一位一位地依次传输,每一位数据占据一个固定的时间长度。其只
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号