当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

kafka接口协议二 详细

发表于: 2015-07-10   作者:blackproof   来源:转载   浏览:
摘要: kafka没有直接将消息发给某个topic的partition,所以product必须发送partition的broker   client可以从任意broker获得cluster metadata信息,获得paritition的leader broker,当leader broker处理数据有误时,有两种情况1.broker死了,2broker不在包含此partition;

kafka没有直接将消息发给某个topic的partition,所以product必须发送partition的broker

 
client可以从任意broker获得cluster metadata信息,获得paritition的leader broker,当leader broker处理数据有误时,有两种情况1.broker死了,2broker不在包含此partition;
所以需要循环处理过程,当返回有误,则刷新metadata,在执行
 
官网:

 

  • Cycle through a list of "bootstrap" kafka urls until we find one we can connect to. Fetch cluster metadata.
  • Process fetch or produce requests, directing them to the appropriate broker based on the tofspic/partitions they send to or fetch from.
  • If we get an appropriate error, refresh the metadata and try again.
 
partition策略:
为了分摊请求压力和数据均衡, 用多余broker的producer随机写parition
 
producer:使用异步,默认是batch,1表示压缩用gz
  1. props.put("zk.connect"‚ "127.0.0.1:2181");  
  2. props.put("serializer.class""kafka.serializer.StringEncoder");  
  3. props.put("producer.type""async");  
  4. props.put("compression.codec""1");  

kafka接口协议二 详细

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号