当前位置:首页 > 开发 > 开源软件 > 正文

kafka offset迁移

发表于: 2015-07-05   作者:kane_xie   来源:转载   浏览:
摘要: 在早前的kafka版本中(0.8.0),offset是被存储在zookeeper中的。   到当前版本(0.8.2)为止,kafka同时支持offset存储在zookeeper和offset manager(broker)中。   从官方的说明来看,未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话,可以考虑在合适

在早前的kafka版本中(0.8.0),offset是被存储在zookeeper中的。

 

到当前版本(0.8.2)为止,kafka同时支持offset存储在zookeeper和offset manager(broker)中。

 

从官方的说明来看,未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话,可以考虑在合适的时候将offset迁移到kafka broker上。

 

以下是迁移步骤:

 

  1. 在consume config中,修改offsets.storage=kafka并且dual.commit.enabled=true。第一个修改不用解释。第二个配置项的意思是,同时提交offset到zookeeper和offset manager上,这是为了保证在迁移过程中offset不会丢失。
  2. rolling restart consumers并且确认运行正常。这时已经完成offset的迁移工作。
  3. 修改consumer config,dual.commit.enabled=false。双重提交offset会带来额外的开销,在完成迁移工作之后最好把这项配置关闭。
  4. rolling restart consumers

 

kafka offset迁移

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
对Kafka offset的管理,一直没有进行系统的总结,这篇文章对它进行分析。 什么是offset offset是con
对Kafka offset的管理,一直没有进行系统的总结,这篇文章对它进行分析。 什么是offset offset是con
对Kafka offset的管理,一直没有进行系统的总结,这篇文章对它进行分析。 什么是offset offset是con
kafka数据迁移操作流程: 此次数据迁移主要是针对Isr自动同步异常,而进行手动干预的操作。 具体的
1. 获取Kafka Consumer Offset Monitor安装包 http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer
1. 获取Kafka Consumer Offset Monitor安装包 http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer
1. 获取Kafka Consumer Offset Monitor安装包 http://pan.baidu.com/s/1kT5KeQ7 2. Kafka Consumer
系列目录 时序收敛:基本概念 建立时间和保持时间(setup time 和 hold time) OFFSET约束(OFFSET
9 kafka
kafka设计原理介绍 背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设
10 kafka
topics主题 producers 生产者(发布消息到主题) consumers 消费者(订阅主题并处理消息) broker
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号