kafka集群配置

kafka集群配置

本文B站视频教程: https://www.bilibili.com/vide...

关注微信,学习更多...

kafka集群配置_第1张图片

zookeeper集群环境搭建

修改配置文件,添加集群ip

server.1=192.168.18.128:2888:3888
server.2=192.168.18.138:2888:3888
server.3=192.168.18.148:2888:3888

server.A=B:C:D

A:其中 A 是一个数字,表示这个是服务器的编号;

B:是这个服务器的 ip 地址;

C:Zookeeper服务器之间的通信端口;

D:Leader选举的端口。

修改log data 路径

dataDir=/var/zkdata

创建myid

在dataDir目录下面创建myid文件,内容为对应的服务器id 例如 1 2 3

echo 1 > /var/zkdata/myid

查看集群状态

如果一个为leader,另外两个为follower就对了

有时候需要重启服务器 reboot

启动命令:

zkServer.sh start

查看集群节点状态:

zkServer.sh status
查看当前服务器是leader 还是follower

配置kafka集群

修改server.properties配置文件

  1. 修改broker.id ,每台服务器都不一样,最好跟zookeeper myid相同。
  2. 修改log.dirs路径。
  3. 修改zookeeper集群路径

    zookeeper.connect=192.168.18.128:2181,192.168.18.138:2181,192.168.18.148:2181
如果zookeeper和kafka都启动过,删除他们的旧的日志,否则会报如下错误
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID Reu8ClK3TTywPiNLIQIm1w doesn't match stored clusterId Some(BaPSk1bCSsKFxQQ4717R6Q) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. at kafka.server.KafkaServer.startup(KafkaServer.scala:220) at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44) at kafka.Kafka$.main(Kafka.scala:84) at kafka.Kafka.main(Kafka.scala)

本文B站视频教程: https://www.bilibili.com/vide...

关注微信,学习更多...

kafka集群配置_第2张图片

你可能感兴趣的