Rocketmq持久化

Rocketmq持久化_第1张图片
kafka单机队列/分区超过64个厚,load时间明显会飙升,队列越多,load越高,发送消息时间变长
RocketMQ 单机支持支持5W队列,load时间稳定

为什么?
因为二者的持久化方式差异
kafka 不同的topic和分区持久化都会有独立的文件保存
这就导致了它io的时候要在不同的文件下切换,当切换次数多的时候会表现的很不稳定

rocketmq 不管多少个topic,多少个队列都是保存在一个文件下避免了切换问题,所以在多队列的场景下稳定

Rocketmq持久化_第2张图片

commitlog是消息存储的主体,producer发送的消息都会顺序写入commitlog
写入commitlog的同时 会启动一个异步线程 同步到Comsumequeue
comsumequeue(逻辑消费队列)是基于topic的文件索引,记录了 commitlog offset,message size ,taghashcode 固定20Bytes
消费者读取消息时,先读取comsumerQueue ,然后再通过commitlog中拿到消息主体

indexFile 是可以通过key(topic+msgid) 或时间区间来查询消息的方式,主要是针对客户端和控制台接口提供根据key查询消息的实现。

你可能感兴趣的