kafka 系列 -- 7.2、日志索引
文章目录
kafka 的索引文件以稀疏索引的方式构造消息的索引,每个 segmentfault 文件,对应 2 个索引文件。偏移量索引文件(xx.index)用于建立消息偏移量到物理地址之间的映射关系;时间戳索引文件(xx.timeindex)根据指定的时间戳查找对应的偏移量信息。
.index、.timeindex 均保持严格单调递增,在查找时,都使用二分查找法,如果查不到,均返回比查找值要小的最大值。
日志切分
当日志分段文件满足以下几个条件任意之一,便会切分索引文件
- 分段文件大小超过
broker参数log.segment.bytes配置的值,默认为1073741824,即1G - 当前分段日志中消息的最大时间戳与当前系统的时间戳差值大于
log.roll.ms或log.roll.hours参数配置的值。其中前者优先级大于后者,默认配置了log.roll.hours = 168,即7天 .index或.timeindex的大小达到broker端参数log.index.size.max.bytes配置的值,该值默认为10485760即10MB- 追加的消息的偏移量与当前日志分段的偏移量之间差值大于
Integer.MAX_VALUE
偏移量索引(.index)
.index 每个索引项,占 8 个字节。结构如下图所示:
- relativeOffset:相对偏移量,表示消息相对于
baseOffset偏移量,占用4个字节 - position:物理地址,消息在日志分段文件中对应的物理位置
消息的偏移量(offset)占用 8 个字节,称为绝对偏移量。为了节省空间, relativeoffset 采用 4 个字节,relativeOffset = offset - baseOffset。
因为 relativeOffset 是 4 个字节,因此当 offset - baseOffset 值大于 Integer.MAX_VALUE,则会导致无法继续存储在当前 .index 文件
时间戳索引(.timeindex)
每个索引项占用 12 个字节,结构如下图:
- timestamp:
当前日志分段最大的时间戳。占 8 个字节
- relativeOffset:
时间戳所对应的消息的相对偏移量。占 4 个字节
与 RocketMQ 异同
不同点
rocketMQ的索引文件,存放在index目录下。rocketMQindex 文件的存储结构为index header+500W个 hash槽+2000W 个 index条目。

rocketMQ使用的是hash进行查找,使用的是链表法解决冲突hash冲突。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论