RocketMQ -- 文件不一致的解决方案

代码星河客
• 阅读 1508

前面提到了ConsumeQueue和IndexFile是通过ReputMessageService线程异步同步commitlog日志文件信息的,如果Commitlog日志文件写入成功后,Broker宕机,那就没办法进行同步了,导致Commitlog、ConsumeQueue、IndexFile文件数据不一致。那RocketMQ是怎么解决的呢?

stroe目录下的有一个文件,叫abort。

RocketMQ -- 文件不一致的解决方案

这个abort文件,在Broker启动的时候,会创建,如果是正常退出的话,那就会销毁。

所以正常情况下,abort文件只会存在运行期,停止的时候,是没有这个文件的。

RocketMQ -- 文件不一致的解决方案

当Broker启动的时候,如果没有abort文件,说明是正常退出。如果发现存在abort文件,那就是之前是异常退出的,可能Commitlog、ConsumeQueue、IndexFile文件出现数据不一致的情况,此时就需要进行修数。

stroe目录下的还有一个文件,叫checkpoint(同abort图),存储着Commitlog文件刷盘时间点、ConsumeQueue文件刷盘时间点、IndexFile文件刷盘时间点,这些信息用于异常退出时的判断处理。

加载IndexFile的时候,如果是异常退出,IndexFile文件刷盘时间点小于该索引文件最大的消息时间戳该文件将立即销毁。

对于ConsumeQueue文件来说,文件恢复机制又分为异常停止、正常停止。异常停止就是用abort文件来判断。

如果是正常停止,从倒数第三个开始恢复,不足三个的,直接第一个遍历,找到当前Commitlog日志文件的刷新指针和提交指针,并删除ConsumeQueue文件中这个指针后的所有文件。

剩下的就是通过偏移量,通过转发消息恢复ConsumeQueue文件和IndexFile文件的内容,这个步骤同上一篇。

假设有4个Commitlog日志文件,倒数第三个就是2,然后从2开始查找。由于是正常停止的,所以预留3个Commitlog日志文件来校验是不会出问题的。

RocketMQ -- 文件不一致的解决方案

如果是异常停止,直接读取最后一个文件,然后向前遍历到第一个正确存储的文件,剩下的步骤就和正常停止的差不多。

同样假设是4个Commitlog日志文件,由于是异常退出的,所以不知道在哪里出现问题,就只能从最后一个开始往前面遍历查找,直至找到正确的文件。

RocketMQ -- 文件不一致的解决方案

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
代码星河客
代码星河客
Lv1
看不清的挽留,正如你执着地向前走
文章
2
粉丝
0
获赞
0