Kafka 4.4 重平衡时,谁来收尾还没做完的订单?
文章目录
四个消费者中有一个重启。重启前,仪表盘只有 180 条积压。重启后,整体积压峰值也不大,值班消息却来了:某个分区的订单邮件停了四十秒,而另几个分区一直在跑。如果报表只画组级平均值,四十秒会被稀释得几乎看不见。
Kafka 4.4 的新消费者组协议适合拿这类问题来检验。它把更多重平衡协调放到 broker,成员切换时不必沿用旧协议那种全组交接过程。对应用来说,真正需要测的是一条分区交出去之前,旧消费者手上的活是如何结束的。下面的队列和数据都是演练设定。
先记每个分区最后一次完成处理的时间
建一个 12 分区主题,起三个相同消费者。写入固定速率的数据,在一个分区上集中约三分之一的请求。消息包括分区内递增序号和可对账的订单键。消费者将业务结果写入测试表,读取记录、完成处理、提交偏移分别打印时间。每秒再记录一次分区当前持有者。重平衡期间,持有者变化但订单依然进库,与完全停止处理,是截然不同的结果。
不要用偏移量显示的积压代替应用完成情况。如果应用把记录交给线程池,poll() 返回时可能还有不少工作没执行。先查业务表,再查提交偏移,最后才用组级积压核对整体趋势。

把消费者恢复速度与业务重复处理风险分别测量。
第一组跑现有协议,第二组用 4.4 文档支持的客户端、broker 和配置。选用 group.protocol=consumer 后,核对 broker 控制的会话时间和心跳配置,旧客户端配置不能直接照搬。已有组能否滚动迁移也与分配策略和兼容条件有关。用一组新建的测试消费者跑完,再决定现有生产组采用哪种切法。
把「故障」分成三个可复现的动作
| 演练 | 操作 | 要抓的时间点 |
|---|---|---|
| 计划扩容 | 从三个实例加到四个 | 热分区交接耗时,未改派分区是否停顿 |
| 非计划退出 | 在测试环境中断一个消费者的连接 | 从最后一次正常处理到重新交付的时间 |
| 提交丢失 | 测试进程完成外部写入后退出 | 重复交付次数,外部动作真正重复的次数 |
先做扩容,你会知道协调本身给正常成员带来多大干扰。再测非计划退出。这次会把失联判定和新持有者接管计入,结果通常与优雅退出不同。第三次是为了把心跳和业务正确性拆开:新协议即使很快恢复交付,也不会替数据库撤回已经提交但 Kafka 尚未确认的动作。
为交接回调设一个有理由的上限
一个容易踩中的实现是撤销回调里循环等线程池为空。既然这些工作还在用这个分区,把它们等完再交接很自然。问题是线程池里混有其他分区的工作,或某个请求可以阻塞一分钟。后续会出现新持有者迟迟接不到分区,旧持有者的处理和提交也逐步脱节。更细的粒度是每分区一份正在执行的记录及提交水位;撤销哪个分区,便停止派发该分区,等待有界的一小段时间,做允许的最终提交并释放状态。已经收到丢失分区类事件时,还要当心所有权早已不在当前成员,不能把回调当成安全提交的时机。
建议在故障演练表上另记两个值:停止派发以后旧成员还完成了几个动作,哪些动作被下一个成员再次收到。某些业务要求同分区顺序,即使提交水位连续,多线程也可能把业务副作用做乱。若订单创建与取消靠分区顺序保障,把同一业务键串行化或让目标存储验证状态转移。日志能证明偏移有序,并不能证明邮件或订单状态按预期出现。
还可以加一个跨峰值的长测。先扩到四个实例,按原请求速率跑一轮,再压低其中一个实例的下游容量,看其它分区是否仍稳定。恢复后把它缩回三个,检查交接是否导致重复外部动作。组协议通常解决交接如何发生,消费实现决定交接多久可结束。分别记录和验收,后面调整并发或分配策略就不必重新解释整场试验。
偏移量最大的完成记录,为什么不一定能提交
假设分区依次读到偏移 40、41、42。工作线程先完成了 40 和 42,41 正在等服务返回。此时提交偏移 43 等于告诉下一位消费者从 43 开始,41 可能永远不会再交付。可以为每个分区跟踪已完成的连续前缀,并把下一条待处理偏移提交给 Kafka。
已交付 40 41 42 43
已完成 ✓ ✓
可提交偏移 41
41 结束后 40 41 42 43
✓ ✓ ✓
此时可提交 43
收到分区撤销事件以后,把停止分派、等待短时间内能完成的任务、提交连续偏移写成明确顺序。等待无上限也有副作用,会拉长重平衡。已经执行成功但没能计入连续前缀的记录可能再次投递,所以订单键或事件 ID 到业务写入的去重要落在存储层。同一数据库事务里同时完成记录键与写入,才能覆盖消费者在两步之间崩掉的情况。外部邮件或通知则要围绕供应方的幂等能力设计重试。
最后拉出一条分区自己的时间线。旧消费者于 10:00:00 最后一次提交,新消费者于 10:00:07 获得分区,但第一笔业务处理到 10:00:18 才完成。十一秒差额应该找下游或工作池,而不是去调组会话超时。能把这笔时间对上,重平衡迁移才有可用的验收结果。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论