Redis Streams 消费者挂了怎么办:设计 PEL 回收与幂等处理
文章目录
Redis 8.10 的新版本吸引了对缓存和流式能力的讨论。实际用 Redis Streams 承接通知、账单导出等异步任务时,最关键的设计仍是一条消息在消费者失联后由谁接管。消费者组在交付后以 PEL 追踪待确认项。一个进程被终止,只关闭了进程,留下的待确认项还需要已有或新的消费者处理。
用两个时间窗口解释重复
从读取到业务写入之间宕机,重新投递可以补上业务动作。业务已提交、XACK 之前宕机,重新投递会再次触发业务路径。这时用业务幂等键和目标存储约束识别旧动作,例如在同一事务里插入任务处理键并更新订单,确认提交后再 ACK。只在消费者内存里做去重,机器重启就会丢状态。支付、发信等外部调用,应使用对方提供的幂等机制或持久化交付状态进行对账。

先提交业务,再确认消息;接管阈值覆盖正常长任务。
XAUTOCLAIM jobs workers worker-b 120000 0-0 COUNT 100
XACK jobs workers 1700000000000-0
示例中的闲置阈值为 120 秒,仅用于解释命令。按任务处理时间上界、运行时暂停和下游超时预算设置阈值。回收时将返回的扫描游标用于继续遍历,并按结果区分正常消息和已经不存在的消息 ID。流被裁剪或数据被移除以后,待处理的消息体可能丢失,因此保留期应覆盖最长恢复和排查窗口。
给坏消息和热点积压分别设判据
业务校验永久失败与下游短暂超时需要不同处理。为永久失败记录业务键、简明原因与原始消息引用,确保进入死信后再确认原消息。对暂时失败设置重试上限和退避,避免同一条毒消息反复抢占资源。监控 PEL 数量、最老待确认时间、接管速率和幂等命中率。若 PEL 数量很小但最老项持续变老,应排查少量卡住的任务;总量迅速增长则优先看下游容量和消费速率。
给接管器一套可复盘的记录
每次接管记录流名、组名、条目 ID、业务键和闲置时间,区分首次处理、重试及幂等命中。一个持续增长的「接管后很快被另一个消费者接管」指标意味着阈值小于真实处理时间,或部分 worker 长期停顿。低频批任务可按另一组和另一阈值恢复,减少慢任务阻塞延迟敏感的队列。演练后从业务存储、PEL 和死信三侧对账,确认没有在任何一侧留下未知状态。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论