Stream与消息队列
Redis Stream 是追加日志型数据结构，支持消息 ID、消费组、ACK、Pending 列表和范围读取。它比 List 更适合轻量可靠消息，但仍与 Kafka、RocketMQ 等专业 MQ 有边界差异。
# 1. 学习定位
| 维度 | 内容 |
|---|---|
| 难度层级 | 消息进阶 |
| 核心目标 | 先会用，再理解机制，最后能做工程取舍和故障分析 |
| 学习方法 | 带着业务场景看命令、SQL、数据结构、日志和运行时指标 |
# 2. 核心地图
Stream与消息队列
├─ XADD
├─ XREAD
├─ Consumer Group
├─ XREADGROUP
├─ ACK
├─ PEL
├─ XTRIM
└─ 消息 ID
# 3. 小章节深度讲解
下面把核心地图中的每个点拆开讲。每个小节都同时面向开发和运维：开发侧关注怎么设计、怎么写代码、怎么避免错误；运维侧关注怎么监控、怎么定位、怎么恢复。
# 3.1. XADD
# 是什么
XADD 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.2. XREAD
# 是什么
XREAD 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.3. Consumer Group
# 是什么
Consumer Group 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.4. XREADGROUP
# 是什么
XREADGROUP 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.5. ACK
# 是什么
ACK 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.6. PEL
# 是什么
PEL 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.7. XTRIM
# 是什么
XTRIM 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.8. 消息 ID
# 是什么
消息 ID 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构，消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认，失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略，Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列，只写不裁剪；或者只 ACK 不做幂等，重试后产生重复业务效果。
# 3.9. 本篇学习实验
建议准备一个独立 Redis 实例，构造小 key、大 key、热点 key、过期 key 和慢命令，观察 INFO、SLOWLOG、LATENCY、内存变化和客户端超时。每个实验都要记录命令复杂度和返回数据量。
开发侧实验重点是理解数据结构和命令边界，运维侧实验重点是理解延迟、内存和复制如何变化。真正掌握本篇内容，应该能从延迟尖刺反推大 key、慢命令、持久化或网络问题。
# 4. 核心机制
- Stream 以递增 ID 保存消息，每条消息包含多个字段，类似轻量追加日志。
- 消费组允许多个消费者协作消费同一条消息流，每条消息在组内通常只被一个消费者处理。
- Pending Entries List 保存已投递但未 ACK 的消息，便于故障后重新认领。
XTRIM可以限制 Stream 长度，但裁剪策略会影响历史消息保留。
# 5. 工程实践
- 小规模异步任务、事件通知和轻量流水可用 Stream。
- 消费方必须 ACK，并处理 Pending 消息重试和幂等。
- 设置合理保留长度，避免 Stream 无限增长。
- 高吞吐、长保留、多分区和复杂生态需求优先评估专业 MQ。
# 6. 常见坑
- 只 XADD 不裁剪，内存持续增长。
- 消费者处理成功但忘记 ACK，PEL 越积越大。
- 重复投递没有幂等处理，业务产生重复效果。
- 把 Stream 当 Kafka 完整替代，忽略分区、存储成本和生态。
# 7. 专家视角
- Stream 的关键是消费确认和重试语义，不是简单追加。
- 专家会先定义消息是否允许丢、是否允许重复、需要保留多久，再选型。
- 可靠消息系统最终考验的是幂等、可观测和积压治理。
# 8. Tips 快问快答
Q：Stream 消息会自动删除吗？
A：不会自动按业务完成删除，需要使用裁剪策略控制长度。
Q：ACK 后消息还在吗？
A：ACK 只是确认消费组处理完成，不等于从 Stream 中删除消息。
Q：Stream 能替代 Kafka 吗？
A：轻量场景可以，重型日志流和大规模生态场景要谨慎。
# 9. 阶段小结
Stream与消息队列 的学习重点不是记住零散概念，而是把它放回真实系统：数据如何进入、如何存储、如何被查询、如何在并发下保持正确、如何在故障后恢复。掌握这些连接关系，才能从“会用”走向“能设计、能优化、能排障”。