复制原理与主从同步
Redis 复制把主节点数据同步到从节点,用于读扩展、故障切换和备份卸载。复制不是强一致协议,必须理解全量同步、部分重同步和复制积压缓冲区。
# 1. 学习定位
| 维度 | 内容 |
|---|---|
| 难度层级 | 高可用基础 |
| 核心目标 | 先会用,再理解机制,最后能做工程取舍和故障分析 |
| 学习方法 | 带着业务场景看命令、SQL、数据结构、日志和运行时指标 |
# 2. 核心地图
复制原理与主从同步
├─ replicaof
├─ PSYNC
├─ run id
├─ offset
├─ replication backlog
├─ RDB 全量同步
├─ 命令传播
└─ 延迟
# 3. 小章节深度讲解
下面把核心地图中的每个点拆开讲。每个小节都同时面向开发和运维:开发侧关注怎么设计、怎么写代码、怎么避免错误;运维侧关注怎么监控、怎么定位、怎么恢复。
# 3.1. replicaof
# 是什么
replicaof 属于 Redis 持久化与恢复链路。RDB 偏快照,AOF 偏追加日志,二者都会带来 fork、COW、磁盘 IO 和恢复时间成本。
# 开发人员怎么用
开发人员要明确 Redis 数据是否允许丢失。纯缓存可以冷启动,业务状态、队列和锁相关数据则需要补偿、重建或更严格持久化。
# 运维人员怎么看
运维人员要监控 fork 耗时、AOF fsync 延迟、rewrite 状态、持久化目录空间和恢复加载时间。持久化失败必须告警。
# 常见风险
常见风险是实例内存接近上限时触发 fork,COW 内存峰值导致系统压力飙升甚至进程被杀。
# 3.2. PSYNC
# 是什么
PSYNC 属于 Redis 高可用或集群拓扑。它决定数据如何复制、故障时如何提升新主、客户端如何找到正确节点。
# 开发人员怎么用
开发人员要选择支持 Sentinel 或 Cluster 的客户端,并处理读旧数据、重定向、拓扑刷新和跨槽限制。
# 运维人员怎么看
运维人员要监控复制延迟、offset 差距、backlog 命中、Sentinel quorum、槽迁移和每个分片的内存/QPS/延迟。
# 常见风险
常见风险是只看集群总容量,忽略单槽热点、单 key 热点和客户端不支持重定向。
# 3.3. run id
# 是什么
run id 属于 Redis 高可用或集群拓扑。它决定数据如何复制、故障时如何提升新主、客户端如何找到正确节点。
# 开发人员怎么用
开发人员要选择支持 Sentinel 或 Cluster 的客户端,并处理读旧数据、重定向、拓扑刷新和跨槽限制。
# 运维人员怎么看
运维人员要监控复制延迟、offset 差距、backlog 命中、Sentinel quorum、槽迁移和每个分片的内存/QPS/延迟。
# 常见风险
常见风险是只看集群总容量,忽略单槽热点、单 key 热点和客户端不支持重定向。
# 3.4. offset
# 是什么
offset 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.5. replication backlog
# 是什么
replication backlog 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构,消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认,失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略,Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列,只写不裁剪;或者只 ACK 不做幂等,重试后产生重复业务效果。
# 3.6. RDB 全量同步
# 是什么
RDB 全量同步 属于 Redis 持久化与恢复链路。RDB 偏快照,AOF 偏追加日志,二者都会带来 fork、COW、磁盘 IO 和恢复时间成本。
# 开发人员怎么用
开发人员要明确 Redis 数据是否允许丢失。纯缓存可以冷启动,业务状态、队列和锁相关数据则需要补偿、重建或更严格持久化。
# 运维人员怎么看
运维人员要监控 fork 耗时、AOF fsync 延迟、rewrite 状态、持久化目录空间和恢复加载时间。持久化失败必须告警。
# 常见风险
常见风险是实例内存接近上限时触发 fork,COW 内存峰值导致系统压力飙升甚至进程被杀。
# 3.7. 命令传播
# 是什么
命令传播 属于 Redis 命令执行与可编程能力。Redis 命令通常在主执行路径中串行完成,单个慢命令会影响后续所有请求。
# 开发人员怎么用
开发人员要控制命令复杂度、返回大小和批量规模。Lua 与 Functions 只适合短小原子逻辑,不适合承载复杂业务流程。
# 运维人员怎么看
运维人员要看 SLOWLOG、commandstats、latency monitor 和客户端缓冲区。危险命令要通过 ACL、代理或规范禁止进入主链路。
# 常见风险
常见风险是为了减少网络往返,把过多操作塞进一次 Pipeline 或脚本,结果主线程长时间不可服务。
# 3.8. 延迟
# 是什么
延迟 属于 Redis 高可用和运行时协调。它影响故障检测速度、切换正确性、复制延迟和客户端重连表现。
# 开发人员怎么用
开发人员要处理短暂不可用、读旧数据、连接重建和请求重试。客户端必须支持 Sentinel 或 Cluster 的发现协议。
# 运维人员怎么看
运维人员要设置合理 quorum、超时、复制 backlog 和告警阈值,并演练主库故障、网络分区和客户端重连。
# 常见风险
常见风险是 Sentinel 判断切换成功,但客户端仍缓存旧地址;或者后台任务、复制和持久化延迟叠加,导致业务侧误判 Redis 已不可用。
# 3.9. 本篇学习实验
建议准备一个独立 Redis 实例,构造小 key、大 key、热点 key、过期 key 和慢命令,观察 INFO、SLOWLOG、LATENCY、内存变化和客户端超时。每个实验都要记录命令复杂度和返回数据量。
开发侧实验重点是理解数据结构和命令边界,运维侧实验重点是理解延迟、内存和复制如何变化。真正掌握本篇内容,应该能从延迟尖刺反推大 key、慢命令、持久化或网络问题。
# 4. 核心机制
- 从节点首次同步通常触发主节点生成 RDB 并发送,随后通过命令流持续同步增量。
- 部分重同步依赖 run id、复制 offset 和 backlog,短暂断线后可避免全量同步。
- 复制异步进行,主节点写入成功不代表从节点已经执行。
- 从节点也可能因慢查询、网络或磁盘问题产生复制延迟。
# 5. 工程实践
- 监控 master_repl_offset、slave_repl_offset、repl_backlog 和复制延迟。
- 读写分离时处理读旧数据问题,强一致读不要随意走从库。
- 避免大量从节点同时全量同步主库,防止 fork 和网络压力。
- 跨机房复制要评估网络抖动和延迟窗口。
# 6. 常见坑
- 主从复制延迟导致读到旧缓存或旧状态。
- backlog 太小,短暂断线后频繁全量同步。
- 全量同步期间主库 fork 失败或延迟抖动。
- 把从库作为绝对可靠备份,忽略误删会同步到从库。
# 7. 专家视角
- 复制的核心指标是 offset 差距和 backlog 能否覆盖断线窗口。
- 专家会把复制、持久化和 Sentinel/Cluster 统一设计,而不是单独看主从。
- 读扩展要分级:允许旧读、需要读己之写、必须强一致。
# 8. Tips 快问快答
Q:Redis 复制是同步的吗?
A:通常是异步复制,从库可能落后。
Q:部分重同步依赖什么?
A:依赖复制 ID、offset 和 backlog 中仍保留的增量数据。
Q:从库能当备份吗?
A:只能算实时副本,不能替代离线备份,因为误操作也会复制过去。
# 9. 阶段小结
复制原理与主从同步 的学习重点不是记住零散概念,而是把它放回真实系统:数据如何进入、如何存储、如何被查询、如何在并发下保持正确、如何在故障后恢复。掌握这些连接关系,才能从“会用”走向“能设计、能优化、能排障”。