Redis内部编码
Redis 对同一种逻辑类型会根据数据规模选择不同内部编码,例如 listpack、hashtable、intset、skiplist 等。内部编码解释了为什么小对象很省内存,大对象或超过阈值后性能特征会变化。
# 1. 学习定位
| 维度 | 内容 |
|---|---|
| 难度层级 | 底层结构 |
| 核心目标 | 先会用,再理解机制,最后能做工程取舍和故障分析 |
| 学习方法 | 带着业务场景看命令、SQL、数据结构、日志和运行时指标 |
# 2. 核心地图
Redis内部编码
├─ SDS
├─ listpack
├─ quicklist
├─ intset
├─ hashtable
├─ skiplist
├─ embstr
└─ raw
# 3. 小章节深度讲解
下面把核心地图中的每个点拆开讲。每个小节都同时面向开发和运维:开发侧关注怎么设计、怎么写代码、怎么避免错误;运维侧关注怎么监控、怎么定位、怎么恢复。
# 3.1. SDS
# 是什么
SDS 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.2. listpack
# 是什么
listpack 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构,消费组、ACK 和 PEL 让它比 List 更适合可靠消费。
# 开发人员怎么用
开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认,失败后要能重新认领或进入补偿流程。
# 运维人员怎么看
运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略,Stream 会持续吃内存。
# 常见风险
常见风险是把 Stream 当无限队列,只写不裁剪;或者只 ACK 不做幂等,重试后产生重复业务效果。
# 3.3. quicklist
# 是什么
quicklist 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.4. intset
# 是什么
intset 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.5. hashtable
# 是什么
hashtable 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.6. skiplist
# 是什么
skiplist 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.7. embstr
# 是什么
embstr 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.8. raw
# 是什么
raw 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。
# 开发人员怎么用
开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。
# 运维人员怎么看
运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。
# 常见风险
常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。
# 3.9. 本篇学习实验
建议准备一个独立 Redis 实例,构造小 key、大 key、热点 key、过期 key 和慢命令,观察 INFO、SLOWLOG、LATENCY、内存变化和客户端超时。每个实验都要记录命令复杂度和返回数据量。
开发侧实验重点是理解数据结构和命令边界,运维侧实验重点是理解延迟、内存和复制如何变化。真正掌握本篇内容,应该能从延迟尖刺反推大 key、慢命令、持久化或网络问题。
# 4. 核心机制
- String 底层使用 SDS,支持二进制安全和高效长度获取。
- 小 Hash、List、ZSet 可能使用紧凑编码以节省内存,超过阈值后转为更适合查询更新的数据结构。
- Set 在整数集合场景下可使用 intset,混入非整数或规模增长后会转为 hashtable。
- Sorted Set 通常通过字典和跳表协作,兼顾按成员查分和按分数范围查询。
# 5. 工程实践
- 容量估算不能只按业务字段数估,要考虑 Redis 对象头、编码转换和分配器碎片。
- 大 key 拆分时同时考虑逻辑访问和内部编码变化。
- 使用
OBJECT ENCODING和MEMORY USAGE辅助分析样本 key。 - 调编码阈值要谨慎,优先通过模型治理解决。
# 6. 常见坑
- 以为 Hash 一定比 String 省内存,忽略字段数量和编码转换。
- 集合突然超过阈值后内存和耗时变化,没有容量预案。
- 只看 value 长度,不看对象元数据和 allocator 碎片。
- 在生产大规模执行内存分析命令,造成额外压力。
# 7. 专家视角
- 内部编码是 Redis 性能“阶跃变化”的原因之一。
- 专家会用样本 key 做真实内存估算,而不是用字符串长度粗算。
- 研究内部编码能帮助解释大 key、碎片率和命令复杂度的真实成本。
# 8. Tips 快问快答
Q:同一种 Redis 类型内部结构固定吗?
A:不固定,会随大小和内容变化。
Q:怎么查看 key 的编码?
A:可以用 OBJECT ENCODING key 查看,但生产要控制频率。
Q:为什么小 Hash 可能省内存?
A:紧凑编码能减少对象和哈希表开销,但超过阈值后会转换。
# 9. 阶段小结
Redis内部编码 的学习重点不是记住零散概念,而是把它放回真实系统:数据如何进入、如何存储、如何被查询、如何在并发下保持正确、如何在故障后恢复。掌握这些连接关系,才能从“会用”走向“能设计、能优化、能排障”。