Wrayの知识库 Wrayの知识库
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
  • 数据库概述
  • MySQL

  • Redis

    • Redis概述
    • Redis版本
    • Redis相较于其他NoSQL数据库
    • Redis安装配置与客户端
    • Redis数据类型
    • String Bitmap Bitfield
    • Hash List Set ZSet
    • Stream与消息队列
    • Redis内部编码
      • 1. 学习定位
      • 2. 核心地图
      • 3. 小章节深度讲解
        • 3.1. SDS
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.2. listpack
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.3. quicklist
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.4. intset
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.5. hashtable
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.6. skiplist
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.7. embstr
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.8. raw
        • 是什么
        • 开发人员怎么用
        • 运维人员怎么看
        • 常见风险
        • 3.9. 本篇学习实验
      • 4. 核心机制
      • 5. 工程实践
      • 6. 常见坑
      • 7. 专家视角
      • 8. Tips 快问快答
      • 9. 阶段小结
    • Redis命令
    • 过期删除与内存淘汰
    • 内存管理与对象模型
    • 单线程模型与IO多路复用
    • 事件循环与网络模型
    • Redis持久化机制
    • RDB与AOF实践
    • 复制原理与主从同步
    • Sentinel哨兵机制
    • Redis Cluster集群
    • Redis缓存管理
    • 缓存穿透击穿雪崩
    • 热点Key与大Key治理
    • 一致性与缓存更新策略
    • 发布订阅与Lua脚本
    • Redis事务
    • Redis Functions与可编程能力
    • Redis安全与多租户治理
    • Redis监控排障与性能优化
    • Redis数据结构高级专题
    • Redis分布式锁
  • Oracle

目录

Redis内部编码

Redis 对同一种逻辑类型会根据数据规模选择不同内部编码,例如 listpack、hashtable、intset、skiplist 等。内部编码解释了为什么小对象很省内存,大对象或超过阈值后性能特征会变化。

# 1. 学习定位

维度 内容
难度层级 底层结构
核心目标 先会用,再理解机制,最后能做工程取舍和故障分析
学习方法 带着业务场景看命令、SQL、数据结构、日志和运行时指标

# 2. 核心地图

Redis内部编码
├─ SDS
├─ listpack
├─ quicklist
├─ intset
├─ hashtable
├─ skiplist
├─ embstr
└─ raw

# 3. 小章节深度讲解

下面把核心地图中的每个点拆开讲。每个小节都同时面向开发和运维:开发侧关注怎么设计、怎么写代码、怎么避免错误;运维侧关注怎么监控、怎么定位、怎么恢复。

# 3.1. SDS

# 是什么

SDS 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.2. listpack

# 是什么

listpack 属于 Redis Stream 的消息流模型。Stream 是可持久化的追加日志结构,消费组、ACK 和 PEL 让它比 List 更适合可靠消费。

# 开发人员怎么用

开发人员要处理重复投递、ACK、Pending 重试和幂等。消息处理成功后必须确认,失败后要能重新认领或进入补偿流程。

# 运维人员怎么看

运维人员要监控 Stream 长度、消费者延迟、PEL 大小、内存增长和裁剪策略。没有 XTRIM 或保留策略,Stream 会持续吃内存。

# 常见风险

常见风险是把 Stream 当无限队列,只写不裁剪;或者只 ACK 不做幂等,重试后产生重复业务效果。

# 3.3. quicklist

# 是什么

quicklist 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.4. intset

# 是什么

intset 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.5. hashtable

# 是什么

hashtable 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.6. skiplist

# 是什么

skiplist 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.7. embstr

# 是什么

embstr 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.8. raw

# 是什么

raw 属于 Redis 数据结构或内部编码。Redis 的性能来自“用合适结构表达合适问题”,而不是把所有内容都塞进一个大字符串。

# 开发人员怎么用

开发人员要根据访问模式选型:整体缓存用 String,局部字段用 Hash,排行用 ZSet,可靠消息用 Stream,近似统计用 HyperLogLog 或概率结构。

# 运维人员怎么看

运维人员要观察单 key 大小、元素数量、编码转换、内存占用和慢命令。内部编码从紧凑结构转换为哈希表或跳表后,内存和耗时可能阶跃变化。

# 常见风险

常见风险是 key 粒度失控:过细导致 key 数爆炸,过粗形成大 key。专家级建模要在访问效率和运维可控之间取平衡。

# 3.9. 本篇学习实验

建议准备一个独立 Redis 实例,构造小 key、大 key、热点 key、过期 key 和慢命令,观察 INFO、SLOWLOG、LATENCY、内存变化和客户端超时。每个实验都要记录命令复杂度和返回数据量。

开发侧实验重点是理解数据结构和命令边界,运维侧实验重点是理解延迟、内存和复制如何变化。真正掌握本篇内容,应该能从延迟尖刺反推大 key、慢命令、持久化或网络问题。

# 4. 核心机制

  • String 底层使用 SDS,支持二进制安全和高效长度获取。
  • 小 Hash、List、ZSet 可能使用紧凑编码以节省内存,超过阈值后转为更适合查询更新的数据结构。
  • Set 在整数集合场景下可使用 intset,混入非整数或规模增长后会转为 hashtable。
  • Sorted Set 通常通过字典和跳表协作,兼顾按成员查分和按分数范围查询。

# 5. 工程实践

  • 容量估算不能只按业务字段数估,要考虑 Redis 对象头、编码转换和分配器碎片。
  • 大 key 拆分时同时考虑逻辑访问和内部编码变化。
  • 使用 OBJECT ENCODING 和 MEMORY USAGE 辅助分析样本 key。
  • 调编码阈值要谨慎,优先通过模型治理解决。

# 6. 常见坑

  • 以为 Hash 一定比 String 省内存,忽略字段数量和编码转换。
  • 集合突然超过阈值后内存和耗时变化,没有容量预案。
  • 只看 value 长度,不看对象元数据和 allocator 碎片。
  • 在生产大规模执行内存分析命令,造成额外压力。

# 7. 专家视角

  • 内部编码是 Redis 性能“阶跃变化”的原因之一。
  • 专家会用样本 key 做真实内存估算,而不是用字符串长度粗算。
  • 研究内部编码能帮助解释大 key、碎片率和命令复杂度的真实成本。

# 8. Tips 快问快答

Q:同一种 Redis 类型内部结构固定吗?

A:不固定,会随大小和内容变化。

Q:怎么查看 key 的编码?

A:可以用 OBJECT ENCODING key 查看,但生产要控制频率。

Q:为什么小 Hash 可能省内存?

A:紧凑编码能减少对象和哈希表开销,但超过阈值后会转换。

# 9. 阶段小结

Redis内部编码 的学习重点不是记住零散概念,而是把它放回真实系统:数据如何进入、如何存储、如何被查询、如何在并发下保持正确、如何在故障后恢复。掌握这些连接关系,才能从“会用”走向“能设计、能优化、能排障”。

上次更新: 2026/06/25, 15:30:11
Stream与消息队列
Redis命令

← Stream与消息队列 Redis命令→

Copyright © 2023-2026 Wray | 鄂ICP备2024050235号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式