本文详解Redis内存管理：核心为maxmemory上限与LRU等淘汰策略，并介绍数据结构优化及内存碎片处理技巧。

我们来全面且深入地探讨一下 Redis 的内存管理。这对于任何使用 Redis 的开发者来说都是至关重要的，因为它直接关系到 Redis 的性能、稳定性和成本。

Redis 的内存管理可以从以下几个核心方面来理解：

1. 内存的构成与分配：Redis 的内存在物理上是如何组成的？
2. 内存的控制：如何限制 Redis 使用的内存上限？
3. 内存的淘汰策略：当内存达到上限时，Redis 如何决定“扔掉”哪些数据？
4. 内存的优化技巧：作为开发者，如何更高效地使用 Redis 内存？
5. 内存的监控与碎片处理：如何观察内存状态并解决常见问题？

---

1. Redis 内存的构成与分配

一个运行中的 Redis 实例，其内存占用主要由以下几个部分构成：

a. 数据对象内存 (Objects)

这是最主要的部分，用于存储你所有的键值对数据。但它不仅仅是 value 的大小，每个键值对都是一个 redisObject 对象，这个对象本身就带有元数据（Metadata）开销。一个 redisObject 通常包含：

• type: 对象类型（String, List, Hash, Set, ZSet）。
• encoding: 内部编码方式（如 int, embstr, ziplist, hashtable 等）。
• lru/lfu: 用于内存淘汰策略的数据（记录最近访问时间或频率）。
• refcount: 引用计数，用于对象共享。
• *ptr: 指向实际数据存储位置的指针。

所以，即使你存一个很小的整数，它占用的内存也比这个整数本身大得多。

b. 缓冲区内存 (Buffers)

Redis 使用多种缓冲区来保证高效运行：

• 客户端缓冲区：每个连接到 Redis 的客户端都有一个输入缓冲区和一个输出缓冲区。如果客户端生产/消费速度跟不上 Redis，这个缓冲区会变大，占用大量内存。特别是当有大量慢客户端或使用发布订阅功能时，内存占用会很可观。
• 复制积压缓冲区 (Replication Backlog)：在主从复制中，主节点会维护一个固定大小的缓冲区。当从节点断线重连时，可以从这个缓冲区中获取增量数据，而无需进行全量同步。这个缓冲区大小可配置。
• AOF 缓冲区: 当开启 AOF持久化时，Redis 会将写命令追加到一个缓冲区，然后根据配置的策略（如每秒）刷写到磁盘。

c. 内存分配器的开销 (Allocator Overhead)

Redis 在编译时可以选择不同的内存分配器，默认是 jemalloc (在 Linux 系统上)。jemalloc 相比标准的 glibc malloc 在减少内存碎片和高并发性能上更有优势。但是，分配器本身为了管理内存，会占用一些额外的元数据（比如记录每个内存块的大小等），这部分也是内存开销的一部分。

d. 内存碎片 (Memory Fragmentation)

内存碎片是指操作系统中存在一些未被使用的、不连续的内存空间，虽然总量可能很大，但无法分配给需要连续大内存块的进程。
在 Redis 中，频繁的写入和删除操作会导致内存碎片。比如，你存入一个 50KB 的对象，然后删除了它，再存入一个 30KB 的对象，那么原来 50KB 的空间就留下了 20KB 的“空洞”，如果一直没有合适大小的数据来填充，它就成了碎片。

---

2. 内存控制：maxmemory 指令

这是 Redis 内存管理的核心配置。通过在 redis.conf 文件中设置 maxmemory <bytes>，你可以告诉 Redis 实例能够使用的最大内存量。

• 作用：当 Redis 的数据内存占用达到 maxmemory 设定的阈值时，就会触发内存淘汰策略。
• 注意：maxmemory 限制的主要是数据对象内存。它不严格限制由缓冲区、内存碎片等占用的内存。因此，Redis 进程的实际内存占用（RSS）通常会比 maxmemory 的值要高。

---

3. 内存淘汰策略 (Eviction Policies)

当内存使用达到 maxmemory 时，通过 maxmemory-policy 配置项，你可以决定 Redis 应该如何“牺牲”数据来为新数据腾出空间。

Redis 4.0 以后提供了 8 种策略，可以分为几类：

a. 基于 LRU (Least Recently Used - 最近最少使用)

• volatile-lru: 从已设置过期时间的 key 中，淘汰最近最少使用的。
• allkeys-lru: 从所有 key 中，淘汰最近最少使用的。这是最常用的策略之一，适合做热点数据缓存。

b. 基于 LFU (Least Frequently Used - 最不经常使用, Redis 4.0+)

• volatile-lfu: 从已设置过期时间的 key 中，淘汰使用频率最低的。
• allkeys-lfu: 从所有 key 中，淘汰使用频率最低的。适合那些访问频率有明显区分的场景。

c. 其他策略

• volatile-random: 从已设置过期时间的 key 中，随机淘汰。
• allkeys-random: 从所有 key 中，随机淘汰。
• volatile-ttl: 从已设置过期时间的 key 中，淘汰剩余存活时间（TTL）最短的。

d. 不淘汰

• noeviction: (默认策略) 不淘汰任何数据。当内存达到上限时，所有会导致内存增加的写操作（如 SET, LPUSH）都会返回错误。

如何选择？

• 纯缓存场景：使用 allkeys-lru 或 allkeys-lfu。
• 既有缓存又有持久化数据的场景：使用 volatile-lru, volatile-lfu 或 volatile-ttl，以保证重要数据不被淘汰。
• 不确定时：allkeys-lru 是一个很好的通用选择。

---

4. 内存优化技巧

1. 使用高效的数据结构和编码

   • 短结构优化：Redis 对 List, Hash, ZSet 等结构在元素数量较少且元素本身较小时，会采用更紧凑的内部编码（如 ziplist, intset），极大节省内存。你可以在配置文件中调整触发这些编码的阈值（如 hash-max-ziplist-entries）。
   • 优先使用 Hash：当你有多个相关的键值对时（如 user:1:name, user:1:age），将它们合并到一个 Hash 结构中 (HSET user:1 name "Alice" age 30)。这样做可以大幅减少元数据开销，因为多个字段共享一个 redisObject。

2. 控制 Key 和 Value 的长度

   • 尽量使用简短的 Key 名。
   • 对 Value 进行序列化和压缩，特别是对于大的 JSON 字符串或对象。

3. 设置合理的过期时间

   • 这是最直接的内存管理方式。为不再需要的 key 设置 EXPIRE，让 Redis 自动帮你清理内存。

4. 对象共享

   • Redis 启动时会预先创建 0-9999 的整数对象。当你设置一个值为这个范围内的整数时，Redis 不会创建新对象，而是直接引用这些共享对象，节省内存。

---

5. 内存监控与碎片处理

a. 内存监控

使用 INFO memory 命令可以获取详细的内存报告。关键指标包括：

• used_memory: Redis 使用 jemalloc 分配器分配的内存总量（字节）。
• used_memory_human: 更易读的 used_memory 值。
• used_memory_rss: 操作系统看到的 Redis 进程实际占用的物理内存（Resident Set Size）。
• mem_fragmentation_ratio: 内存碎片率，计算公式是 used_memory_rss / used_memory。
  • 大于 1.5: 说明碎片率较高，需要注意。
  • 小于 1: 说明操作系统内存不足，部分 Redis 内存被交换到磁盘（Swap），这会严重影响性能，需要立刻处理！
• evicted_keys: 自启动以来，因为内存达到上限而被淘汰的 key 的数量。如果这个值持续快速增长，说明你的内存可能不足或淘汰策略不合适。

b. 碎片处理

• 原因：频繁的增删改查。
• 影响：浪费内存，可能导致明明有可用内存却无法分配。
• 解决方法:
  1. 重启：最简单粗暴但有效的方法。重启可以让操作系统重新进行内存分配和整理。可以使用主从切换等方式实现平滑重启。
  2. 在线碎片整理 (Redis 4.0+)：Redis 提供了 MEMORY PURGE 命令（需要 jemalloc 分配器支持），可以在不阻塞服务的情况下进行主动碎片整理。也可以通过配置 activedefrag yes 开启自动碎片整理，但它会消耗一定的 CPU。

总结

Redis 的内存管理是一个系统工程，涉及配置（maxmemory）、策略（淘汰策略）、使用方式（数据结构优化）和运维（监控与碎片整理）。

一个优秀的 Redis 使用者，应该做到：

• 预估：根据业务数据量，合理设置 maxmemory。
• 选择：根据业务场景，选择最合适的淘汰策略。
• 优化：在代码层面，使用内存友好的数据结构和编码方式。
• 监控：定期通过 INFO memory 关注内存状态，特别是碎片率和淘汰键数，及时发现并解决问题。