Redis内存碎片率过高怎么办?数据库服务器如何结合used_memory与RSS判断

发布人:A5数据发布时间:2026-11-01 11:52阅读量:92

​Redis 的内存碎片率不能只看 mem_fragmentation_ratio 一个数。它本质上是 RSS ÷ used_memory 的近似结果:used_memory 反映 Redis 通过内存分配器使用的内存,RSS 反映进程当前驻留在物理内存中的页面。判断是否真的存在碎片问题,应同时观察两者的绝对值、变化趋势,以及 CPU、持久化、I/O、延迟和内存水位。

处理顺序通常是:先建立一个覆盖业务高峰和后台任务的观察窗口,再看 used_memory 是否变化,随后检查 RSS 是否同步变化,排除 RDB/AOF fork、客户端缓冲区、复制 backlog、容器内存限制等替代解释,最后才决定启用主动碎片整理、调整业务数据模式、执行内存回收或安排平滑重启。

A5idc数据面向 Redis、数据库和缓存类业务提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖 Xeon Gold、AMD EPYC 等平台,并提供大容量内存、SSD 或 NVMe 存储配置,为缓存服务、数据库运行及持久化任务提供硬件基础。不同地区的线路、带宽与存储方案,也可结合业务访问范围、数据规模和内存压力进行部署规划。

先理解 used_memory、RSS 与碎片率

Redis 常见的内存指标包括:

指标含义判断重点
used_memoryRedis 通过内存分配器使用的内存总量判断数据和 Redis 内部对象是否正在增长
used_memory_rssRedis 进程的常驻集大小,通常接近操作系统看到的 RSS判断进程实际驻留内存规模
mem_fragmentation_ratio通常近似为 used_memory_rss / used_memory只能作为线索,不能单独作为故障结论
allocator_allocated分配器已经分配给对象的内存辅助判断 Redis 对象实际占用
allocator_active分配器已经向操作系统申请并处于活跃状态的内存辅助判断分配器内部空洞
allocator_resident分配器当前驻留的内存页面辅助判断页面是否被保留在物理内存中
rss_overhead_bytes分配器之外的 RSS 开销,具体字段受版本影响判断模块、线程栈、共享库和其他进程开销

不同 Redis 版本、内存分配器和编译方式提供的字段可能不同。较新的版本通常能在 INFO memory 中看到 allocator_frag_ratio、allocator_rss_ratio 等更细的指标,但不应假设所有服务器都具备这些字段。

最常见的误判有两种:

  1. mem_fragmentation_ratio 很高,就直接认定 Redis 发生了严重碎片。
  2. used_memory 没有超过 maxmemory,就认为 Redis 进程不会触及服务器或容器的内存上限。

例如,某实例的 used_memory 为 8 GiB,RSS 为 10 GiB,碎片率约为 1.25,绝对差值为 2 GiB。这个差值已经值得调查。另一个实例的 used_memory 为 128 MiB,RSS 为 256 MiB,碎片率为 2,但其中可能有较大比例来自 Redis 进程固定开销、共享库、线程栈和低数据量下的比例放大。两者不能按同一个标准处理。

因此,判断时应至少同时保留这三个量:

  • used_memory 的当前值和增长曲线;
  • RSS 或 used_memory_rss 的当前值和增长曲线;
  • RSS - used_memory 的绝对差值。

建立覆盖完整事件的观察窗口

不要只在告警触发的瞬间执行一次 INFO memory。单点数据无法区分持续性碎片、业务增长和后台任务造成的短时膨胀。

生产环境可以按业务节奏建立观察窗口:

  • 采样间隔可使用 10 至 60 秒;
  • 至少覆盖一个业务低峰和一个业务高峰;
  • 如果实例定期执行 RDB、AOF 重写或大规模过期清理,应覆盖一次对应事件;
  • 同步记录响应时间、错误率、CPU、磁盘 I/O、网络流量和队列变化;
  • 对容器部署的 Redis,还要记录容器或 cgroup 的内存使用量,而不只是 Redis 进程 RSS。

可以使用以下只读命令采集基础数据。生产环境应通过已有的认证方式和只读 ACL 执行,不要为临时排查授予管理权限。

redis-cli -h 127.0.0.1 -p 6379 INFO memory
redis-cli -h 127.0.0.1 -p 6379 INFO stats
redis-cli -h 127.0.0.1 -p 6379 INFO persistence
redis-cli -h 127.0.0.1 -p 6379 INFO replication
redis-cli -h 127.0.0.1 -p 6379 INFO cpu
redis-cli -h 127.0.0.1 -p 6379 MEMORY STATS

操作系统侧可以补充进程 RSS、匿名页、文件页和换页情况:

PID="$(pidof redis-server | awk '{print $1}')"

ps -o pid,ppid,%cpu,%mem,rss,vsz,cmd -p "$PID"
grep -E 'VmRSS|RssAnon|RssFile|Threads' /proc/"$PID"/status
vmstat 1 5

ps 输出中的 RSS 通常以 KiB 为单位,Redis 的 INFO memory 则以字节为单位,接入监控时应统一单位。宿主机上的 free -h 不能替代 Redis 进程 RSS;容器环境还应检查对应 cgroup 的 memory.current、memory.events 或平台提供的容器内存指标。

指标 A:先看 used_memory 到底怎么变化

used_memory 是判断“数据是否真的变多或变少”的起点。

used_memory 和 RSS 一起增长

如果 used_memory、RSS、键数量和业务请求量大致同步增长,首先应考虑数据集增长,而不是碎片。常见原因包括:

  • 新增键的速度高于过期和淘汰速度;
  • TTL 设置不完整或过期时间过长;
  • 大 key 或大集合持续扩张;
  • 复制 backlog、客户端输出缓冲区或模块内存增加;
  • maxmemory 尚未触发淘汰,数据仍在正常积累。

这类情况下,即使 mem_fragmentation_ratio 只有 1.05 或 1.15,RSS 也可能已经逼近服务器或容器上限。比起立即执行碎片整理,更应先确认容量曲线、淘汰策略、缓存命中率和业务数据生命周期。

used_memory 基本稳定,但 RSS 持续上升

这是比较典型的调查信号。数据量没有明显增加,而 RSS 逐步上升,可能存在以下几类原因:

  • 高 churn 场景下,键不断创建、删除和重新分配;
  • jemalloc 等分配器保留了暂时无法归还给操作系统的页面;
  • 大量不同尺寸的对象交替分配,形成分配器空洞;
  • RDB 或 AOF 重写产生 fork 和写时复制;
  • 模块、线程栈、客户端缓冲区或复制缓冲区占用增加。

这时需要继续查看 allocator_active、allocator_resident 和持久化状态,不能只根据 mem_fragmentation_ratio 直接启用主动整理。

used_memory 下降,但 RSS 不下降

例如批量删除、键大量过期后,used_memory 从 7 GiB 降至 5 GiB,但 RSS 仍维持在 8 GiB 左右,碎片率会被分母变小进一步放大。

这种现象通常说明释放出来的页面仍被分配器保留,或者进程还有其他内存组成部分没有减少。它不一定意味着数据删除失败,也不等于 Redis 发生了逻辑内存泄漏。需要结合以下数据判断:

  • allocator_active / allocator_allocated 是否明显偏高;
  • allocator_resident / allocator_active 是否偏高;
  • RssAnon 是否持续增长;
  • 是否有模块、客户端缓冲区或复制连接占用;
  • 是否刚执行过大规模过期、删除或持久化操作。

指标 B:RSS 高,先判断是分配器还是进程其他部分

RSS 比 used_memory 更接近操作系统的物理内存视角,但它也不是“Redis 数据大小”的同义词。RSS 可能包括:

  • Redis 数据对象和内部结构;
  • 内存分配器保留的活跃页面;
  • Redis 可执行文件、共享库和线程栈;
  • Lua、模块或其他扩展使用的内存;
  • 客户端输出缓冲区、复制 backlog 和连接相关缓冲区;
  • fork 后因写时复制产生的额外驻留页面。

因此,简单计算 RSS - used_memory 只能作为粗略差值,不能直接把全部差值命名为碎片。

若版本支持更细的分配器指标,可以重点看下面两组关系:

  • allocator_active / allocator_allocated:更接近分配器内部碎片;
  • allocator_resident / allocator_active:更接近分配器页面是否仍驻留。

例如:

观察结果更可能的解释
allocator_active 明显高于 allocator_allocated分配器内部存在较多未被对象使用的空间
allocator_resident 明显高于 allocator_active分配器保留或驻留页面较多,归还操作系统不及时
used_memory_rss 高,但分配器指标正常重点检查 fork、模块、缓冲区和进程其他开销
used_memory、allocator_allocated、RSS 同步增长更像数据或对象总量增长
RSS 只在重写期间抬升,任务结束后回落更像持久化 fork 和写时复制,而非长期碎片

把两个指标放在同一时间线上

下面是一组用于说明判断方法的模拟监控数据,不代表某台实际服务器的监控结果。

时间used_memoryRSS碎片率CPUp99 延迟其他事件
09:006.2 GiB7.0 GiB1.1335%2.1 ms无后台任务
11:006.3 GiB7.4 GiB1.1738%2.3 ms请求量稳定
12:006.3 GiB10.1 GiB1.6054%4.8 msRDB fork 开始
12:206.3 GiB8.6 GiB1.3742%2.8 msRDB 完成
14:006.4 GiB8.7 GiB1.3640%2.4 ms无后台任务

这组曲线中,RSS 在 RDB fork 期间短时上升,任务完成后部分回落,used_memory 却基本稳定。若同时看到磁盘写入、rdb_bgsave_in_progress、latest_fork_usec 和 p99 延迟在同一时间段变化,优先调查持久化和写时复制,而不是立即把问题归因于内存碎片。

把两个指标放在同一时间线上配图

再看另一种模拟情况:

时间used_memoryRSS碎片率CPUp99 延迟其他事件
09:007.8 GiB8.5 GiB1.0932%2.0 ms请求稳定
10:006.9 GiB8.4 GiB1.2236%2.1 ms大批量键过期
11:005.4 GiB8.3 GiB1.5437%2.2 ms无 fork
13:005.5 GiB8.4 GiB1.5339%2.2 ms高 churn 持续

这里 used_memory 下降后长期稳定,RSS 没有同步下降,且没有持久化事件参与。如果 allocator_active 也明显高于 allocator_allocated,就更接近分配器碎片或页面回收滞后。

排除几个容易混淆的替代解释

1. RDB、AOF 重写和 fork 写时复制

Redis 执行后台保存或 AOF 重写时,通常会 fork 子进程。父子进程最初共享页面,但任一进程修改页面后会触发写时复制。高写入量下,额外的物理内存消耗可能快速增加。

排查时同时看:

  • rdb_bgsave_in_progress;
  • aof_rewrite_in_progress;
  • latest_fork_usec;
  • aof_rewrites、rdb_changes_since_last_save;
  • 磁盘写入带宽和 I/O 等待;
  • p99 延迟、超时率和命令队列;
  • Redis 所在 cgroup 的总内存,而不是只有父进程 RSS。

如果 RSS 高峰与 fork 时间完全重合,并在任务完成后回落,处理重点是调整持久化窗口、降低 fork 时的写入压力、检查磁盘性能和保留足够内存余量。

2. 客户端输出缓冲区与复制 backlog

慢客户端、订阅连接、网络拥塞或副本同步异常,可能使输出缓冲区持续增长。此时 used_memory 和 RSS 的变化不一定表现为典型的分配器碎片。

应结合观察:

  • connected_clients;
  • blocked_clients;
  • 客户端输出缓冲区配置;
  • 主从复制状态和复制延迟;
  • repl_backlog_size;
  • 网络出方向带宽、丢包、重传和连接错误;
  • rejected_connections、超时率和应用侧队列长度。

如果网络队列和客户端缓冲区在 RSS 上升时同步增长,就不应优先执行内存整理。

3. 容器限制、交换分区和操作系统回收

Redis 进程 RSS 没有明显变化,但容器 memory.current 逐渐接近上限,可能是 page cache、fork 子进程或同一容器内其他进程造成的。宿主机的可用内存也不能完全代表 Redis 可用内存。

需要区分:

  • Redis 进程 RSS;
  • Redis 进程树的总 RSS;
  • cgroup 当前内存;
  • cgroup 是否出现 memory.events 中的 high、oom 或 oom_kill;
  • swap 使用量和 major page fault;
  • 磁盘 I/O 等待。

如果存在 swap 或频繁回收,性能问题可能来自内存压力,而不是碎片本身。此时应先释放容量压力和纠正资源限制,避免用主动碎片整理进一步消耗 CPU。

4. 数据量过小导致比例失真

Redis 进程存在固定开销。当 used_memory 较小时,少量线程栈、共享库和内部缓冲区就可能显著抬高 RSS/used_memory 比值。

这类实例应更多关注:

  • RSS 的绝对值;
  • 与服务器或容器上限的距离;
  • 是否发生 swap、OOM 或延迟抖动;
  • RSS - used_memory 是否持续扩大;
  • 业务负载增长后比例是否回归稳定。

形成判断:什么时候算真正需要处理

可以按照以下逻辑归类,而不是为所有环境设定一个统一阈值:

used_memory 趋势RSS 趋势性能与容量表现判断方向
与请求量、键数量同步上升同步上升p99 稳定、无 OOM主要是数据增长,先做容量规划
基本稳定长期上升内存余量减少,可能出现回收调查碎片、分配器保留页和其他 RSS 开销
下降明显基本不变差值扩大但业务稳定可能是页面未归还或分母变小,核对分配器指标
只在 RDB/AOF 期间上升任务结束后部分回落fork、I/O、p99 同步变化优先处理持久化和写时复制
两者都不高比例很高绝对内存小、性能正常可能是低分母和固定进程开销
RSS 接近 cgroup 上限used_memory 尚未到 maxmemoryOOM、回收或超时风险先处理总内存余量,不要只调碎片率

实践中,1.2、1.3 或 1.5 可以作为“开始调查”的提示线,但不能作为跨版本、跨负载的硬性结论。更有价值的是持续时间和绝对差值:1.25 的 3 GiB 差值可能比 1.8 的 100 MiB 差值更紧急。

根据原因选择处理方式

高 churn 且分配器碎片明显

如果键频繁创建、删除、过期,used_memory 相对稳定但 RSS 逐步抬升,同时 allocator_active / allocator_allocated 偏高,可以考虑主动碎片整理。

先确认当前配置:

redis-cli -h 127.0.0.1 -p 6379 CONFIG GET activedefrag
redis-cli -h 127.0.0.1 -p 6379 INFO memory
redis-cli -h 127.0.0.1 -p 6379 INFO cpu

在确认 CPU 有余量、版本支持且业务能够承受额外整理开销后,才考虑运行时启用:

CONFIG SET activedefrag yes

主动碎片整理会消耗 CPU,并可能触发对象搬迁。启用后应观察 CPU、p99、命令处理速率、RSS 和分配器指标;如果延迟或 CPU 明显恶化,可在变更窗口内回退:

CONFIG SET activedefrag no

是否将运行时配置写入配置文件,应按照当前 Redis 部署方式处理。托管 Redis、容器编排或配置中心管理的实例,不要直接绕过平台修改配置。

业务侧也应检查短生命周期键的设计、TTL 分布和对象尺寸变化。不要为了降低碎片率而盲目把所有字符串改成哈希,数据结构调整必须同时验证访问复杂度、编码方式、序列化成本和命令延迟。

页面保留明显,但业务还有充足内存余量

若数据量已经下降,分配器仍保留页面,且系统压力不大,可以先使用版本和分配器支持的内存回收能力进行验证:

MEMORY PURGE

该操作不会删除 Redis 键,但可能造成短时 CPU 或内存分配波动,必须避开业务高峰并先确认版本支持。执行前应保留监控快照,执行后比较 RSS、分配器指标和 p99 延迟;如果收益不明显,不要反复调用。

如果 RSS 长期偏高、业务允许维护窗口,而且已经确认持久化文件、复制拓扑、故障转移和容量条件都满足,可以安排平滑重启,让数据在新进程中重新加载。重启前至少确认:

  • RDB/AOF 文件可读且有可用备份;
  • 主从或集群副本处于可接管状态;
  • 新进程加载期间有足够磁盘和内存;
  • 应用能够处理短暂连接切换或缓存冷启动;
  • 已明确回滚路径,例如切回健康副本或恢复最近可用持久化文件。

不要使用强制终止进程来“清理碎片”。重启也不是无条件的修复手段,缓存型业务可能产生大量回源和缓存击穿,持久化型业务还要承担加载失败与数据恢复风险。

RSS 接近服务器或容器上限

当 RSS、fork 子进程和其他进程总量已经接近 cgroup 或主机上限时,不能因为 used_memory 尚未达到 maxmemory 就继续放大数据集。应综合检查:

  • maxmemory 与淘汰策略;
  • evicted_keys、expired_keys;
  • 命中率和 miss 率;
  • 客户端及复制缓冲区;
  • 持久化期间的额外内存;
  • 容器内存限制和 OOM 事件。

调整 maxmemory 前应先确认业务可接受的淘汰行为、持久化需求和副本容量。简单提高 maxmemory 可能只是把风险从 Redis 淘汰推迟到操作系统 OOM。

复测时不要只看碎片率是否下降

任何处理措施都应使用与处理前相同的观察窗口复测。至少比较以下内容:

  1. used_memory 是否回到稳定趋势,是否出现非预期增长。
  2. RSS 是否下降,或者至少不再持续上升。
  3. RSS - used_memory 的绝对差值是否缩小。
  4. allocator_frag_ratio、allocator_rss_ratio 是否改善。
  5. 主机或容器内存余量是否增加。
  6. CPU 是否因主动整理而明显升高。
  7. p95、p99 延迟、超时率和错误率是否恶化。
  8. RDB/AOF 的 fork 时间、磁盘写入和复制延迟是否稳定。
  9. evicted_keys、rejected_connections、客户端队列和网络重传是否出现异常。

如果碎片率仍然偏高,但 RSS 已稳定、容器有足够余量、CPU 和延迟正常,可以把它记录为容量与分配器特征,而不是继续反复执行整理。真正需要优先处理的是“持续扩大且逼近资源上限”的差值,或者已经与延迟、回收、OOM、I/O 等性能信号形成联动的问题。

下一次应同时观察的指标组合

建议把以下组合放进同一张监控面板,并使用统一时间轴:

  • used_memory、used_memory_rss、mem_fragmentation_ratio;
  • allocator_allocated、allocator_active、allocator_resident;
  • maxmemory、evicted_keys、expired_keys、命中率;
  • CPU 使用率、Redis 命令处理速率和主动碎片整理状态;
  • p95/p99 响应时间、超时率、错误率和应用请求队列;
  • rdb_bgsave_in_progress、aof_rewrite_in_progress、latest_fork_usec;
  • 磁盘 I/O、I/O 等待、网络吞吐、重传和复制延迟;
  • 进程树 RSS、cgroup 内存、swap 和 OOM 事件。

只有当 used_memory、RSS、分配器指标和性能信号在同一时间窗口内相互印证,才能把“碎片率偏高”进一步判断为需要处理的内存问题,而不是一个脱离业务上下文的比例数字。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6937.html

相关推荐