Redis内存碎片率过高怎么办?数据库服务器如何结合used_memory与RSS判断
Redis 的内存碎片率不能只看 mem_fragmentation_ratio 一个数。它本质上是 RSS ÷ used_memory 的近似结果:used_memory 反映 Redis 通过内存分配器使用的内存,RSS 反映进程当前驻留在物理内存中的页面。判断是否真的存在碎片问题,应同时观察两者的绝对值、变化趋势,以及 CPU、持久化、I/O、延迟和内存水位。
处理顺序通常是:先建立一个覆盖业务高峰和后台任务的观察窗口,再看 used_memory 是否变化,随后检查 RSS 是否同步变化,排除 RDB/AOF fork、客户端缓冲区、复制 backlog、容器内存限制等替代解释,最后才决定启用主动碎片整理、调整业务数据模式、执行内存回收或安排平滑重启。
A5idc数据面向 Redis、数据库和缓存类业务提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖 Xeon Gold、AMD EPYC 等平台,并提供大容量内存、SSD 或 NVMe 存储配置,为缓存服务、数据库运行及持久化任务提供硬件基础。不同地区的线路、带宽与存储方案,也可结合业务访问范围、数据规模和内存压力进行部署规划。
先理解 used_memory、RSS 与碎片率
Redis 常见的内存指标包括:
| 指标 | 含义 | 判断重点 |
|---|---|---|
used_memory | Redis 通过内存分配器使用的内存总量 | 判断数据和 Redis 内部对象是否正在增长 |
used_memory_rss | Redis 进程的常驻集大小,通常接近操作系统看到的 RSS | 判断进程实际驻留内存规模 |
mem_fragmentation_ratio | 通常近似为 used_memory_rss / used_memory | 只能作为线索,不能单独作为故障结论 |
allocator_allocated | 分配器已经分配给对象的内存 | 辅助判断 Redis 对象实际占用 |
allocator_active | 分配器已经向操作系统申请并处于活跃状态的内存 | 辅助判断分配器内部空洞 |
allocator_resident | 分配器当前驻留的内存页面 | 辅助判断页面是否被保留在物理内存中 |
rss_overhead_bytes | 分配器之外的 RSS 开销,具体字段受版本影响 | 判断模块、线程栈、共享库和其他进程开销 |
不同 Redis 版本、内存分配器和编译方式提供的字段可能不同。较新的版本通常能在 INFO memory 中看到 allocator_frag_ratio、allocator_rss_ratio 等更细的指标,但不应假设所有服务器都具备这些字段。
最常见的误判有两种:
mem_fragmentation_ratio很高,就直接认定 Redis 发生了严重碎片。used_memory没有超过maxmemory,就认为 Redis 进程不会触及服务器或容器的内存上限。
例如,某实例的 used_memory 为 8 GiB,RSS 为 10 GiB,碎片率约为 1.25,绝对差值为 2 GiB。这个差值已经值得调查。另一个实例的 used_memory 为 128 MiB,RSS 为 256 MiB,碎片率为 2,但其中可能有较大比例来自 Redis 进程固定开销、共享库、线程栈和低数据量下的比例放大。两者不能按同一个标准处理。
因此,判断时应至少同时保留这三个量:
used_memory的当前值和增长曲线;- RSS 或
used_memory_rss的当前值和增长曲线; RSS - used_memory的绝对差值。
建立覆盖完整事件的观察窗口
不要只在告警触发的瞬间执行一次 INFO memory。单点数据无法区分持续性碎片、业务增长和后台任务造成的短时膨胀。
生产环境可以按业务节奏建立观察窗口:
- 采样间隔可使用 10 至 60 秒;
- 至少覆盖一个业务低峰和一个业务高峰;
- 如果实例定期执行 RDB、AOF 重写或大规模过期清理,应覆盖一次对应事件;
- 同步记录响应时间、错误率、CPU、磁盘 I/O、网络流量和队列变化;
- 对容器部署的 Redis,还要记录容器或 cgroup 的内存使用量,而不只是 Redis 进程 RSS。
可以使用以下只读命令采集基础数据。生产环境应通过已有的认证方式和只读 ACL 执行,不要为临时排查授予管理权限。
redis-cli -h 127.0.0.1 -p 6379 INFO memory
redis-cli -h 127.0.0.1 -p 6379 INFO stats
redis-cli -h 127.0.0.1 -p 6379 INFO persistence
redis-cli -h 127.0.0.1 -p 6379 INFO replication
redis-cli -h 127.0.0.1 -p 6379 INFO cpu
redis-cli -h 127.0.0.1 -p 6379 MEMORY STATS
操作系统侧可以补充进程 RSS、匿名页、文件页和换页情况:
PID="$(pidof redis-server | awk '{print $1}')"
ps -o pid,ppid,%cpu,%mem,rss,vsz,cmd -p "$PID"
grep -E 'VmRSS|RssAnon|RssFile|Threads' /proc/"$PID"/status
vmstat 1 5
ps 输出中的 RSS 通常以 KiB 为单位,Redis 的 INFO memory 则以字节为单位,接入监控时应统一单位。宿主机上的 free -h 不能替代 Redis 进程 RSS;容器环境还应检查对应 cgroup 的 memory.current、memory.events 或平台提供的容器内存指标。
指标 A:先看 used_memory 到底怎么变化
used_memory 是判断“数据是否真的变多或变少”的起点。
used_memory 和 RSS 一起增长
如果 used_memory、RSS、键数量和业务请求量大致同步增长,首先应考虑数据集增长,而不是碎片。常见原因包括:
- 新增键的速度高于过期和淘汰速度;
- TTL 设置不完整或过期时间过长;
- 大 key 或大集合持续扩张;
- 复制 backlog、客户端输出缓冲区或模块内存增加;
maxmemory尚未触发淘汰,数据仍在正常积累。
这类情况下,即使 mem_fragmentation_ratio 只有 1.05 或 1.15,RSS 也可能已经逼近服务器或容器上限。比起立即执行碎片整理,更应先确认容量曲线、淘汰策略、缓存命中率和业务数据生命周期。
used_memory 基本稳定,但 RSS 持续上升
这是比较典型的调查信号。数据量没有明显增加,而 RSS 逐步上升,可能存在以下几类原因:
- 高 churn 场景下,键不断创建、删除和重新分配;
- jemalloc 等分配器保留了暂时无法归还给操作系统的页面;
- 大量不同尺寸的对象交替分配,形成分配器空洞;
- RDB 或 AOF 重写产生 fork 和写时复制;
- 模块、线程栈、客户端缓冲区或复制缓冲区占用增加。
这时需要继续查看 allocator_active、allocator_resident 和持久化状态,不能只根据 mem_fragmentation_ratio 直接启用主动整理。
used_memory 下降,但 RSS 不下降
例如批量删除、键大量过期后,used_memory 从 7 GiB 降至 5 GiB,但 RSS 仍维持在 8 GiB 左右,碎片率会被分母变小进一步放大。
这种现象通常说明释放出来的页面仍被分配器保留,或者进程还有其他内存组成部分没有减少。它不一定意味着数据删除失败,也不等于 Redis 发生了逻辑内存泄漏。需要结合以下数据判断:
allocator_active / allocator_allocated是否明显偏高;allocator_resident / allocator_active是否偏高;RssAnon是否持续增长;- 是否有模块、客户端缓冲区或复制连接占用;
- 是否刚执行过大规模过期、删除或持久化操作。
指标 B:RSS 高,先判断是分配器还是进程其他部分
RSS 比 used_memory 更接近操作系统的物理内存视角,但它也不是“Redis 数据大小”的同义词。RSS 可能包括:
- Redis 数据对象和内部结构;
- 内存分配器保留的活跃页面;
- Redis 可执行文件、共享库和线程栈;
- Lua、模块或其他扩展使用的内存;
- 客户端输出缓冲区、复制 backlog 和连接相关缓冲区;
- fork 后因写时复制产生的额外驻留页面。
因此,简单计算 RSS - used_memory 只能作为粗略差值,不能直接把全部差值命名为碎片。
若版本支持更细的分配器指标,可以重点看下面两组关系:
allocator_active / allocator_allocated:更接近分配器内部碎片;allocator_resident / allocator_active:更接近分配器页面是否仍驻留。
例如:
| 观察结果 | 更可能的解释 |
|---|---|
allocator_active 明显高于 allocator_allocated | 分配器内部存在较多未被对象使用的空间 |
allocator_resident 明显高于 allocator_active | 分配器保留或驻留页面较多,归还操作系统不及时 |
used_memory_rss 高,但分配器指标正常 | 重点检查 fork、模块、缓冲区和进程其他开销 |
used_memory、allocator_allocated、RSS 同步增长 | 更像数据或对象总量增长 |
| RSS 只在重写期间抬升,任务结束后回落 | 更像持久化 fork 和写时复制,而非长期碎片 |
把两个指标放在同一时间线上
下面是一组用于说明判断方法的模拟监控数据,不代表某台实际服务器的监控结果。
| 时间 | used_memory | RSS | 碎片率 | CPU | p99 延迟 | 其他事件 |
|---|---|---|---|---|---|---|
| 09:00 | 6.2 GiB | 7.0 GiB | 1.13 | 35% | 2.1 ms | 无后台任务 |
| 11:00 | 6.3 GiB | 7.4 GiB | 1.17 | 38% | 2.3 ms | 请求量稳定 |
| 12:00 | 6.3 GiB | 10.1 GiB | 1.60 | 54% | 4.8 ms | RDB fork 开始 |
| 12:20 | 6.3 GiB | 8.6 GiB | 1.37 | 42% | 2.8 ms | RDB 完成 |
| 14:00 | 6.4 GiB | 8.7 GiB | 1.36 | 40% | 2.4 ms | 无后台任务 |
这组曲线中,RSS 在 RDB fork 期间短时上升,任务完成后部分回落,used_memory 却基本稳定。若同时看到磁盘写入、rdb_bgsave_in_progress、latest_fork_usec 和 p99 延迟在同一时间段变化,优先调查持久化和写时复制,而不是立即把问题归因于内存碎片。

再看另一种模拟情况:
| 时间 | used_memory | RSS | 碎片率 | CPU | p99 延迟 | 其他事件 |
|---|---|---|---|---|---|---|
| 09:00 | 7.8 GiB | 8.5 GiB | 1.09 | 32% | 2.0 ms | 请求稳定 |
| 10:00 | 6.9 GiB | 8.4 GiB | 1.22 | 36% | 2.1 ms | 大批量键过期 |
| 11:00 | 5.4 GiB | 8.3 GiB | 1.54 | 37% | 2.2 ms | 无 fork |
| 13:00 | 5.5 GiB | 8.4 GiB | 1.53 | 39% | 2.2 ms | 高 churn 持续 |
这里 used_memory 下降后长期稳定,RSS 没有同步下降,且没有持久化事件参与。如果 allocator_active 也明显高于 allocator_allocated,就更接近分配器碎片或页面回收滞后。
排除几个容易混淆的替代解释
1. RDB、AOF 重写和 fork 写时复制
Redis 执行后台保存或 AOF 重写时,通常会 fork 子进程。父子进程最初共享页面,但任一进程修改页面后会触发写时复制。高写入量下,额外的物理内存消耗可能快速增加。
排查时同时看:
rdb_bgsave_in_progress;aof_rewrite_in_progress;latest_fork_usec;aof_rewrites、rdb_changes_since_last_save;- 磁盘写入带宽和 I/O 等待;
- p99 延迟、超时率和命令队列;
- Redis 所在 cgroup 的总内存,而不是只有父进程 RSS。
如果 RSS 高峰与 fork 时间完全重合,并在任务完成后回落,处理重点是调整持久化窗口、降低 fork 时的写入压力、检查磁盘性能和保留足够内存余量。
2. 客户端输出缓冲区与复制 backlog
慢客户端、订阅连接、网络拥塞或副本同步异常,可能使输出缓冲区持续增长。此时 used_memory 和 RSS 的变化不一定表现为典型的分配器碎片。
应结合观察:
connected_clients;blocked_clients;- 客户端输出缓冲区配置;
- 主从复制状态和复制延迟;
repl_backlog_size;- 网络出方向带宽、丢包、重传和连接错误;
rejected_connections、超时率和应用侧队列长度。
如果网络队列和客户端缓冲区在 RSS 上升时同步增长,就不应优先执行内存整理。
3. 容器限制、交换分区和操作系统回收
Redis 进程 RSS 没有明显变化,但容器 memory.current 逐渐接近上限,可能是 page cache、fork 子进程或同一容器内其他进程造成的。宿主机的可用内存也不能完全代表 Redis 可用内存。
需要区分:
- Redis 进程 RSS;
- Redis 进程树的总 RSS;
- cgroup 当前内存;
- cgroup 是否出现
memory.events中的high、oom或oom_kill; - swap 使用量和 major page fault;
- 磁盘 I/O 等待。
如果存在 swap 或频繁回收,性能问题可能来自内存压力,而不是碎片本身。此时应先释放容量压力和纠正资源限制,避免用主动碎片整理进一步消耗 CPU。
4. 数据量过小导致比例失真
Redis 进程存在固定开销。当 used_memory 较小时,少量线程栈、共享库和内部缓冲区就可能显著抬高 RSS/used_memory 比值。
这类实例应更多关注:
- RSS 的绝对值;
- 与服务器或容器上限的距离;
- 是否发生 swap、OOM 或延迟抖动;
RSS - used_memory是否持续扩大;- 业务负载增长后比例是否回归稳定。
形成判断:什么时候算真正需要处理
可以按照以下逻辑归类,而不是为所有环境设定一个统一阈值:
| used_memory 趋势 | RSS 趋势 | 性能与容量表现 | 判断方向 |
|---|---|---|---|
| 与请求量、键数量同步上升 | 同步上升 | p99 稳定、无 OOM | 主要是数据增长,先做容量规划 |
| 基本稳定 | 长期上升 | 内存余量减少,可能出现回收 | 调查碎片、分配器保留页和其他 RSS 开销 |
| 下降明显 | 基本不变 | 差值扩大但业务稳定 | 可能是页面未归还或分母变小,核对分配器指标 |
| 只在 RDB/AOF 期间上升 | 任务结束后部分回落 | fork、I/O、p99 同步变化 | 优先处理持久化和写时复制 |
| 两者都不高 | 比例很高 | 绝对内存小、性能正常 | 可能是低分母和固定进程开销 |
| RSS 接近 cgroup 上限 | used_memory 尚未到 maxmemory | OOM、回收或超时风险 | 先处理总内存余量,不要只调碎片率 |
实践中,1.2、1.3 或 1.5 可以作为“开始调查”的提示线,但不能作为跨版本、跨负载的硬性结论。更有价值的是持续时间和绝对差值:1.25 的 3 GiB 差值可能比 1.8 的 100 MiB 差值更紧急。
根据原因选择处理方式
高 churn 且分配器碎片明显
如果键频繁创建、删除、过期,used_memory 相对稳定但 RSS 逐步抬升,同时 allocator_active / allocator_allocated 偏高,可以考虑主动碎片整理。
先确认当前配置:
redis-cli -h 127.0.0.1 -p 6379 CONFIG GET activedefrag
redis-cli -h 127.0.0.1 -p 6379 INFO memory
redis-cli -h 127.0.0.1 -p 6379 INFO cpu
在确认 CPU 有余量、版本支持且业务能够承受额外整理开销后,才考虑运行时启用:
CONFIG SET activedefrag yes
主动碎片整理会消耗 CPU,并可能触发对象搬迁。启用后应观察 CPU、p99、命令处理速率、RSS 和分配器指标;如果延迟或 CPU 明显恶化,可在变更窗口内回退:
CONFIG SET activedefrag no
是否将运行时配置写入配置文件,应按照当前 Redis 部署方式处理。托管 Redis、容器编排或配置中心管理的实例,不要直接绕过平台修改配置。
业务侧也应检查短生命周期键的设计、TTL 分布和对象尺寸变化。不要为了降低碎片率而盲目把所有字符串改成哈希,数据结构调整必须同时验证访问复杂度、编码方式、序列化成本和命令延迟。
页面保留明显,但业务还有充足内存余量
若数据量已经下降,分配器仍保留页面,且系统压力不大,可以先使用版本和分配器支持的内存回收能力进行验证:
MEMORY PURGE
该操作不会删除 Redis 键,但可能造成短时 CPU 或内存分配波动,必须避开业务高峰并先确认版本支持。执行前应保留监控快照,执行后比较 RSS、分配器指标和 p99 延迟;如果收益不明显,不要反复调用。
如果 RSS 长期偏高、业务允许维护窗口,而且已经确认持久化文件、复制拓扑、故障转移和容量条件都满足,可以安排平滑重启,让数据在新进程中重新加载。重启前至少确认:
- RDB/AOF 文件可读且有可用备份;
- 主从或集群副本处于可接管状态;
- 新进程加载期间有足够磁盘和内存;
- 应用能够处理短暂连接切换或缓存冷启动;
- 已明确回滚路径,例如切回健康副本或恢复最近可用持久化文件。
不要使用强制终止进程来“清理碎片”。重启也不是无条件的修复手段,缓存型业务可能产生大量回源和缓存击穿,持久化型业务还要承担加载失败与数据恢复风险。
RSS 接近服务器或容器上限
当 RSS、fork 子进程和其他进程总量已经接近 cgroup 或主机上限时,不能因为 used_memory 尚未达到 maxmemory 就继续放大数据集。应综合检查:
maxmemory与淘汰策略;evicted_keys、expired_keys;- 命中率和 miss 率;
- 客户端及复制缓冲区;
- 持久化期间的额外内存;
- 容器内存限制和 OOM 事件。
调整 maxmemory 前应先确认业务可接受的淘汰行为、持久化需求和副本容量。简单提高 maxmemory 可能只是把风险从 Redis 淘汰推迟到操作系统 OOM。
复测时不要只看碎片率是否下降
任何处理措施都应使用与处理前相同的观察窗口复测。至少比较以下内容:
used_memory是否回到稳定趋势,是否出现非预期增长。- RSS 是否下降,或者至少不再持续上升。
RSS - used_memory的绝对差值是否缩小。allocator_frag_ratio、allocator_rss_ratio是否改善。- 主机或容器内存余量是否增加。
- CPU 是否因主动整理而明显升高。
- p95、p99 延迟、超时率和错误率是否恶化。
- RDB/AOF 的 fork 时间、磁盘写入和复制延迟是否稳定。
evicted_keys、rejected_connections、客户端队列和网络重传是否出现异常。
如果碎片率仍然偏高,但 RSS 已稳定、容器有足够余量、CPU 和延迟正常,可以把它记录为容量与分配器特征,而不是继续反复执行整理。真正需要优先处理的是“持续扩大且逼近资源上限”的差值,或者已经与延迟、回收、OOM、I/O 等性能信号形成联动的问题。
下一次应同时观察的指标组合
建议把以下组合放进同一张监控面板,并使用统一时间轴:
used_memory、used_memory_rss、mem_fragmentation_ratio;allocator_allocated、allocator_active、allocator_resident;maxmemory、evicted_keys、expired_keys、命中率;- CPU 使用率、Redis 命令处理速率和主动碎片整理状态;
- p95/p99 响应时间、超时率、错误率和应用请求队列;
rdb_bgsave_in_progress、aof_rewrite_in_progress、latest_fork_usec;- 磁盘 I/O、I/O 等待、网络吞吐、重传和复制延迟;
- 进程树 RSS、cgroup 内存、swap 和 OOM 事件。
只有当 used_memory、RSS、分配器指标和性能信号在同一时间窗口内相互印证,才能把“碎片率偏高”进一步判断为需要处理的内存问题,而不是一个脱离业务上下文的比例数字。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6937.html



