Linux服务器可用内存持续下降,如何区分缓存增长与内存泄漏?
只盯着 free 输出中的“空闲内存”,很容易把 Linux 的正常缓存行为误判为内存泄漏。更可靠的区分方法是:在同一个时间窗口内,观察 MemAvailable 的下降是否伴随文件缓存、进程匿名内存或内核内存增长,再结合交换活动、内存压力、请求量和响应时间判断影响。
通常,文件缓存增长而可用内存、交换活动和业务延迟保持稳定,更接近正常利用空闲内存;在负载相近、业务缓存完成预热后,某个进程的匿名内存仍持续增加,且请求结束后不能回到稳定基线,才需要重点怀疑泄漏。但“占用持续增加”还可能来自队列积压、缓存无上限、分配器保留内存或容器限额,不能仅凭一条下降曲线定性。
一、建立观察窗口:让内存变化与业务变化对齐
排查前,先确认看到的指标是什么。“空闲内存”“可用内存”“容器剩余内存”不是同一个概念,监控面板中的“内存使用率”也可能采用不同计算方式。
分清主机指标与容器指标
在主机上,先执行以下只读命令:
date -Is
uname -r
free -h
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapCached|AnonPages|Shmem|Dirty|Writeback|Slab|SReclaimable|SUnreclaim|SwapTotal|SwapFree):' /proc/meminfo
free -h 适合快速查看,趋势分析应保留 /proc/meminfo 的原始数值。该文件中标记为 kB 的内存数值按 1024 字节换算;本文示例使用 MiB、GiB,分别对应 1024²、1024³ 字节。
几个关键指标的含义如下:
| 指标 | 主要含义 | 排查时的边界 |
|---|---|---|
MemFree | 当前完全未使用的物理内存 | 下降不等于内存不足,可能只是被缓存利用 |
MemAvailable | 内核估计无需交换即可供新应用使用的内存 | 包含部分可回收内存,但不是简单的“空闲加全部缓存” |
Cached | 主要反映文件页缓存,也包含部分共享内存相关页面 | 不能全部当成随时可以丢弃的普通文件缓存 |
AnonPages | 系统层面的匿名内存页 | 需要结合进程指标确定由谁持有 |
Shmem | tmpfs、共享内存等占用 | 不等同于可直接丢弃的磁盘文件缓存 |
SReclaimable | 内核认为可回收的 slab 内存 | “可回收”不意味着全部能立即释放 |
SUnreclaim | 不可回收的 slab 内存 | 持续增长时需检查内核对象、连接及相关子系统 |
Dirty、Writeback | 待写回、正在写回的页面 | 增长可能意味着存储写入跟不上,而不只是缓存预热 |
不要将表中所有数值相加来计算总占用:其中存在包含关系。例如,Slab 已包含 SReclaimable 和 SUnreclaim,Shmem 与 Cached 也存在统计关联。
如果业务运行在容器内,还要明确监控显示的是宿主机 MemAvailable,还是 cgroup 限额下的剩余空间。宿主机仍有可用内存,不代表容器还能继续分配。
选择能覆盖预热、峰值和回落的时间段
建议以 15~60 秒粒度记录内存趋势,同时覆盖业务预热、稳定负载及负载回落阶段。对于每隔数小时才出现的增长,应保留更长历史;对于突发故障,则需要临时提高采样频率。
同一时间轴至少要放入:
- 主机:
MemAvailable、匿名内存、文件缓存、共享内存、slab。 - 进程或容器:RSS/PSS、匿名内存、cgroup 当前占用与限额。
- 压力:交换输入输出、内存 PSI、磁盘延迟。
- 业务:请求速率、响应时间、错误率、队列长度、并发连接数。
- 事件:发布、批处理启动、备份、缓存预热、进程重启。
同时标记 PID 和进程启动时间,避免进程重启后的低占用被误读为“自动恢复”。多台服务器对比时,还应确认监控时间一致。
二、指标A变化:可用内存下降,究竟被谁占走了
发现 MemAvailable 持续下降后,第一步不是立即释放缓存,而是将增长归入文件缓存、进程内存、共享内存或内核内存。
文件缓存增长:看可回收性,而不只看缓存大小
Linux 会利用空闲内存缓存文件数据。批量读取文件、数据库扫描、日志检索,都可能让 Cached 增长、MemFree 减少。
正常缓存增长通常具有以下组合特征:
- 文件读取量增加,缓存随之增长。
MemAvailable没有与MemFree一样大幅下降。- 进程匿名内存相对稳定。
- 交换活动、内存 PSI 和业务响应时间没有持续恶化。
- 随着工作集稳定,缓存增长趋于平台。
但不能据此认为“缓存大就没有问题”。文件缓存中可能存在正在使用、待写回或短时间内不易回收的页面。如果 Dirty 持续增加,同时磁盘写入延迟升高、业务写入队列变长,更值得怀疑的是写回受阻。
Shmem 增长也需要单独处理。tmpfs 文件和共享内存没有普通磁盘文件作为直接后备,不能像干净文件页一样简单丢弃。把这类增长全部归为“系统会自动释放的缓存”,可能延误排查。
进程内存增长:先看匿名内存,再分析持有原因
使用只读命令筛选高占用进程:
ps -eo pid,ppid,etimes,rss,vsz,comm --sort=-rss | head -n 21
其中 rss 通常以 KiB 显示,vsz 是虚拟地址空间大小。虚拟地址空间大,不代表实际占用了同等物理内存。
选定目标进程后,把示例 PID 替换为实际值:
pid=12345
grep -E '^(Name|VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' /proc/"$pid"/status
如果系统提供 smaps_rollup,可进一步查看:
pid=12345
if [ -r /proc/"$pid"/smaps_rollup ]; then
grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Pss_Shmem|Private_Clean|Private_Dirty|Swap):' \
/proc/"$pid"/smaps_rollup
fi
不同内核提供的字段可能不同,读取其他用户进程也可能需要授权。若文件不存在或权限不足,不要将缺失项记作零;应先核验内核支持和访问权限。
RSS 表示驻留物理内存,但共享页可能被多个进程重复计入;PSS 按共享比例分摊,更适合比较多进程服务的总体占用。不要直接把所有进程 RSS 相加后,与主机已用内存机械对账。
重点观察 RssAnon 或 Pss_Anon 的趋势。它们增长说明匿名页占用增加,但其中可能是业务对象、堆、线程栈、应用缓存,也可能是分配器保留的页面,仍不能直接等同于泄漏。
此外,内存映射文件会同时关联进程文件驻留页和系统文件缓存。两条曲线一起上升,不一定代表存在两份独立占用。
进程解释不了的增长:继续看共享内存与内核
如果可用内存明显减少,但主要进程匿名内存没有对应增长,应继续检查:
Shmem是否随 tmpfs 文件、共享内存段增长。SUnreclaim是否持续上升。- 连接数、线程数、套接字缓冲或其他内核对象是否增加。
- 是否存在监控未覆盖的进程、容器或短生命周期任务。
必要时可用 slabtop -o 查看一次 slab 分布快照,再比较后续快照。某类内核对象增长只能提供方向,不能单凭对象名称判定内核泄漏;还需确认它是否与正常连接、文件访问或其他业务活动同步。
三、指标B联动:用压力和业务表现检验内存判断
内存占用解释了“空间去了哪里”,交换、I/O 和业务指标则帮助判断“是否形成压力,以及增长是否由其他瓶颈引起”。
交换空间占用与交换活动要分开看
先进行短时采样:
vmstat 1 6
vmstat 第一条数据通常反映自启动以来的平均情况,后续各条才对应采样间隔。重点关注 si、so、运行队列 r、不可中断睡眠任务数 b,以及 CPU 的用户态、系统态和 I/O 等待情况。
交换空间已经使用,但 si、so 长时间接近零,不一定意味着正在发生性能问题。此前换出的冷页面可能仍留在交换空间中。
反之,持续换入换出,同时出现响应时间变长、磁盘延迟升高或内存压力增加,说明业务可能已经进入内存抖动。未配置交换的服务器不会出现交换活动,但仍可能遭遇直接回收、分配停顿或 OOM。
“用了多少 swap”是状态,“是否持续换入换出”是活动;判断压力需要同时看两者。
内存 PSI 与磁盘延迟能补足“占用率”的盲区
支持 PSI 的系统可查看:
if [ -r /proc/pressure/memory ]; then
cat /proc/pressure/memory
fi
if [ -r /proc/pressure/io ]; then
cat /proc/pressure/io
fi
内存 PSI 反映任务因内存压力而停顿的时间比例。some 表示至少部分任务受影响,full 表示所有非空闲任务同时受影响的压力情形。
avg10、avg60、avg300 对应不同时间窗口;total 是累计停顿时间,需要比较增量,不能把开机至今的总值当作当前压力。
若已安装 sysstat,可配合查看磁盘指标:
iostat -xz 1 6
结合延迟、队列及实际吞吐判断存储是否受阻。不要只凭设备利用率接近某个数值就判定磁盘饱和,尤其是在多队列 SSD 或虚拟磁盘环境中。
当 Dirty、I/O 压力和写请求延迟共同上升时,优先考虑写回瓶颈;当匿名内存、内存 PSI 与交换活动共同上升时,则更符合进程内存挤压系统的方向。
CPU、网络和队列可能解释“看起来像泄漏”的增长
内存增长有时是其他性能问题的结果。例如,下游响应变慢,请求对象迟迟不能释放,队列和连接缓冲便会累积。
在近似稳定的系统中,并发在途请求数可粗略理解为“请求速率 × 平均处理时间”。例如,请求速率维持 200 次/秒,平均处理时间从 0.1 秒增加到 1 秒,在途请求可能从约 20 个增加到约 200 个。若每个请求持有较大的上下文,内存自然会上升。
此时应把以下变化放在同一时间轴上:

- CPU 是否先达到瓶颈,导致处理速度下降。
- 下游响应时间是否先恶化,随后队列和内存才增长。
- 网络吞吐、连接数、重试率是否同步增加。
- 队列排空后,进程占用是否趋于稳定。
这类问题可能需要限制并发、增加背压或修复下游瓶颈,而不是直接寻找“忘记释放的对象”。错误率也不能单独作为否定依据:系统可能在内存接近限制时仍正常返回,只是尾延迟已经变差。
四、排除替代解释:增长不一定泄漏,OOM也不一定主机耗尽
完成指标联动后,需要逐一排除能产生相似曲线的原因。
缓存预热、无界缓存与分配器保留
应用启动后加载索引、建立连接池或填充缓存,内存通常先增长,再进入平台期。关键不是“比刚启动时高”,而是工作集稳定后是否仍增长。
应用缓存若没有上限,会随键数量持续增加。这属于容量控制问题,可能造成与泄漏相同的后果,但分析证据不同:对象仍被缓存正常引用,不一定是失去用途后未释放。
分配器也可能在对象释放后保留已申请的内存,导致 RSS 不立即下降。可结合以下证据区分:
- 运行时统计中的存活对象、已用堆是否下降。
- 分配器保留量与实际使用量是否存在较大差距。
- 后续相同负载是否复用已有内存,而非继续增加基线。
因此,请求结束后 RSS 没下降,不足以证明泄漏;相同工作负载反复执行后,存活对象或内存基线持续抬高,才更值得怀疑。

线程、共享内存和监控口径变化
线程数上升可能带来线程栈和运行时对象增长。队列恢复后线程池是否缩回、线程是否长期存活,都应检查。
对于共享内存和 tmpfs,可先查看挂载与占用:
findmnt -t tmpfs
df -h -t tmpfs
这里只读查看,不要为了验证而删除未知文件。共享内存可能仍被业务进程使用,随意清理会影响运行状态。
还应核验监控口径。例如,有的面板使用“总内存减空闲内存”,有的会扣除部分缓存。容器的 working set 也不等于宿主机 MemAvailable,不能直接套用主机判断。监控组件升级、采集间隔变化或容器迁移,也可能造成曲线断点。
容器 OOM:检查限制范围,而非只看宿主机
先确认目标进程的 cgroup 路径和挂载情况:
pid=12345
cat /proc/"$pid"/cgroup
findmnt -t cgroup2
在 cgroup v2 环境中,定位到实际目录后,读取 memory.current、memory.max、memory.stat 和 memory.events。下面的路径仅为示例,必须替换为已经核验的目录;容器内外的路径视图可能不同。
cg=/sys/fs/cgroup/system.slice/example.service
for name in memory.current memory.max memory.stat memory.events; do
if [ -r "$cg/$name" ]; then
printf '\n[%s]\n' "$name"
cat "$cg/$name"
fi
done
memory.current 不只是进程 RSS,还可能包含文件缓存和部分内核内存。memory.stat 中的 anon、file、shmem、slab 可帮助解释构成,但部分字段同样存在包含关系,不能全部相加。
比较 memory.events 的计数增量,并检查是否出现 max、oom、oom_kill 变化。还要检查父级 cgroup:限制可能施加在更高层,而不只是进程所在目录。使用 cgroup v1 的系统需按实际挂载核验相应文件,不能照搬 v2 名称。

OOM日志用于确认事件,不直接证明泄漏
使用 systemd journal 的主机可查看:
journalctl -k --since "1 hour ago" --no-pager |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
重点判断是全局 OOM 还是 cgroup OOM,以及发生时间、涉及进程和限制范围。被杀进程不一定是最初的增长源;它可能只是当时被选中的牺牲对象。
如果进程退出却没有相应内核记录,还应检查服务管理器、运行时和应用日志,以及日志权限、保留范围。日志可能含业务路径或参数,外发前应脱敏。
五、形成判断:用组合证据描述问题,而非给单点阈值定性
下面是一组用于解释判断逻辑的模拟变化,并非实际监控数据。三组场景均按 32 GiB 主机观察,数值取同一观察窗口的起点和终点。
| 观察项 | 文件缓存增长 | 进程匿名内存持续增长 | 下游变慢导致积压 |
|---|---|---|---|
MemAvailable | 18 → 17 GiB | 18 → 6 GiB | 18 → 9 GiB |
Cached | 6 → 14 GiB | 6 → 6.5 GiB | 6 → 6.5 GiB |
目标进程 RssAnon | 2 → 2.2 GiB | 2 → 13 GiB | 2 → 10 GiB |
| 请求速率 | 基本稳定 | 基本稳定 | 基本稳定 |
| 请求队列 | 稳定 | 稳定 | 明显增加 |
| 响应时间 | 稳定 | 后期可能恶化 | 下游先变慢,随后本服务变慢 |
| 负载回落后 | 缓存可能保留 | 内存基线仍偏高 | 队列排空后占用趋稳或回落 |
第一组中,缓存增长远大于可用内存的下降,说明不能用缓存增量直接计算“损失的可用空间”。若压力和业务指标稳定,更支持正常缓存利用。
第二组支持继续调查进程内部,但还不能直接写成“已确认泄漏”。需排除缓存无上限、线程增长、分配器保留等原因,并用运行时堆、对象数量、分配记录或持有链补充证据。
第三组首先应处理队列和下游问题。若恢复后队列已排空,但匿名内存基线仍一轮轮增加,则需要继续分析,不能把所有增长都归因于积压。
可将判断写成可验证的条件:
在请求量、并发量和业务工作集相近的重复周期内,目标进程匿名内存或存活对象持续增加,增长不能由文件缓存、共享内存、线程、队列或分配器保留解释,且业务对象生命周期结束后仍被持有,才形成较强的内存泄漏证据。
相应地,“正常缓存”也应有边界:缓存与文件访问相关、增长趋稳,且没有持续回收压力、交换抖动或业务恶化。即使不是泄漏,若工作集已经超过可承受容量,仍需解决内存压力。
A5数据为数据库、接口服务和容器业务提供多档物理服务器资源,香港、美国等地区的产品涵盖Xeon与AMD EPYC平台,并有64GB、128GB内存及NVMe存储配置,为应用工作集、数据库缓存和多任务运行提供资源基础。不同计算、内存与存储组合可承载业务进程、数据读写及日志留存,配合各地区的线路与带宽选择,支持面向不同访问人群的业务部署。
六、复测:检验平台期、回收能力和重复周期
复测应优先使用已有监控和只读采样。短时间观察有助于定位,但不能替代覆盖完整业务周期的验证。
- 保持负载可比。 记录请求类型、速率、并发量、数据规模和任务批次,避免把业务量变化当成修复效果。
- 等待预热完成。 确认缓存、连接池和索引进入稳定状态,再比较增长斜率。
- 观察自然回落。 在低峰或测试环境中,让队列排空,比较匿名内存、存活对象与基线。
- 重复相同周期。 检查下一轮是否复用已有内存,还是每轮都增加不能解释的持有量。
- 同步验证性能。 即使占用趋稳,也要确认响应时间、错误率、交换活动和 PSI 没有恶化。
不要把清理系统缓存当作泄漏测试。它会改变文件访问性能、增加后续磁盘读取,且无法证明进程堆是否泄漏。重启同样只能释放当前进程资源,不能作为问题已经修复的证据。
当需要堆快照、分配采样或更深层分析时,应先确认运行时版本、工具兼容性和权限,并在测试环境评估开销。堆转储可能导致暂停、占用磁盘,并包含敏感业务数据;生产使用需要预留空间、安排影响窗口和限制访问。
若已出现频繁 OOM,应先按现有故障预案保护业务、保留必要证据,再开展深入分析。临时扩容可以争取排查时间,但应继续验证增长趋势:它不能替代对持续持有、无界缓存或队列积压的处理。
下一次看到“可用内存持续下降”,建议至少同时观察以下组合,而不是只给一条内存曲线设置告警:
| 要回答的问题 | 应同时观察的指标 |
|---|---|
| 是否只是文件缓存增长 | MemAvailable、Cached、Dirty、Writeback、文件读写量 |
| 是否由进程持有增加 | RssAnon/Pss_Anon、运行时存活对象、线程数、请求量 |
| 是否已经形成内存压力 | 交换 si/so、内存 PSI、响应时间、错误率 |
| 是否由处理瓶颈引起 | CPU、磁盘延迟、下游延迟、队列长度、连接数 |
| 是否触及容器限制 | memory.current、memory.max、memory.stat、memory.events 及父级限制 |
| 是否在相同负载下持续恶化 | 每轮开始与结束时的内存基线、完成请求数、队列排空状态 |
将这些指标放在同一时间轴上,才能区分“缓存正在利用空闲内存”“业务工作集正在扩大”和“对象持续持有无法释放”,并为下一步处理提供可以复测的依据。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3444.html



