Linux服务器内存占用升高时,如何区分文件缓存、进程占用与真实内存不足?
Linux服务器内存占用升高时,单看 free -h 的 used 或 buff/cache 很容易误判。Linux会主动利用空闲内存缓存文件内容和目录元数据,因此“缓存变大”不等于“内存泄漏”;反过来,available 持续下降、回收和换页增加、应用延迟升高时,即使 free 仍有剩余,也可能已经进入真实内存压力状态。
更可靠的判断方式,是把内存指标放回同一时间窗口,同时观察进程、文件缓存、交换分区、磁盘队列、CPU、网络、应用响应和错误率。最终要回答的不是“内存用了百分之多少”,而是:内存被谁占用、系统是否还能快速回收、回收是否已经影响业务。
针对数据库、业务后台、容器服务和多任务计算中的内存与I/O资源管理,A5数据提供中国香港、美国、日本等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等平台,并配备不同容量的内存与SSD、NVMe存储。面向缓存规模较大、进程并发较高或数据读写密集的业务,可结合地区、CPU、内存、磁盘和带宽资源,构建更适合持续观察与长期运行的服务器环境。
先区分三类“内存占用”
文件缓存不等于进程占用
Linux常见内存指标可以先按来源区分:
| 指标或对象 | 主要含义 | 是否可以直接回收 | 常见判断方式 |
|---|---|---|---|
Cached | 普通文件的页缓存,例如读取日志、静态文件、数据库文件形成的缓存 | 通常可以在需要时回收 | 结合 MemAvailable、页面回收和磁盘读延迟判断 |
Buffers | 块设备等内核缓冲区,通常规模不大 | 多数情况下可回收 | 单独占比通常不是主要问题 |
SReclaimable | 可回收的内核对象缓存,例如部分目录项和 inode 缓存 | 通常可回收,但回收成本可能不同 | 与 Slab、磁盘和文件数量变化一起看 |
进程 RSS | 进程当前驻留在物理内存中的页面,包括匿名内存和部分文件映射 | 不能简单视为全部可回收 | 需要结合 PSS、匿名内存和共享内存分析 |
进程 PSS | 按共享比例分摊后的进程实际内存占用 | 不属于系统缓存 | 适合比较多个进程或服务的真实占用 |
Shmem | 共享内存、tmpfs等占用 | 取决于具体用途 | 容器、数据库、应用共享内存场景需要单独确认 |
| Swap | 被换出的内存页面 | 重新使用时可能产生磁盘I/O | 看 si/so、换入延迟和应用响应,不只看已使用容量 |
free -h 中的 buff/cache 并不只代表普通文件缓存,它还可能包含可回收的内核缓存。即使这个数值很高,只要 MemAvailable 稳定、没有持续换入换出,业务响应也没有恶化,通常不能据此认定内存不足。
MemAvailable比MemFree更有参考价值
MemFree表示当前没有被使用的物理内存,但Linux可以在需要时回收一部分文件缓存,因此真正判断短时间内还能提供多少内存时,MemAvailable更有意义。它是内核根据可回收页缓存、内核缓存和内存水位估算出的可用内存,不是一个简单的“空闲内存加缓存”公式。
可以先采集以下信息:
date
free -h
cat /proc/meminfo | grep -E \
'^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Slab|Shmem|SwapTotal|SwapFree|Dirty|Writeback):'
例如,下面两种状态不能用同一个结论解释:
buff/cache从20 GiB增长到50 GiB,MemAvailable仍保持在15 GiB以上,交换活动为零,应用延迟稳定:更接近正常缓存增长。buff/cache仍有30 GiB,但MemAvailable下降到1 GiB,页面回收、换出和磁盘队列持续升高:缓存已经参与了内存压力,不能再简单说“缓存不影响内存”。
建立一个可比较的观察窗口
不要只在故障发生后执行一次命令。应先选定一个时间窗口,例如故障前10分钟、故障发生时10分钟以及处理后的10分钟,并让所有指标使用相同的时间基准。
基础采集可以包括:
vmstat 1 10
vmstat中重点关注:
r:等待运行的任务数量,可用于观察CPU运行队列;b:处于不可中断睡眠状态的任务,常与磁盘或其他I/O等待有关;si、so:交换分区换入、换出速率,通常以KiB/s显示;bi、bo:块设备读写活动;wa:CPU等待I/O的时间比例。
如果服务器安装了sysstat,可以进一步采集:
sar -r -W -B -q 1 10
sar -n DEV 1 10
iostat -xz 1 10
pidstat -r -u -d 1 10
这些命令分别用于观察内存、交换、页面回收、系统负载、网络设备、磁盘延迟和进程级资源变化。生产环境中也应同时保留应用侧的请求量、P95/P99响应时间、超时率、错误率,以及数据库查询延迟、连接数和锁等待等指标。
如果服务器启用了压力信息接口,还可以查看内存压力:
cat /proc/pressure/memory
输出中的some表示至少有部分任务因内存资源受阻,full表示所有可运行任务都曾受到影响。avg10、avg60和avg300分别对应不同时间窗口的平均压力比例。它们不适合脱离业务基线设置一个通用阈值,但很适合判断压力是否正在持续,而不是某个瞬时采样点异常。
用指标联动判断文件缓存
缓存增长但系统没有明显受压
文件缓存通常有一个典型特征:业务进行大量文件读取后,Cached上升;但MemAvailable没有同步快速下降,si/so保持为零,磁盘读延迟和应用响应时间也没有持续恶化。
例如下面是模拟监控数据,用于说明判断过程:
| 时间点 | Cached | MemAvailable | si/so | 磁盘读延迟 | 应用P99 |
|---|---|---|---|---|---|
| 10:00 | 18 GiB | 22 GiB | 0/0 | 3 ms | 140 ms |
| 10:10 | 31 GiB | 20 GiB | 0/0 | 3 ms | 145 ms |
| 10:20 | 43 GiB | 19 GiB | 0/0 | 4 ms | 148 ms |
在这个变化中,缓存增加了25 GiB,但可用内存仍有较大余量,换页和业务延迟基本稳定。更合理的解释是文件访问产生了页缓存,而不是某个进程持续泄漏内存。
还可以观察缓存增长期间的业务行为:
- 静态文件、日志、备份或扫描任务的读取量是否同步增加;
- 磁盘读吞吐是否上升,但
await和队列长度是否仍然稳定; - 业务流量下降后,
Cached是否逐步被回收; - 进程的匿名内存或PSS是否没有同步增长。
不要为了让free显示出更多空闲内存而频繁清理页缓存。清理缓存会使后续读取重新访问磁盘,可能导致读延迟、I/O队列和应用P99暂时升高;它也不能解决进程匿名内存泄漏或容器内存限制问题。诊断时优先观察自然回收和业务指标变化。
缓存增长也可能成为压力的一部分
“文件缓存可以回收”不代表“缓存永远没有影响”。以下情况需要提高警惕:
Dirty或Writeback持续偏高,写回速度跟不上应用写入;- 页面回收速率增加,
pgscan明显高于平稳期; - 磁盘已经接近饱和,回收和写回都在等待I/O;
MemAvailable持续下降,应用开始出现超时或队列堆积;- 缓存来自大量小文件,目录项和inode相关的内核缓存持续扩大。
此时问题可能是“内存与磁盘I/O共同受压”,而不只是单纯的缓存占用。需要把Cached、Dirty、Writeback、磁盘await、aqu-sz、%util以及应用响应放在同一时间线上观察。
用进程级指标判断真实使用者
RSS适合找大进程,PSS更适合比较实际占用
可以先按RSS列出进程:
ps -eo pid,ppid,comm,%mem,rss,vsz --sort=-rss | head -n 15
这里的RSS通常以KiB显示,代表进程当前驻留内存;VSZ是虚拟地址空间大小,不能直接当作物理内存占用。一个进程的RSS可能包含与其他进程共享的库、共享内存或文件映射,因此把所有进程RSS相加,可能重复计算。
在内核支持的系统上,可以进一步查看单个进程的汇总信息:
PID=1234
grep -E '^(Rss|Pss|Private|Shared)' /proc/${PID}/smaps_rollup
其中:
Pss会按照共享比例分摊页面,更适合比较多个进程;Private更接近该进程独占的页面;Shared表示与其他对象共享的页面,但具体归属仍需结合应用结构;- 如果
smaps_rollup不存在,可使用系统已安装的同类工具,或逐项检查/proc/$PID/smaps。
判断进程内存持续增长时,不要只看一次RSS。应至少记录以下变化:
- 进程RSS和PSS是否在多个采样点持续上升;
MemAvailable是否同步下降;- 进程匿名内存是否增长,而不是只增加文件映射;
- 进程重启、请求量变化或缓存淘汰后,内存是否回落;
- 增长是否集中在堆、线程栈、共享内存、连接缓冲区或应用内部缓存。
如果一个Java、Go、Node.js、数据库或代理服务的PSS在业务流量稳定时仍持续增长,同时应用延迟、GC、连接数或错误率逐步恶化,进程占用或应用内部缓存就比文件缓存更值得优先排查。重启可能只能暂时降低占用,不能替代对堆、对象生命周期和缓存上限的分析。
容器或服务可能受限于cgroup
宿主机还有很多MemAvailable,并不代表容器或服务一定可以继续申请内存。容器可能受到memory.max、编排平台限制或服务级cgroup限制,达到上限后会被内核触发内存回收甚至OOM。
在采用cgroup v2的系统中,可以在目标服务对应的cgroup目录查看:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
cat /sys/fs/cgroup/memory.stat
重点关注:
memory.current:当前cgroup使用量;memory.max:限制值,max通常表示未设置固定上限;memory.events中的oom和oom_kill;memory.stat中的anon、file、slab等分类。
如果宿主机内存充足,但memory.events中oom_kill增加,问题应按服务级内存不足处理,而不能只看宿主机的free -h。
用压力信号确认是否真的内存不足
真实内存不足通常不是一个指标突然超过某个百分比,而是多个指标在同一时间出现关联变化:
MemAvailable持续下降,且恢复速度变慢;si/so持续出现,或页面换入换出与业务延迟同步;- 内存PSI的
some或full持续升高; vmstat中的r、b或wa增加;- 磁盘
await、队列长度和利用率上升; - 应用P95/P99延迟、超时率和错误率恶化;
- 内核日志出现OOM或cgroup内存事件。
可以检查内核日志中的相关信息:
journalctl -k --since "30 min ago" | \
grep -Ei 'out of memory|oom|killed process|memory cgroup'
如果没有使用systemd日志,也可以根据发行版检查内核日志文件。不要因为发现一次OOM记录就直接认定当前仍在内存不足状态,还要核对事件时间、被杀进程、当时的cgroup和业务流量。
下面是一组模拟数据,展示如何形成判断:

| 时间点 | 进程PSS | MemAvailable | si/so | 内存PSI | 磁盘await | 应用P99/错误率 |
|---|---|---|---|---|---|---|
| 14:00 | 6.2 GiB | 12 GiB | 0/0 | 接近0 | 4 ms | 180 ms / 0.2% |
| 14:10 | 8.8 GiB | 6 GiB | 40/120 KiB/s | 上升 | 18 ms | 620 ms / 1.1% |
| 14:20 | 11.5 GiB | 1.4 GiB | 260/680 KiB/s | 持续升高 | 75 ms | 1.9 s / 4.8% |
这组变化中,进程PSS持续增长,可用内存下降,换页、内存压力、磁盘延迟和应用错误率同时恶化,已经比“文件缓存正常增长”更符合进程占用导致的真实内存不足。
但如果只有磁盘await和队列升高,内存指标稳定,应用响应变慢,则应优先考虑磁盘瓶颈;如果CPU运行队列和使用率升高而内存压力不明显,应检查CPU饱和;如果网络丢包、重传、连接队列或带宽达到上限,则可能是网络瓶颈。数据库场景还要单独看连接数、查询P95、锁等待、事务日志写入和缓冲池命中情况,不能把所有数据库变慢都归因于Linux内存。
排除容易混淆的替代解释
数据库缓存可能看起来像“进程占用”
数据库通常会主动使用较大的缓冲池或文件缓存。此时数据库进程RSS/PSS较高并不一定代表泄漏,需要确认:
- 缓冲池大小是否是配置中预期的值;
- 数据库进程的匿名内存是否继续增长;
- 查询并发、连接数和临时表是否同步增加;
- 磁盘读写延迟、锁等待和日志写入是否变差;
- 数据库所在cgroup是否接近内存限制。
如果数据库缓冲池稳定、MemAvailable和内存压力正常,而查询变慢主要伴随磁盘延迟或锁等待,扩大系统内存未必能解决核心问题。
内核Slab增长不等于普通进程泄漏
大量小文件、目录遍历、容器创建销毁和网络连接都可能使内核缓存增长。可以查看:
slabtop -o
slabtop不存在或权限不足时,可查看/proc/slabinfo。重点是确认SReclaimable、不可回收Slab、文件数量和业务行为是否同步变化。内核缓存占用需要结合回收压力判断,不能简单把所有Slab都归到某个用户态进程。
磁盘I/O会制造“像内存不足”的现象
系统发生大量回收、写回或换页时,磁盘延迟会上升;但磁盘本身饱和、数据库日志写入过快或后台备份同样会造成业务变慢。区分时应比较:
- 内存压力是否先于磁盘延迟出现;
si/so是否持续非零;- 磁盘队列是否在没有换页时也持续升高;
- 应用延迟是否只在特定读写操作上增加;
- CPU的
wa是否高,而内存PSI仍然稳定。
这一步可以避免把磁盘瓶颈误处理成“加内存”,也避免把真正的换页压力误处理成“只优化磁盘”。
形成判断并安排复测
可以使用下面的条件化结论:
| 观察结果 | 更可能的判断 | 下一步验证 |
|---|---|---|
Cached上升,MemAvailable稳定,si/so为零,应用延迟稳定 | 正常文件缓存增长 | 观察流量下降后的回收情况,确认PSS没有同步增长 |
| 单个或少数进程PSS持续增长,匿名内存增加 | 进程内存增长、应用缓存或泄漏 | 按进程和应用运行时继续分析对象、堆、连接和缓存上限 |
MemAvailable下降,PSI、回收、换页和业务延迟同时升高 | 真实内存压力 | 确认物理机或cgroup限制,定位主要内存使用者 |
| 宿主机可用内存较多,但服务cgroup触发OOM | 服务级内存不足 | 检查memory.max、memory.current和memory.events |
内存稳定,磁盘队列和await升高 | 磁盘I/O瓶颈 | 检查读写来源、写回、日志、备份和存储性能 |
| 内存稳定,CPU运行队列、CPU使用率或锁等待升高 | CPU、应用并发或数据库锁瓶颈 | 对照线程、查询、锁和请求队列继续定位 |
处理措施完成后,需要在相近的流量和任务条件下复测,而不是只执行一次free -h。例如提高服务内存上限、限制应用缓存、调整批处理并发或处理I/O任务后,应继续观察同一组指标是否同时改善:
MemAvailable、Cached、SReclaimable;- 目标进程RSS、PSS、匿名内存;
si/so、页面扫描和内存PSI;- CPU运行队列、
wa和进程调度情况; - 磁盘
await、队列长度、写回和利用率; - 网络吞吐、丢包、重传和连接队列;
- 应用P95/P99、超时率、错误率;
- 数据库查询延迟、连接数、锁等待和日志写入。
下一次遇到“内存占用升高”,不要只截取一个时间点的used或buff/cache。应至少把MemAvailable + 进程PSS + Cached/Slab + si/so + 内存PSI + 磁盘队列与延迟 + CPU运行队列 + 应用响应和错误率放在同一时间轴上,再决定它是正常缓存、进程占用、cgroup限制、真实内存不足,还是其他资源瓶颈。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4688.html



