Linux服务器内存占用升高时,如何区分文件缓存、进程占用与真实内存不足?

发布人:A5数据发布时间:2026-10-20 09:55阅读量:123

Linux服务器内存占用升高时,单看 free -h 的 used 或 buff/cache 很容易误判。Linux会主动利用空闲内存缓存文件内容和目录元数据,因此“缓存变大”不等于“内存泄漏”;反过来,available 持续下降、回收和换页增加、应用延迟升高时,即使 free 仍有剩余,也可能已经进入真实内存压力状态。

更可靠的判断方式,是把内存指标放回同一时间窗口,同时观察进程、文件缓存、交换分区、磁盘队列、CPU、网络、应用响应和错误率。最终要回答的不是“内存用了百分之多少”,而是:内存被谁占用、系统是否还能快速回收、回收是否已经影响业务。

针对数据库、业务后台、容器服务和多任务计算中的内存与I/O资源管理,A5数据提供中国香港、美国、日本等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等平台,并配备不同容量的内存与SSD、NVMe存储。面向缓存规模较大、进程并发较高或数据读写密集的业务,可结合地区、CPU、内存、磁盘和带宽资源,构建更适合持续观察与长期运行的服务器环境。

先区分三类“内存占用”

文件缓存不等于进程占用

Linux常见内存指标可以先按来源区分:

指标或对象主要含义是否可以直接回收常见判断方式
Cached普通文件的页缓存,例如读取日志、静态文件、数据库文件形成的缓存通常可以在需要时回收结合 MemAvailable、页面回收和磁盘读延迟判断
Buffers块设备等内核缓冲区,通常规模不大多数情况下可回收单独占比通常不是主要问题
SReclaimable可回收的内核对象缓存,例如部分目录项和 inode 缓存通常可回收,但回收成本可能不同与 Slab、磁盘和文件数量变化一起看
进程 RSS进程当前驻留在物理内存中的页面,包括匿名内存和部分文件映射不能简单视为全部可回收需要结合 PSS、匿名内存和共享内存分析
进程 PSS按共享比例分摊后的进程实际内存占用不属于系统缓存适合比较多个进程或服务的真实占用
Shmem共享内存、tmpfs等占用取决于具体用途容器、数据库、应用共享内存场景需要单独确认
Swap被换出的内存页面重新使用时可能产生磁盘I/O看 si/so、换入延迟和应用响应,不只看已使用容量

free -h 中的 buff/cache 并不只代表普通文件缓存,它还可能包含可回收的内核缓存。即使这个数值很高,只要 MemAvailable 稳定、没有持续换入换出,业务响应也没有恶化,通常不能据此认定内存不足。

MemAvailable比MemFree更有参考价值

MemFree表示当前没有被使用的物理内存,但Linux可以在需要时回收一部分文件缓存,因此真正判断短时间内还能提供多少内存时,MemAvailable更有意义。它是内核根据可回收页缓存、内核缓存和内存水位估算出的可用内存,不是一个简单的“空闲内存加缓存”公式。

可以先采集以下信息:

date
free -h

cat /proc/meminfo | grep -E \
'^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Slab|Shmem|SwapTotal|SwapFree|Dirty|Writeback):'

例如,下面两种状态不能用同一个结论解释:

  • buff/cache从20 GiB增长到50 GiB,MemAvailable仍保持在15 GiB以上,交换活动为零,应用延迟稳定:更接近正常缓存增长。
  • buff/cache仍有30 GiB,但MemAvailable下降到1 GiB,页面回收、换出和磁盘队列持续升高:缓存已经参与了内存压力,不能再简单说“缓存不影响内存”。

建立一个可比较的观察窗口

不要只在故障发生后执行一次命令。应先选定一个时间窗口,例如故障前10分钟、故障发生时10分钟以及处理后的10分钟,并让所有指标使用相同的时间基准。

基础采集可以包括:

vmstat 1 10

vmstat中重点关注:

  • r:等待运行的任务数量,可用于观察CPU运行队列;
  • b:处于不可中断睡眠状态的任务,常与磁盘或其他I/O等待有关;
  • si、so:交换分区换入、换出速率,通常以KiB/s显示;
  • bi、bo:块设备读写活动;
  • wa:CPU等待I/O的时间比例。

如果服务器安装了sysstat,可以进一步采集:

sar -r -W -B -q 1 10
sar -n DEV 1 10
iostat -xz 1 10
pidstat -r -u -d 1 10

这些命令分别用于观察内存、交换、页面回收、系统负载、网络设备、磁盘延迟和进程级资源变化。生产环境中也应同时保留应用侧的请求量、P95/P99响应时间、超时率、错误率,以及数据库查询延迟、连接数和锁等待等指标。

如果服务器启用了压力信息接口,还可以查看内存压力:

cat /proc/pressure/memory

输出中的some表示至少有部分任务因内存资源受阻,full表示所有可运行任务都曾受到影响。avg10、avg60和avg300分别对应不同时间窗口的平均压力比例。它们不适合脱离业务基线设置一个通用阈值,但很适合判断压力是否正在持续,而不是某个瞬时采样点异常。

用指标联动判断文件缓存

缓存增长但系统没有明显受压

文件缓存通常有一个典型特征:业务进行大量文件读取后,Cached上升;但MemAvailable没有同步快速下降,si/so保持为零,磁盘读延迟和应用响应时间也没有持续恶化。

例如下面是模拟监控数据,用于说明判断过程:

时间点CachedMemAvailablesi/so磁盘读延迟应用P99
10:0018 GiB22 GiB0/03 ms140 ms
10:1031 GiB20 GiB0/03 ms145 ms
10:2043 GiB19 GiB0/04 ms148 ms

在这个变化中,缓存增加了25 GiB,但可用内存仍有较大余量,换页和业务延迟基本稳定。更合理的解释是文件访问产生了页缓存,而不是某个进程持续泄漏内存。

还可以观察缓存增长期间的业务行为:

  • 静态文件、日志、备份或扫描任务的读取量是否同步增加;
  • 磁盘读吞吐是否上升,但await和队列长度是否仍然稳定;
  • 业务流量下降后,Cached是否逐步被回收;
  • 进程的匿名内存或PSS是否没有同步增长。

不要为了让free显示出更多空闲内存而频繁清理页缓存。清理缓存会使后续读取重新访问磁盘,可能导致读延迟、I/O队列和应用P99暂时升高;它也不能解决进程匿名内存泄漏或容器内存限制问题。诊断时优先观察自然回收和业务指标变化。

缓存增长也可能成为压力的一部分

“文件缓存可以回收”不代表“缓存永远没有影响”。以下情况需要提高警惕:

  • Dirty或Writeback持续偏高,写回速度跟不上应用写入;
  • 页面回收速率增加,pgscan明显高于平稳期;
  • 磁盘已经接近饱和,回收和写回都在等待I/O;
  • MemAvailable持续下降,应用开始出现超时或队列堆积;
  • 缓存来自大量小文件,目录项和inode相关的内核缓存持续扩大。

此时问题可能是“内存与磁盘I/O共同受压”,而不只是单纯的缓存占用。需要把Cached、Dirty、Writeback、磁盘await、aqu-sz、%util以及应用响应放在同一时间线上观察。

用进程级指标判断真实使用者

RSS适合找大进程,PSS更适合比较实际占用

可以先按RSS列出进程:

ps -eo pid,ppid,comm,%mem,rss,vsz --sort=-rss | head -n 15

这里的RSS通常以KiB显示,代表进程当前驻留内存;VSZ是虚拟地址空间大小,不能直接当作物理内存占用。一个进程的RSS可能包含与其他进程共享的库、共享内存或文件映射,因此把所有进程RSS相加,可能重复计算。

在内核支持的系统上,可以进一步查看单个进程的汇总信息:

PID=1234
grep -E '^(Rss|Pss|Private|Shared)' /proc/${PID}/smaps_rollup

其中:

  • Pss会按照共享比例分摊页面,更适合比较多个进程;
  • Private更接近该进程独占的页面;
  • Shared表示与其他对象共享的页面,但具体归属仍需结合应用结构;
  • 如果smaps_rollup不存在,可使用系统已安装的同类工具,或逐项检查/proc/$PID/smaps。

判断进程内存持续增长时,不要只看一次RSS。应至少记录以下变化:

  1. 进程RSS和PSS是否在多个采样点持续上升;
  2. MemAvailable是否同步下降;
  3. 进程匿名内存是否增长,而不是只增加文件映射;
  4. 进程重启、请求量变化或缓存淘汰后,内存是否回落;
  5. 增长是否集中在堆、线程栈、共享内存、连接缓冲区或应用内部缓存。

如果一个Java、Go、Node.js、数据库或代理服务的PSS在业务流量稳定时仍持续增长,同时应用延迟、GC、连接数或错误率逐步恶化,进程占用或应用内部缓存就比文件缓存更值得优先排查。重启可能只能暂时降低占用,不能替代对堆、对象生命周期和缓存上限的分析。

容器或服务可能受限于cgroup

宿主机还有很多MemAvailable,并不代表容器或服务一定可以继续申请内存。容器可能受到memory.max、编排平台限制或服务级cgroup限制,达到上限后会被内核触发内存回收甚至OOM。

在采用cgroup v2的系统中,可以在目标服务对应的cgroup目录查看:

cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
cat /sys/fs/cgroup/memory.stat

重点关注:

  • memory.current:当前cgroup使用量;
  • memory.max:限制值,max通常表示未设置固定上限;
  • memory.events中的oom和oom_kill;
  • memory.stat中的anon、file、slab等分类。

如果宿主机内存充足,但memory.events中oom_kill增加,问题应按服务级内存不足处理,而不能只看宿主机的free -h。

用压力信号确认是否真的内存不足

真实内存不足通常不是一个指标突然超过某个百分比,而是多个指标在同一时间出现关联变化:

  • MemAvailable持续下降,且恢复速度变慢;
  • si/so持续出现,或页面换入换出与业务延迟同步;
  • 内存PSI的some或full持续升高;
  • vmstat中的r、b或wa增加;
  • 磁盘await、队列长度和利用率上升;
  • 应用P95/P99延迟、超时率和错误率恶化;
  • 内核日志出现OOM或cgroup内存事件。

可以检查内核日志中的相关信息:

journalctl -k --since "30 min ago" | \
grep -Ei 'out of memory|oom|killed process|memory cgroup'

如果没有使用systemd日志,也可以根据发行版检查内核日志文件。不要因为发现一次OOM记录就直接认定当前仍在内存不足状态,还要核对事件时间、被杀进程、当时的cgroup和业务流量。

下面是一组模拟数据,展示如何形成判断:

用压力信号确认是否真的内存不足配图

时间点进程PSSMemAvailablesi/so内存PSI磁盘await应用P99/错误率
14:006.2 GiB12 GiB0/0接近04 ms180 ms / 0.2%
14:108.8 GiB6 GiB40/120 KiB/s上升18 ms620 ms / 1.1%
14:2011.5 GiB1.4 GiB260/680 KiB/s持续升高75 ms1.9 s / 4.8%

这组变化中,进程PSS持续增长,可用内存下降,换页、内存压力、磁盘延迟和应用错误率同时恶化,已经比“文件缓存正常增长”更符合进程占用导致的真实内存不足。

但如果只有磁盘await和队列升高,内存指标稳定,应用响应变慢,则应优先考虑磁盘瓶颈;如果CPU运行队列和使用率升高而内存压力不明显,应检查CPU饱和;如果网络丢包、重传、连接队列或带宽达到上限,则可能是网络瓶颈。数据库场景还要单独看连接数、查询P95、锁等待、事务日志写入和缓冲池命中情况,不能把所有数据库变慢都归因于Linux内存。

排除容易混淆的替代解释

数据库缓存可能看起来像“进程占用”

数据库通常会主动使用较大的缓冲池或文件缓存。此时数据库进程RSS/PSS较高并不一定代表泄漏,需要确认:

  • 缓冲池大小是否是配置中预期的值;
  • 数据库进程的匿名内存是否继续增长;
  • 查询并发、连接数和临时表是否同步增加;
  • 磁盘读写延迟、锁等待和日志写入是否变差;
  • 数据库所在cgroup是否接近内存限制。

如果数据库缓冲池稳定、MemAvailable和内存压力正常,而查询变慢主要伴随磁盘延迟或锁等待,扩大系统内存未必能解决核心问题。

内核Slab增长不等于普通进程泄漏

大量小文件、目录遍历、容器创建销毁和网络连接都可能使内核缓存增长。可以查看:

slabtop -o

slabtop不存在或权限不足时,可查看/proc/slabinfo。重点是确认SReclaimable、不可回收Slab、文件数量和业务行为是否同步变化。内核缓存占用需要结合回收压力判断,不能简单把所有Slab都归到某个用户态进程。

磁盘I/O会制造“像内存不足”的现象

系统发生大量回收、写回或换页时,磁盘延迟会上升;但磁盘本身饱和、数据库日志写入过快或后台备份同样会造成业务变慢。区分时应比较:

  • 内存压力是否先于磁盘延迟出现;
  • si/so是否持续非零;
  • 磁盘队列是否在没有换页时也持续升高;
  • 应用延迟是否只在特定读写操作上增加;
  • CPU的wa是否高,而内存PSI仍然稳定。

这一步可以避免把磁盘瓶颈误处理成“加内存”,也避免把真正的换页压力误处理成“只优化磁盘”。

形成判断并安排复测

可以使用下面的条件化结论:

观察结果更可能的判断下一步验证
Cached上升,MemAvailable稳定,si/so为零,应用延迟稳定正常文件缓存增长观察流量下降后的回收情况,确认PSS没有同步增长
单个或少数进程PSS持续增长,匿名内存增加进程内存增长、应用缓存或泄漏按进程和应用运行时继续分析对象、堆、连接和缓存上限
MemAvailable下降,PSI、回收、换页和业务延迟同时升高真实内存压力确认物理机或cgroup限制,定位主要内存使用者
宿主机可用内存较多,但服务cgroup触发OOM服务级内存不足检查memory.max、memory.current和memory.events
内存稳定,磁盘队列和await升高磁盘I/O瓶颈检查读写来源、写回、日志、备份和存储性能
内存稳定,CPU运行队列、CPU使用率或锁等待升高CPU、应用并发或数据库锁瓶颈对照线程、查询、锁和请求队列继续定位

处理措施完成后,需要在相近的流量和任务条件下复测,而不是只执行一次free -h。例如提高服务内存上限、限制应用缓存、调整批处理并发或处理I/O任务后,应继续观察同一组指标是否同时改善:

  • MemAvailable、Cached、SReclaimable;
  • 目标进程RSS、PSS、匿名内存;
  • si/so、页面扫描和内存PSI;
  • CPU运行队列、wa和进程调度情况;
  • 磁盘await、队列长度、写回和利用率;
  • 网络吞吐、丢包、重传和连接队列;
  • 应用P95/P99、超时率、错误率;
  • 数据库查询延迟、连接数、锁等待和日志写入。

下一次遇到“内存占用升高”,不要只截取一个时间点的used或buff/cache。应至少把MemAvailable + 进程PSS + Cached/Slab + si/so + 内存PSI + 磁盘队列与延迟 + CPU运行队列 + 应用响应和错误率放在同一时间轴上,再决定它是正常缓存、进程占用、cgroup限制、真实内存不足,还是其他资源瓶颈。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4688.html

相关推荐