Linux内存回收压力升高如何判断?结合可用内存、交换与进程指标定位原因

发布人:A5数据发布时间:2026-10-30 14:21阅读量:103

单看 free 很低,不能直接判定 Linux 内存不足;单看 available 尚可,也不能排除短时回收停顿。判断内存回收压力,要把可用内存和缓存变化、交换活动、直接回收与缺页、进程或容器占用,以及同一时间的 CPU、磁盘 I/O 和业务响应放在一起看。

关键问题不是“内存用了多少”,而是系统能否及时回收可回收内存来满足分配请求。如果内存回收持续活跃,并伴随交换读写、内存压力升高或业务延迟与错误率恶化,才更有理由怀疑内存压力已经影响服务。以下方法适用于常见 Linux 发行版;指标名称和工具输出可能随内核、发行版及工具版本略有差异。

先建立观察窗口:看趋势,不只看故障时刻

排查时先确定异常发生的时间段,并以相同采样间隔同步采集指标。短时尖峰可以先按 1~5 秒观察,持续性问题可另按 1 分钟聚合;若只看整机每分钟平均值,几秒钟的回收停顿可能被掩盖。

可以先用以下命令观察内存、交换和系统活动:

date
free -h
vmstat 1 10

free -h 是某一时刻的快照;vmstat 1 10 每秒输出一次采样结果,通常第一行反映自启动以来的平均值,分析时重点看后续行。还应记录业务侧的请求延迟、错误率、队列长度、超时数量,以及磁盘 I/O 和 CPU 使用率。若问题发生在容器内,必须同时查看容器内存限制及其 cgroup 指标,不能只看宿主机。

建议先用一张时间表把指标放在一起。表中的数据是用于说明判断方法的模拟值,不代表实际监控结果。

先建立观察窗口:看趋势,不只看故障时刻配图

时间MemAvailable交换读/写PSI some磁盘 I/O 等待应用 p99 延迟
10:002.8 GiB接近 00.2%2%45 ms
10:051.1 GiB持续增加4%8%90 ms
10:100.4 GiB持续增加18%26%420 ms

这组变化显示多个指标同时恶化,值得进一步调查内存压力;但它本身还不能证明是内存回收造成延迟。磁盘变慢、流量突增或应用自身阻塞也可能带来相似曲线,必须继续核对。

指标 A:可用内存与缓存变化

MemAvailable 比 MemFree 更适合判断余量

MemFree 表示当前完全空闲的内存页。Linux 会把部分空闲内存用于页缓存等用途,因此正常运行时 MemFree 较低并不罕见。MemAvailable 则是内核对“在不大量使用交换空间的情况下,还能提供多少内存”的估算,判断内存余量时通常比 MemFree 更有参考价值。

可以查看内核提供的明细:

grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapTotal|SwapFree|Slab|SReclaimable|SUnreclaim):' /proc/meminfo

重点是观察趋势,而不是用某个固定百分比作为所有服务器的统一告警线:

  • MemAvailable 持续下降,说明可供应用分配的余量在变小。
  • Cached、Buffers 增长,可能是文件缓存增加;其中一部分可被回收,不等于同等数量的内存被进程永久占用。
  • SReclaimable 表示可回收 slab 的一部分;SUnreclaim 则不能按同样方式视为可回收缓存。
  • 如果 MemAvailable 回落后又很快恢复,且交换、回收停顿和业务指标都稳定,可能只是缓存或工作集的短时波动。

缓存也不一定都能立即回收。正在使用的文件页、受脏页写回影响的缓存,或特定内核对象,都可能限制回收速度。因此看到 Cached 较大,不能简单推断“这些内存都能马上释放”。

用回收计数判断内核是否在持续找内存

/proc/vmstat 中有与页扫描、回收和缺页相关的计数器。可以在同一时间段前后读取,再比较差值:

grep -E '^(pgscan|pgsteal|allocstall|pgmajfault|workingset_refault)' /proc/vmstat

这些字段通常是累计计数,不应把单次读到的绝对值当成每秒速率。采样两次后,以计数差除以间隔秒数,才能估算变化速率。字段可能带有不同后缀,例如与直接回收或后台回收相关的计数;应结合当前内核提供的实际字段解释。

pgscan 增长表示内核扫描了页面,pgsteal 增长表示扫描过程中回收了页面。若扫描持续增加、回收效率下降,或 allocstall 等直接回收相关计数同步增长,说明内存分配路径可能承受压力。单看扫描量仍不够:有缓存可回收时,扫描量增加也可能是正常活动;应再看扫描是否伴随 PSI、交换和业务退化。

指标 B:交换活动、缺页与压力停顿

交换空间“已使用”不等于当前正在换页

free -h 中显示的交换空间已用量是一个存量值。系统可能在较早时把冷页面换出,之后并没有持续交换;因此,交换空间占用较高不必然表示当前压力很大。

判断实时活动,应看交换读写是否持续增长。vmstat 的 si、so 分别表示交换输入和输出活动;不同版本的工具在单位和展示方式上可能有差异,可用 man vmstat 核对。也可以比较 /proc/vmstat 中交换页计数器的前后差值。若 si、so 长时间非零,同时 MemAvailable 走低、主要缺页增加或业务延迟上升,证据会更强。

pgmajfault 增加表示发生主要缺页,内核需要从存储设备读取页面;但它不只由交换引起,文件映射读取也会触发主要缺页。因此应同时确认交换计数和磁盘读活动,避免把所有主要缺页都归因于交换。

PSI 能显示内存压力对任务造成的停顿

启用相应内核支持时,可读取全局内存压力停顿信息:

cat /proc/pressure/memory

输出通常包含 some 和 full。some 表示至少有部分任务因资源不足而停顿的时间比例;full 表示所有非空闲任务同时陷入这类停顿的时间比例。它们不是内存使用率,也不是交换空间占用率。应关注采样窗口内的变化及 avg10、avg60 等平均值,而非仅凭某个瞬时数值下结论。

如果可用内存下降时,内存 PSI 同步上升,说明任务确实受到内存资源争用影响。若 PSI 持续接近基线、交换活动几乎为零,且延迟未恶化,即使内存使用率看起来很高,也未必存在显著回收压力。

容器环境还应查看对应 cgroup。cgroup v2 常见的观察入口包括:

指标 B:交换活动、缺页与压力停顿配图

cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.events
cat /sys/fs/cgroup/memory.stat
cat /sys/fs/cgroup/memory.pressure

这些路径是否可用,取决于系统是否采用 cgroup v2,以及进程所在的 cgroup 挂载方式。memory.events 中的 high、max、oom 等计数应结合采样差值解读;计数增长可能说明容器触及了内存限制,即使宿主机整体仍有不少可用内存。cgroup v1 的文件名和组织方式不同,需按实际挂载和控制器路径核验。

指标 C:定位占用来源与 OOM 风险

整机内存回收压力要与进程或容器占用对应起来。先观察进程的常驻内存,再结合应用的工作集、并发量和请求变化:

ps -eo pid,ppid,comm,rss,vsz,%mem --sort=-rss | head -n 20

RSS 是进程当前驻留在物理内存中的页面规模,常用于初步排序,但共享页会在多个进程的 RSS 中重复计算;把所有进程的 RSS 相加,可能高估真实物理内存占用。VSZ 是虚拟地址空间规模,也不能直接当作实际物理内存使用量。若需进一步区分私有与共享页面,可在权限允许时检查 /proc/<PID>/smaps_rollup,并关注 Pss 等指标。

进程数量多、工作集持续增长、容器 memory.current 接近上限,或 cgroup 的限制事件计数增加,都可能解释可用内存下降。反过来,若进程占用变化不大,而 SUnreclaim 持续增加,则应调查内核 slab 或相关内核对象,不能只盯着应用进程。

OOM(内存不足)记录是更直接的结果证据,但并非只有物理内存耗尽才会发生 OOM:容器或进程组也可能先触及自身限制。可查看内核日志中的相关记录:

journalctl -k --since "30 minutes ago" | grep -Ei 'oom|out of memory|killed process'

若当前系统没有使用 systemd 日志,可按发行版配置检查内核日志。发现 Killed process、oom-kill 或 cgroup OOM 事件时,要核对时间、进程、内存限制和业务错误率。没有 OOM 日志,也不能排除较轻的回收压力;它只说明没有找到对应的 OOM 记录。

排除替代解释:把内存与 I/O、CPU、网络和业务放到同一时间线

同一组“延迟升高、I/O 等待增加”的表现,可能由不同原因引起。对照相关指标可避免把其他瓶颈误判成内存回收:

  • 磁盘变慢或存储队列堆积: 若磁盘利用率、队列或等待时间先上升,随后应用延迟恶化,而内存 PSI 和交换活动没有同步变化,应优先调查存储。若交换读写与磁盘等待同时增加,则还需判断是否是交换放大了 I/O 压力。
  • CPU 饱和或调度争用: 若 CPU 使用率、运行队列或调度等待先上升,但内存可用量、PSI 和交换保持稳定,瓶颈更可能在计算资源或线程调度。CPU 指标也要区分用户态、内核态和 I/O 等待时间。
  • 网络或下游服务拥塞: 若网络重传、连接等待、请求队列或下游响应时间上升,而内存指标稳定,应用变慢可能并非内存问题。网络流量突增也可能间接扩大进程工作集,应核对时间先后关系。
  • 文件缓存和业务工作集变化: 文件扫描、备份或大批量读取会改变缓存与缺页情况。若内存压力指标没有明显上升,业务延迟也稳定,缓存变化本身不构成故障证据。
  • 进程退出或容器限制: 若错误率突然升高、实例重启或进程被杀,同时 OOM 或 cgroup 事件增加,应判断影响发生在容器限额还是主机层面,不能只根据主机 MemAvailable 解释。

判断因果时,关注“哪个指标先变、哪些指标一起变、异常结束后哪些指标恢复”。同步恶化可以形成候选解释,但并不自动证明因果;例如磁盘 I/O 等待和交换活动同时升高,既可能是交换导致磁盘忙,也可能是原有存储瓶颈加剧了换页成本。

形成判断:用组合证据区分正常缓存、压力与 OOM 前兆

可以按下面的组合做初步分层:

形成判断:用组合证据区分正常缓存、压力与 OOM 前兆配图

观察到的组合更合理的判断下一步核对
MemFree 低,但 MemAvailable 稳定;交换活动、PSI、延迟正常更像是内存用于缓存,不足以判定压力观察可用内存与业务工作集趋势
MemAvailable 持续下降,回收扫描增加,但交换和 PSI 低、业务正常回收活动增加,当前影响可能有限检查缓存可回收性、进程增长及趋势
可用内存下降,交换读写或主要缺页持续增加,内存 PSI 上升,延迟或队列同步恶化内存回收已可能影响任务进度对齐时间线,定位进程、容器限额和 I/O 变化
cgroup 限制事件或 OOM 记录增长,伴随错误率、重启或进程退出有明确的限额触发或 OOM 影响核实被杀进程、限制值和时间范围
磁盘等待先升高,内存 PSI 与交换基本稳定可能以存储瓶颈为主检查设备延迟、队列及业务读写

实际判断至少要有两类证据互相支持:一类说明内存确实紧张或回收活跃,另一类说明任务已经受到影响,或已触发限制、OOM。只看到使用率高,或只看到交换空间已用,通常不足以定位原因。

复测:验证时间关系,而不是只看处置后的一个快照

初步找到候选原因后,继续按原采样间隔复测,并保持时间范围一致。若怀疑进程工作集增长,应比较进程或 cgroup 的内存曲线、请求并发量和业务延迟;若怀疑交换,应同时比较交换读写、主要缺页、磁盘等待和 PSI;若怀疑容器限制,则观察 memory.current、限制事件与应用错误率。

复测时不要只因为 MemAvailable 回升就认定问题解决。缓存被清理后,可用内存可能暂时增加,但如果交换仍在持续、PSI 仍高或请求队列没有恢复,业务影响可能仍在。相反,缓存重新增长也不必然表示故障复发,只要可用余量、压力停顿和服务表现稳定即可。

下一次排查至少应同时保留这组指标:MemAvailable 与缓存明细、交换读写速率、内存 PSI、回收与主要缺页计数差值、进程或 cgroup 占用及限制事件,再对齐 CPU、磁盘 I/O、网络、业务延迟、错误率和队列。这样才能把“内存看起来很满”拆解为可验证的原因,并判断它是否已经成为性能瓶颈。

对于需要持续关注 Linux 内存占用与回收表现的网站、数据库和业务后台,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖不同 CPU 平台、内存容量及 SSD、NVMe 存储配置,可为服务进程、缓存与数据存储提供相应的硬件资源基础;多地区部署也能适配不同业务的访问范围与线路需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6611.html

相关推荐