美国服务器内存耗尽如何排查,怎样区分进程占用、缓存与OOM
美国服务器出现内存告警时,不能仅凭“已使用内存超过90%”判断内存真的耗尽。Linux 会把空闲内存用于文件页缓存,free 可能很低,但 available 仍然充足;相反,某个进程、容器或系统服务可能已经触发 OOM,即使主机看起来还有可用内存。
排查应同时核对四类证据:主机的 available 和内存压力、进程的 RSS 增长、交换分区的读写活动,以及内核或 cgroup 的 OOM 记录。只有这些现象能够相互印证,才能区分是进程占用、可回收缓存、交换压力,还是服务自身的内存上限。

先确认故障影响范围
观察业务症状,而不是先执行清理
先记录故障发生时间和影响范围。美国机房服务器的系统时区、监控平台时区和业务日志时区可能不同,排查时应先对齐时间:
date -Is
uptime
free -h
重点确认以下问题:
- SSH 是否变慢、频繁断开,或只有某个网站、接口返回 502/504。
- 所有服务是否同时变慢,还是单个服务的 worker 被反复重启。
- 服务器负载是否升高,磁盘 I/O、网络连接数和请求量是否同时增加。
- 监控平台显示的是主机内存,还是某个 Docker 容器、systemd 服务的内存。
- 故障是持续增长,还是在流量高峰、批处理、备份或日志轮转时短时出现。
如果所有服务同时出现延迟和进程响应变慢,应优先检查主机层。若只有一个容器或一个服务异常,则要先检查该服务的进程占用和内存限制。不要一开始就重启整台服务器,否则可能丢失 OOM 发生前的进程、内核和 cgroup 证据。
正确理解 free -h 的字段
示例输出如下,数据仅用于说明判断方法:
total used free shared buff/cache available
Mem: 16Gi 13Gi 300Mi 120Mi 2.7Gi 8.5Gi
Swap: 2.0Gi 1.1Gi 900Mi
各字段不能等价看待:
| 字段 | 主要含义 | 排查时的关注点 |
|---|---|---|
total | 物理内存总量 | 注意云平台面板可能使用 GB,Linux 常显示 GiB,数值不一定相同 |
used | 已被用户空间、内核及部分缓存使用的内存 | 不能单独作为“耗尽”依据 |
free | 当前未使用的内存 | 数值很低并不必然异常 |
buff/cache | 缓冲区和文件页缓存等 | 其中一部分可在内存紧张时回收 |
available | 内核估算的可供新程序使用的内存 | 判断主机是否接近内存压力时优先看它 |
swap used | 已经写入交换空间的数据量 | 只代表曾经发生过换出,不代表当前一定在持续交换 |
上面的示例中,free 只有 300 MiB,但 available 约为 8.5 GiB,说明主机仍有较大回收空间,不能直接称为内存耗尽。反之,如果 available 很低,同时 vmstat 中持续出现换入换出、业务延迟增加,就更接近真实内存压力。
先保存一份现场信息
以下命令通常只读,不会修改业务配置,可在故障发生时执行:
{
date -Is
uptime
free -h
vmstat 1 5
ps -eo pid,ppid,user,stat,%mem,rss,vsz,etime,cmd --sort=-rss | head -n 25
} | tee /tmp/memory-check-$(date +%s).log
如果系统没有 vmstat,可先确认发行版的软件包环境,不要直接套用其他发行版的安装命令。需要保留日志时,应确保 /tmp 有足够空间,并把文件复制到受控的运维位置。
建立内存异常的原因树
可以把问题分成五个分支。每个分支都需要“现象 + 下一步证据”配合,单一指标不能直接定性。
- 流量或连接突增:网络请求、长连接、上传下载或上游重试增加,使服务进程和连接缓冲区同时增长。
- 系统缓存占用:文件页缓存、目录缓存、内核 slab 增加,但仍有较高
available,回收后可以释放。 - 服务或应用进程占用:某个进程 RSS 持续上升,或者 worker 数量、线程数、堆内存超过预期。
- 交换压力:物理内存不足,系统频繁在 RAM 和 swap 之间搬运页面,表现为 I/O 等待和响应变慢。
- OOM 或内存上限:主机内核或容器、systemd 服务的 cgroup 达到限制,内核杀死进程。
还有一个容易忽略的分支:监控显示的是容器内存,而排查命令查看的是主机内存,或者两者使用了不同的计费口径。此时必须同时检查 cgroup,而不能只看整机 free -h。
逐层排除系统层原因
看内存压力是否已经影响任务调度
执行:
vmstat 1 5
常见字段的判断方向如下:
si:从 swap 读入内存的速率。so:从内存写入 swap 的速率。r:等待运行的任务数量。wa:等待 I/O 的 CPU 时间比例。free:当时的空闲内存,通常以 KiB 显示。
如果 si 和 so 连续多个采样周期都不为零,且 wa、接口延迟同时上升,说明交换活动可能已经影响服务。一次短暂的 so 并不能证明存在持续性故障,系统可能只是回收长期不活跃的页面。
Linux 还可以通过 PSI 查看内存压力:
cat /proc/pressure/memory
示例:
some avg10=6.20 avg60=2.10 avg300=0.80 total=123456789
full avg10=0.40 avg60=0.10 avg300=0.02 total=4567890
some 表示部分任务曾因内存资源等待,full 表示任务整体受到更严重的阻塞。不同业务的容忍度不同,不能用一个固定数值覆盖所有场景;例如连续数分钟 some avg10 高于约 5% 已值得关注,持续更高且伴随接口变慢时,应继续查进程和 I/O。PSI 没有明显压力,也不能排除某个 cgroup 已达到自己的内存上限。
区分文件缓存和真正的匿名内存
进一步查看内核内存分类:
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|SwapTotal|SwapFree|AnonPages' /proc/meminfo
可按以下方向理解:
Cached较高,且MemAvailable仍然充足,通常更接近文件页缓存。SReclaimable较高,可能有较多可回收 slab,但仍需结合SUnreclaim。AnonPages持续增加,通常更应关注应用堆、匿名映射和进程 RSS。Shmem较高时,可能存在 tmpfs、/dev/shm或进程间共享内存占用。SUnreclaim持续增长,可能指向内核对象、文件描述符、网络缓冲区或某类内核资源异常。
“缓存”有两种容易混淆的含义。Linux 文件页缓存通常可以在压力下回收;而 Redis、应用内存缓存、JVM 堆中的缓存仍然属于进程内存,不能因为它存储的是缓存数据,就从进程占用中排除。

不建议把下面的操作当作常规修复:
sync; echo 3 > /proc/sys/vm/drop_caches
它会主动丢弃部分文件缓存,可能造成后续磁盘读取增加,并不能解决应用泄漏、cgroup 限制或内核 slab 增长。只有在明确的测试场景下,经过业务负责人确认、保留性能基线并准备恢复方案后,才考虑短时使用;生产故障排查通常先观察和取证。
排查进程是否真正持续占用内存
先找出 RSS 最大的进程
ps -eo pid,ppid,user,stat,%mem,rss,vsz,etime,cmd --sort=-rss | head -n 25
其中:
RSS是进程当前驻留在物理内存中的页面,通常以 KiB 显示。VSZ是虚拟地址空间大小,可能包含尚未实际分配的空间、共享库和映射文件。%MEM是相对于主机物理内存的比例。RSS较大不一定代表进程独占了同等大小,因为共享库和共享内存可能被多个进程共同使用。
因此,“某进程 VSZ 很大”不能直接等于它耗尽了内存;判断泄漏时更看重 RSS 或 PSS 是否随时间增长。
对单个进程可进一步查看:
cat /proc/PID/status | grep -E 'VmPeak|VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap'
把 PID 替换为实际进程号。若系统安装了 pmap,还可以执行:
pmap -x PID | tail -n 20
RssAnon 增长,通常要查应用堆、对象、线程栈或内存泄漏;RssFile 较高,可能与映射文件、共享库或文件映射有关;RssShmem 增长,则应查看共享内存和 tmpfs。
用时间序列而不是单次快照判断泄漏
单次 ps 只能告诉你“谁现在大”,不能告诉你“谁一直在变大”。如果系统安装了 pidstat,可以采样:
pidstat -r -p PID 60 5
连续五次、每次间隔 60 秒的结果可用于观察缺页和内存变化。若没有 pidstat,也可以每隔一段时间重复记录:
while true; do
date -Is
ps -p PID -o pid,etime,%mem,rss,vsz,cmd
sleep 60
done
连续增长且没有明显回落时,优先检查:
- 应用版本近期是否变更。
- 请求体、上传文件、批处理数据是否在内存中长期保留。
- worker、线程或连接数是否不断增加。
- JVM、Node.js、PHP-FPM、Python 等运行时的堆或进程管理参数是否与机器内存匹配。
- 应用缓存是否设置了数量、大小或过期时间上限。
如果进程 RSS 只在高峰短时上涨,之后能够回落,可能是正常并发峰值;如果每次高峰后都比上一次更高,则更像对象未释放、缓存没有淘汰或连接资源泄漏。
检查交换空间与 OOM 记录
交换空间使用不等于已经 OOM
查看交换设备:
swapon --show
free -h
vmstat 1 10
可能出现三种情况:
| 现象 | 更可能的含义 | 下一步 |
|---|---|---|
swap 已使用,但 si/so 基本为零,available 充足 | 过去曾换出不活跃页面,当前未必异常 | 观察业务延迟和持续趋势 |
si/so 持续变化,磁盘 I/O 和响应时间上升 | 物理内存不足或工作集超过内存 | 查进程 RSS、缓存、并发和 cgroup |
swap 很少或没有,但出现 Killed process | 可能快速耗尽、内存上限或 cgroup OOM | 查内核日志和限制值 |
在内存压力已经很高时,不要直接执行 swapoff。强制把所有换出页面搬回物理内存,可能进一步触发 OOM。增加 swap 也只能提供缓冲,不能替代足够的物理内存,更不能修复泄漏。
确认是否发生了主机 OOM
systemd 系统可查询本次启动周期的内核日志:
journalctl -k -b --no-pager | grep -Ei 'oom|out of memory|killed process|memory cgroup'
非 systemd 或日志不完整时,可尝试:
dmesg -T | grep -Ei 'oom|out of memory|killed process|memory cgroup'
下面是模拟日志,不能当作实际服务器已经执行的结果:
kernel: memory: usage 2147483648, limit 2147483648, failcnt 37
kernel: Memory cgroup out of memory: Killed process 1842 (java) total-vm:5120000kB, anon-rss:1980000kB
如果看到 Out of memory、Killed process,说明内核确实执行了杀进程动作。接下来要看:
- 被杀进程名称和 PID 是否对应异常服务。
- 日志中是否包含
Memory cgroup、constraint=CONSTRAINT_MEMCG等字样。 - 同一时间主机的
available是否接近耗尽。 - OOM 前是否存在服务重启、连接暴增或批处理任务。
oom_score_adj 只会影响内核选择哪个进程作为牺牲对象,不代表被杀进程就是根因。真正的根因可能是另一个进程、同一 cgroup 中的多个 worker,或者系统整体内存不足。
检查容器和 systemd 的内存边界
cgroup OOM 与主机 OOM 要分开判断
容器或服务可能受到独立内存上限约束。此时主机还有几 GiB 可用内存,容器内部仍然可能 OOM。
先确认 cgroup 类型:
stat -fc %T /sys/fs/cgroup
cgroup v2 常见检查项:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
memory.current 是当前用量,memory.max 是上限;如果上限为 max,表示该层级没有设置固定最大值。memory.events 中的 oom 和 oom_kill 如果在故障期间增加,说明该 cgroup 曾触发内存限制或 OOM。
systemd 服务可以查看:
systemctl show SERVICE_NAME \
--property=MemoryCurrent,MemoryHigh,MemoryMax,MemorySwapMax
如果使用 Docker,可先观察容器当前状态:
docker stats --no-stream
需要注意,容器内的 free -h、Docker 面板和宿主机 /proc 的统计口径可能不同。应将容器内存使用量、容器限制、宿主机可用内存和 OOM 时间线放在一起比较,而不是只取其中一个数字。

如果发现 memory.max 或 MemoryMax 过低,不能直接提高上限。提高前要确认主机有足够余量,并评估多个服务同时达到上限的风险;如果主机本身已经缺内存,提高限制只会把问题从 cgroup OOM 变成主机 OOM。
从网络、服务和应用层定位触发因素
网络通常不是“直接吃掉内存”的唯一原因,但连接数、请求体、上游重试和长连接会促使服务创建更多 worker、线程、缓冲区或应用对象。因此,网络层应作为触发因素检查,而不是看到连接多就立即定性。
检查连接是否与内存增长同时发生
ss -s
ss -tan state established | wc -l
ss -tan state time-wait | wc -l
如果已建立连接、TIME-WAIT、请求队列或上传连接在内存上升的同一时间明显增加,应继续检查:
- Nginx、Apache 或其他入口服务的 worker 和连接配置。
- 上游服务是否超时,导致请求长期堆积。
- 客户端是否重复重试,形成连接和请求放大。
- 单个请求是否携带大文件、大 JSON 或长时间响应内容。
- 应用是否为每个连接保留过大的缓冲区。
连接数增加但进程 RSS 不变、available 充足时,网络现象可能只是并发升高,并不构成内存故障。相反,连接数不高但应用堆持续增长,则应把重点放到应用对象和缓存淘汰机制。
按服务类型核对占用来源
| 服务或组件 | 重点观察对象 | 常见异常方向 |
|---|---|---|
| Nginx、Apache | worker 数、连接数、请求体和代理缓冲 | 长连接堆积、上游超时、大请求缓冲 |
| PHP-FPM | worker 数、单 worker RSS、慢请求 | worker 上限过高、脚本泄漏、请求未及时结束 |
| Java | 进程 RSS、堆上限、非堆和线程数 | 堆配置过大、堆外内存、线程增长 |
| Node.js、Python | RSS、事件循环积压、对象或缓存增长 | 请求对象未释放、模块缓存、并发控制不足 |
| Redis 或其他内存缓存 | 进程 RSS、数据集大小、淘汰策略 | 缓存无上限、碎片率升高、持久化额外占用 |
| 数据库 | 工作内存、连接数、缓存池、临时查询 | 并发连接过多、排序或临时表占用 |
排查服务时,先把 PID 映射到服务,再查看服务日志和重启记录:
systemctl status SERVICE_NAME --no-pager
journalctl -u SERVICE_NAME --since "30 min ago" --no-pager
命令中的服务名必须替换为实际名称。若服务由容器、Supervisor 或其他进程管理器启动,systemctl 可能查不到,应使用对应管理器查看,不能据此判断服务没有运行。
用证据组合判断根因
下面的对照表适合在现场快速收敛范围:
| 观察结果 | 更可能的结论 | 还需要确认 |
|---|---|---|
buff/cache 高,available 仍高,无明显 si/so | 主要是可回收缓存,不是主机内存耗尽 | 是否有应用缓存、tmpfs 或 slab 同时增长 |
某进程 RSS 每分钟上升,RssAnon 同步增加 | 应用堆、对象、线程或内存泄漏 | 版本变更、请求类型、缓存上限和线程数 |
RSS 最大进程不变,但 memory.events 的 oom_kill 增加 | cgroup 或容器达到上限 | memory.max、服务 MemoryMax 和同组进程 |
主机 available 很低,si/so 持续非零,多个服务变慢 | 主机层内存压力和交换抖动 | 进程总量、匿名内存、并发和系统 I/O |
SUnreclaim 持续增长,进程 RSS 无明显异常 | 内核 slab 或资源对象占用 | 文件描述符、网络缓冲、内核版本和资源使用量 |
| 连接数与 worker 数同时增长,随后 RSS 上升 | 网络流量或上游重试触发服务扩张 | 请求大小、超时、连接池和并发上限 |
| 只有监控面板告警,服务器无压力、无 OOM 日志 | 可能是采样、单位或统计口径问题 | GB/GiB、容器/主机范围、告警窗口 |
例如,某 Java 进程占用 5 GiB 并不自动等于“Java 泄漏”。如果其堆上限本来就是 6 GiB,且 RSS 长期稳定、主机 available 充足,就可能是预期配置。若 RSS 从 2 GiB 持续涨到 5 GiB,同时请求量没有变化、堆回收后仍不下降,才更值得继续分析堆对象、堆外内存和线程。
验证恢复,而不是只看进程消失
处理动作应与根因对应,避免用重启掩盖问题:
- 确认是应用泄漏:保留日志和必要的诊断信息后,可在维护窗口对单个服务做优雅重启,短期恢复只作为缓解措施;同时修复版本、对象生命周期或缓存淘汰逻辑。若切换到旧版本,应先保留当前配置和包文件,确认回滚路径。
- 确认是流量或连接突增:检查入口限流、请求大小、上游超时和 worker 数,先降低无效重试和并发放大,再评估扩容。不要只增加 worker,因为每个 worker 可能继续消耗内存。
- 确认是应用缓存过大:设置合理的容量、TTL 或淘汰策略。清空缓存前要确认业务是否允许缓存失效,以及后端是否承受得住瞬时回源。
- 确认是 cgroup 上限过低:只有在主机有余量、其他服务不会被挤压时,才调整
MemoryMax或容器限制,并同步设置监控。修改前备份服务单元、Compose 或编排配置,保留原值以便回滚。 - 确认是系统缓存:通常不需要主动清理,系统会在压力下回收;应优先解决真正消耗匿名内存的进程。
- 确认是持续交换:评估减少工作集、降低并发、增加物理内存或优化进程配置。不要把 swap 当作物理内存的等价替代。
恢复后至少连续观察一个业务高峰或完整的监控周期,重新执行:
free -h
vmstat 1 5
ps -eo pid,ppid,%mem,rss,vsz,etime,cmd --sort=-rss | head -n 20
journalctl -k -b --since "30 min ago" --no-pager | grep -Ei 'oom|out of memory|killed process|memory cgroup'
成功恢复应表现为:available 回升或稳定、si/so 不再持续、异常进程 RSS 不再增长、接口延迟回落,并且没有新的 OOM 记录。单纯看到被杀进程消失,不能视为问题解决,因为进程可能只是被监控器重新拉起。

美国服务器内存资源的规划与业务负载密切相关。A5数据提供美国物理服务器,涵盖常规 Xeon、AMD EPYC 及 GPU 等系列,配置包含不同容量的内存与 NVMe 存储,可用于网站、数据库、容器和计算任务的部署。面向不同业务访问需求,也有相应的网络线路与带宽方案,为应用运行和数据处理提供硬件及网络资源基础。
复发时应持续观察的监控点
内存告警不应只设置为“used 超过90%”。更有价值的监控组合包括:
- 主机
MemAvailable及其持续下降趋势。 memory PSI的some、full,观察是否已经影响任务运行。- swap 使用量与
si/so速率,区分历史换出和当前抖动。 - 按 PID、服务和容器记录 RSS、PSS、线程数和重启次数。
- cgroup 的
memory.current、memory.max、memory.events。 - 内核 OOM、systemd OOM 和容器 OOM 事件。
- 网络连接数、请求速率、请求体大小、上游超时和重试次数。
- 应用缓存大小、命中率、淘汰数量和过期数量。
- 文件描述符、tmpfs、
SReclaimable与SUnreclaim的变化。
告警阈值应结合业务设定。比如 available 持续低于总内存的约 10%~15%可作为预警,持续交换或 PSI 明显升高可作为升级条件,任何新的 OOM kill 都应立即触发事件。这样才能在美国服务器真正出现服务被杀、SSH 无法登录之前,区分是正常缓存利用、单个进程增长,还是已经形成系统级内存压力。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4544.html



