应用突然被终止,如何排查香港服务器内存耗尽与OOM记录?
应用被突然终止,不等于应用本身一定存在程序错误。对香港服务器上的 Linux 应用而言,常见链路包括:主机可用内存持续下降、交换分区频繁读写、内核触发 OOM、容器或 systemd 的内存上限被击穿,以及服务管理器因健康检查失败主动重启。先确认“谁终止了谁”,再根据时间线逐层排查,才能避免把缓存占用、网络突发或单个进程的高 RSS 误判成唯一根因。
排查重点不是只看 free 一列,而是同时核对 MemAvailable、交换空间、内核 OOM 记录、进程 RSS、服务或容器的内存限制,以及故障时的连接数和请求量。香港服务器的地域属性主要影响访问流量、连接来源和日志时区,并不会改变 Linux 对可用内存、文件缓存和 OOM 的基本处理方式。
一、确认症状:先确定“终止”发生在哪一层
1. 区分应用崩溃、服务重启和内核 OOM
“应用突然没了”至少有四种可能:
- 应用进程自身崩溃,例如段错误、运行时异常或主动退出。
systemd、Supervisor 等服务管理器发现进程退出后自动拉起。- 内核在内存压力下触发 OOM,选择并终止一个或多个进程。
- 容器、虚拟机或云平台的资源限制触发,主机本身仍有可用内存,但目标服务被限制在自己的内存范围内。
先查看目标服务状态和最近日志。下面以 systemd 管理的服务为例,app.service 需要替换为实际服务名:
sudo systemctl status app.service --no-pager
sudo journalctl -u app.service --since "30 minutes ago" --no-pager
sudo systemctl show app.service \
-p ActiveState \
-p SubState \
-p MainPID \
-p ExecMainStatus \
-p NRestarts \
-p MemoryCurrent \
-p MemoryMax \
-p MemoryHigh
这些结果的含义并不相同:
NRestarts增加但没有 OOM 记录,可能是应用主动退出、健康检查失败或服务管理器反复重启。ExecMainStatus对应非零退出码,需结合应用日志和运行时错误判断。MemoryMax有明确数值,说明服务可能受 systemd cgroup 限制,即使整台香港服务器还有空闲内存,也可能触发服务级 OOM。MainPID已变化,说明服务可能经历了重启,不能只查看当前进程的内存,需要回看故障时间点的日志。
如果应用由 Docker 管理,可先查看容器状态和当前资源使用:
docker ps -a
docker stats --no-stream
docker inspect -f \
'name={{.Name}} status={{.State.Status}} oom={{.State.OOMKilled}} exit={{.State.ExitCode}} restart={{.RestartCount}}' \
<container_name>
OOMKilled=true 是容器层面很有价值的证据,但仍需继续确认是容器自身的 memory 限制、宿主机整体内存不足,还是应用在短时间内出现了分配峰值。
2. 读取内核 OOM 记录
Linux 的 OOM 事件通常会在内核日志中留下 Out of memory、Killed process 或 oom-kill 等关键词。不同发行版和日志配置的记录位置可能不同,先用 journalctl 查询:
sudo journalctl -k --since "2 hours ago" --no-pager | \
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup|oom_reaper'
如果系统没有保留对应的 journal,再检查常见日志文件:
sudo grep -Ei 'out of memory|oom-kill|killed process|memory cgroup|oom_reaper' \
/var/log/messages /var/log/syslog 2>/dev/null
下面是模拟日志,只用于说明判断方式:
kernel: Out of memory: Killed process 2481 (java) total-vm:6123456kB, anon-rss:4876540kB
kernel: oom_reaper: reaped process 2481 (java), now anon-rss:0kB
如果看到 Killed process 2481 (java),基本可以确认内核终止了该进程。但这条记录只说明“内核选择了谁”,不一定说明该进程就是最初制造内存压力的唯一原因。它可能是当时占用较大的进程,也可能是 OOM 选择策略认为更适合终止的进程。
若服务器刚刚重启,当前启动周期内可能看不到上一次的内核日志。可以检查历史启动周期:
sudo journalctl --list-boots
sudo journalctl -k -b -1 --no-pager | \
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup|oom_reaper'
-b -1 只有在持久化日志仍然存在时才有用。如果日志没有保留,云平台控制台、串口控制台或监控平台中的事件时间线可能成为辅助证据。
3. 使用统一时间线
香港服务器可能使用香港时间,也可能使用 UTC。应用日志、Nginx 日志、内核日志和监控平台的时间不一定一致。排查时先确认:
date
timedatectl 2>/dev/null | sed -n '1,12p'
不要只凭“凌晨出现过一次”进行归因。至少记录以下时间点:
- 首次收到应用不可用或请求超时的时间。
- 进程退出、服务重启或容器退出的时间。
- 可用内存开始下降的时间。
- 交换读写开始升高的时间。
- 内核 OOM 记录出现的时间。
- 请求量、连接数、队列长度或批处理任务开始突增的时间。
如果 OOM 发生在进程退出之后,OOM 可能是结果而不是原因;如果可用内存、交换读写和 OOM 先后高度吻合,内存压力的可信度会明显增加。
二、建立原因树:把“内存不足”拆成可验证分支
可以把问题分成四层:
- 网络与流量层:连接数、请求并发、上传内容、长连接或突发流量让应用创建更多对象、缓冲区和工作进程。
- 系统层:主机可用内存下降、交换空间不足、文件缓存、tmpfs、内核内存或宿主机整体压力。
- 服务运行层:systemd、Docker、Kubernetes 或其他运行环境设置了内存上限、进程数上限或重启策略。
- 应用层:内存泄漏、缓存无边界、队列堆积、单次请求过大、线程或子进程数量增长。
这四层可以同时成立。例如,香港服务器在流量突增时产生更多 PHP-FPM worker,worker 受到 systemd 的 MemoryMax 限制,最后由 cgroup OOM 杀掉其中一个进程。此时“网络突发”是触发因素,“worker 规模”是应用与服务配置问题,“cgroup 限制”是直接终止条件。

可用内存、空闲内存和缓存不是一回事
先查看主机整体内存状态:
free -h
下面是一个模拟结果:
total used free shared buff/cache available
Mem: 7.7Gi 6.5Gi 120Mi 96Mi 1.1Gi 890Mi
Swap: 2.0Gi 1.8Gi 220Mi
判断时应重点看:
available:内核估算在不明显增加交换的情况下还可提供给新进程的内存,比单看free更有参考价值。free:完全未使用的内存。它很低并不自动等于故障,因为 Linux 会主动利用内存做文件缓存。buff/cache:缓冲区和文件缓存。能够被回收的缓存不等于应用泄漏。swap used:已经使用的交换空间。它说明部分页面曾被换出,但不单独证明此刻正在 OOM。shared:共享内存等项目的统计,不能直接当作某个进程的独占占用。
如果 available 长时间下降,同时 vmstat 中 si、so 持续有数据,才更接近真实内存压力:
vmstat 1 10
示例:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa
4 2 1843200 122880 42100 312000 512 4096 8200 10240 3200 8700 42 18 8 32
5 3 1843200 118400 41900 309000 1024 8192 12000 15360 4100 9900 45 22 3 30
这里的 si 和 so 是每秒从交换空间读入、写出的页面数量,单位通常为 KiB/s。示例中的持续交换活动伴随高 wa,说明系统已经受到内存与 I/O 双重压力,但仍需结合 OOM 日志判断是否已经发生进程终止。
不要把“清理缓存”当作默认修复手段。文件缓存通常会在需要时自动回收,强行清理可能造成后续磁盘读取增加,也不能解决应用堆、原生内存或无界队列持续增长的问题。
三、逐层排除:从外部触发条件到内部进程
1. 网络与流量层:确认是否存在触发峰值
网络不会凭空把内存变成泄漏,但请求、连接和数据包会转化为应用对象、协议缓冲区、TLS 状态、上传缓存、队列项和工作进程。面向跨区域访问的香港服务器,突发连接或长连接尤其需要结合应用并发模型判断。
先查看当前连接概况:
ss -s
如需查看 TCP 连接状态,可以使用:
sudo ss -ant | awk 'NR > 1 {print $1}' | sort | uniq -c | sort -nr
还可以按端口查看连接数量,例如应用监听 443 端口时:
sudo ss -ant sport = :443 | wc -l
这些命令只能说明连接数量,不能单独证明内存耗尽。需要再对照:
- Nginx、Apache 或应用访问日志中的请求速率。
- 5xx、超时和请求体大小。
- WebSocket、长轮询、下载或上传连接数量。
- 应用内部队列、线程数、worker 数量。
- 香港服务器出口带宽、包速率和连接建立速率。
如果连接数上涨但应用进程 RSS 没有同步增长,问题可能更接近带宽、连接跟踪或后端响应延迟;如果连接数、worker 数和 RSS 同时上涨,则应继续检查并发上限、请求超时和单次请求的内存分配。
2. 系统层:定位主机级内存消耗
查看按 RSS 排序的进程:
ps -eo pid,ppid,user,%mem,rss,vsz,stat,etime,cmd --sort=-rss | head -n 25
其中:
RSS是进程当前驻留在物理内存中的大小,通常以 KiB 显示。VSZ是虚拟地址空间大小,包含尚未实际驻留的区域、映射文件和部分共享区域,不能直接等同于物理内存消耗。%MEM是相对整机物理内存的比例,也不能用于判断 cgroup 内的占用。
如果发现某个进程 RSS 很大,应继续确认它是单进程增长,还是多个相同 worker 叠加。可查看进程状态:
pid=2481
sudo grep -E 'Name|VmPeak|VmSize|VmRSS|RssAnon|RssFile|RssShmem|Threads' \
/proc/"$pid"/status
sudo cat /proc/"$pid"/oom_score
sudo cat /proc/"$pid"/oom_score_adj
RssAnon 较高,通常表示匿名内存占用较多,可能与语言运行时堆、对象、线程栈或原生分配有关;RssFile 较高,可能包含文件映射和共享库,不能简单全部归因于泄漏;RssShmem 较高,则要检查共享内存、/dev/shm 或进程间通信。
如果系统安装了 sysstat,可以回看历史内存趋势:
sar -r
sar -W
如果只在故障发生后执行 ps,看到的只是恢复后的状态。对内存问题而言,持续采样比单次快照更有价值:
pidstat -r -p ALL 10 6
该命令不可用时,可以通过监控系统、定时采集 /proc 数据或应用自身指标补齐历史曲线。
还要检查是否存在 tmpfs 或共享内存被大量使用:
df -h
df -h /dev/shm 2>/dev/null
df 显示的是文件系统空间,不等于所有内存都已耗尽,但 /dev/shm、容器临时目录或内存文件系统的大量使用可能造成可用内存下降。
3. 服务运行层:区分主机内存和资源上限
服务级限制是经常被忽略的分支。下面的结果需要重点核对:
sudo systemctl show app.service \
-p MemoryCurrent \
-p MemoryPeak \
-p MemoryHigh \
-p MemoryMax \
-p TasksCurrent \
-p TasksMax \
-p OOMPolicy
常见情况包括:
MemoryMax小于主机实际内存,服务达到该值后被 cgroup 限制。TasksMax过低,线程或子进程创建失败,应用表现为异常退出或请求堆积。MemoryHigh被击穿后触发回收和限速,应用延迟上升,之后可能继续进入 OOM。- 服务管理器设置了自动重启,导致真正的 OOM 日志被大量重启日志淹没。
容器环境需要同时查看容器限制与宿主机状态:
docker inspect -f \
'memory={{.HostConfig.Memory}} memorySwap={{.HostConfig.MemorySwap}} cpus={{.HostConfig.NanoCpus}}' \
<container_name>
docker stats --no-stream <container_name>
如果容器显示内存使用接近限制,而宿主机 free -h 仍有较多 available,优先判断为容器级限制,而不是主机级 OOM。此时直接给整台服务器扩容未必能解决问题,必须核对容器限制、应用实际峰值和同一宿主机上的资源分配。
若使用 Kubernetes,还需检查 Pod 的 resources.requests、resources.limits、restartCount 和事件中的 OOMKilled。不同运行环境的限制位置不同,不能用宿主机的空闲内存代替容器配额判断。
4. 应用层:寻找增长曲线和分配热点
当系统和服务层证实存在内存增长后,才进入应用内部定位。常见方向如下:
- 缓存无上限:按 URL、用户、查询条件或对象 ID 生成缓存,缺少最大条目数、TTL 或淘汰策略。
- 队列堆积:下游接口变慢,生产速度超过消费速度,消息、任务或响应对象持续留在内存。
- 单次请求过大:一次性读取大文件、大 JSON、图片或报表数据,而不是流式处理。
- worker 数量过多:每个 PHP-FPM、Gunicorn、Node worker、Java 线程或自定义子进程都占用独立内存。
- 运行时堆配置不合理:例如 JVM 堆上限设置过高,或者堆外内存、线程栈、直接缓冲区没有纳入预算。
- 本地内存泄漏:连接、文件句柄、对象引用或原生库分配没有释放。
- 批处理重叠执行:定时任务上一次尚未完成,下一次又启动,多个批次同时占用内存。
不同技术栈要看不同指标:
| 应用类型 | 重点观察对象 | 容易误判的地方 |
|---|---|---|
| PHP-FPM | worker 数量、单 worker RSS、pm.max_children、请求慢查询 | 单个 worker 不大,但多个 worker 叠加后超过主机或 cgroup 限制 |
| Java | 堆使用、堆上限、非堆、线程栈、直接内存、GC 时间 | -Xmx 不是 JVM 进程的全部内存 |
| Node.js | V8 heap、RSS、外部内存、Buffer、事件循环延迟 | V8 堆正常不代表原生 Buffer 或 RSS 没有增长 |
| Python | 进程数、RSS、对象数量、队列和缓存 | 多进程部署会把单进程占用重复叠加 |
| Nginx | worker 数、连接数、请求缓冲和上游响应状态 | Nginx 内存高可能是连接与缓冲触发,也可能是后端迟迟不响应 |
应用层排查不要只截取“故障后最大进程”作为结论。更可靠的做法是记录同一进程或同一 worker 组的 RSS 曲线,比较空闲时、正常峰值时和故障前的差异。如果每次重启后 RSS 都从较低值开始,随后随请求量或运行时间单调上涨,内存泄漏或无界缓存的可能性增加;如果 RSS 只在固定大请求期间瞬时升高并随后回落,则更像是峰值预算不足。

四、定位根因:用证据组合而不是单个指标下结论
1. 常见证据组合
| 观察到的组合 | 更支持的判断 | 仍需补充的验证 |
|---|---|---|
MemAvailable 持续下降、si/so 持续升高、内核出现 Killed process | 主机级内存压力并触发 OOM | 确认主要增长进程、缓存、tmpfs 和内核日志时间 |
主机仍有可用内存,但容器显示 OOMKilled=true | 容器 cgroup 内存上限被击穿 | 查看容器 Memory 限制和同一时间点的进程占用 |
| 单个进程 RSS 随运行时间持续上升,重启后回到低位 | 应用泄漏或无界缓存 | 做分配热点、堆快照或运行时指标分析 |
| 连接数和 worker 数突增,RSS 随并发同步增长 | 流量或并发触发内存峰值 | 检查请求大小、超时、队列和 worker 上限 |
| 没有 OOM 记录,但服务频繁重启 | 应用退出、健康检查失败或服务策略重启 | 查看退出码、应用错误日志和服务管理器事件 |
buff/cache 较高,但 available 仍充足且无交换压力 | 更可能是正常文件缓存 | 无需将缓存直接当作故障根因 |
2. 两个模拟判断案例
案例一:主机级 OOM
某台配置为 8 GB 内存、2 GB 交换空间的服务器,在一段时间内出现以下模拟现象:
available从约 2.4 GB 降到 300 MB。vmstat的si、so连续多个采样周期升高。- Java 进程 RSS 从约 2.8 GB 增加到 4.7 GB。
- 内核日志出现
Out of memory: Killed process ... (java)。 - 访问日志显示同一时间报表接口请求量增加,单次请求处理时间延长。
这组证据支持“请求压力触发 Java 进程内存增长,最终造成主机级 OOM”的判断。但仍应核对 JVM 堆外内存、线程数量和报表数据规模,不能只把 -Xmx 调小后结束排查。
案例二:服务级或容器级 OOM
另一台服务器的模拟结果是:
free -h显示主机仍有约 3 GBavailable。- 目标容器的内存限制为 1 GB,当前使用接近 1 GB。
docker inspect返回OOMKilled=true。- 宿主机内核日志没有典型的全局
Out of memory,但容器事件和应用日志在同一分钟中断。 - 降低并发后容器不再退出,但处理延迟上升。
这更符合容器配额被击穿,而不是整台香港服务器物理内存耗尽。修复方向应围绕容器内存预算、应用峰值、并发上限和同机容器竞争展开,而不是单纯清理宿主机缓存。

3. 形成一次可复核的证据包
在不重启、不删除日志的前提下,建议收集以下信息:
date
uptime
free -h
vmstat 1 5
ps -eo pid,ppid,user,%mem,rss,vsz,stat,etime,cmd --sort=-rss | head -n 30
ss -s
df -h
sudo journalctl -k --since "1 hour ago" --no-pager
sudo systemctl status app.service --no-pager
sudo systemctl show app.service -p MemoryCurrent -p MemoryMax -p NRestarts
如果目标服务属于 Docker,再补充:
docker stats --no-stream
docker ps -a
docker inspect -f \
'name={{.Name}} status={{.State.Status}} oom={{.State.OOMKilled}} exit={{.State.ExitCode}} restart={{.RestartCount}}' \
<container_name>
这些命令应尽量在故障仍可复现或刚发生后执行。它们不会自动修复内存问题,也不会替代应用级分析,但可以把“内存不够”拆成主机、容器、服务和进程几个可以复核的事实。
五、验证恢复:先止住增长,再确认没有转移问题
1. 临时恢复措施要有边界
如果服务已经不可用,且证据表明目标服务处于异常状态,可以在确认业务影响范围后执行服务重启或容器重建。重启会中断当前连接、丢失未持久化任务,并可能掩盖泄漏现场,因此应先保存日志和关键指标;如果是生产服务,优先采用滚动重启或切换到备用实例。
如果修改了 worker 数、容器内存限制或 JVM 参数,应先备份当前配置,记录修改前后的值,并准备恢复原配置的回滚路径。不要在没有容量核算的情况下直接把 MemoryMax、容器内存上限或 worker 数调大,因为这可能把服务级 OOM 推迟为主机级 OOM。
交换空间可以作为短时缓冲,但不能替代内存容量和应用修复。增加交换或调整交换策略前,需要确认磁盘空间、I/O 性能、业务延迟容忍度和云平台磁盘类型;交换持续读写时,即使进程没有被杀,接口延迟也可能已经不可接受。
不建议把以下操作作为默认修复方案:
- 直接执行清理 page cache 的命令。
- 只终止 RSS 最大的进程而不保存日志。
- 反复重启服务,让重启循环掩盖真实退出原因。
- 只提高容器限制而不检查宿主机总容量。
- 只根据
VSZ最大的进程判断物理内存消耗。
2. 用同一组指标确认恢复
采取措施后,应至少观察一个完整业务周期,必要时覆盖高峰期。恢复验证包括:
MemAvailable是否回到稳定区间,而不是短暂升高后再次下降。vmstat的si、so是否恢复到接近基线。- OOM 日志是否不再新增。
- 目标进程 RSS 是否保持在预期范围,而不是重启后重新线性增长。
- 服务或容器的
NRestarts、RestartCount是否停止增加。 - 请求错误率、P95/P99 延迟、连接数和队列长度是否恢复。
- 高峰流量下是否仍有足够的内存余量。
例如,降低 worker 数后,如果 RSS 下降但队列持续增长,说明内存压力缓解了,却引入了吞吐不足;如果提高容器上限后服务暂时稳定,但宿主机 available 下降并开始交换,则只是把问题从容器边界推向主机边界。恢复验证必须同时看内存、延迟和业务处理能力。
围绕香港业务的内存容量与并发承载需求,A5数据提供Xeon Gold、AMD EPYC等物理服务器方案,涵盖64GB、128GB内存及SSD、NVMe存储组合,为接口服务、数据库缓存和多容器运行提供硬件资源基础。不同配置档位可支持应用与数据库分机部署、业务实例扩容等资源安排,香港产品另有CN2与国际带宽方案,覆盖跨区域访问场景的网络资源需求。
六、把一次故障变成可持续监控
内存监控不应只采集“已用百分比”。建议至少覆盖以下指标:
- 主机
MemAvailable、匿名内存、文件缓存和共享内存。 - Swap 使用量,以及 swap-in、swap-out 速率。
/proc/pressure/memory中的 memory PSI,观察任务因内存压力等待的时间。- 进程 RSS、线程数、worker 数和进程重启次数。
- systemd 服务的
MemoryCurrent、MemoryHigh、MemoryMax。 - 容器的
memory.current、内存限制和 OOM 事件计数。 - 请求并发、连接数、请求体大小、队列长度和超时数量。
- 香港服务器的带宽、包速率、连接建立速率与应用错误率。
阈值需要结合业务基线设置,不能把单一百分比当成所有服务器的统一标准。可以先使用以下参考起点,再根据高峰期数据调整:
MemAvailable持续低于总内存的约 10%~15%,触发预警。- Swap 使用量持续增长,或
si/so在多个采样周期内明显高于平时,触发预警。 - 出现一次明确的内核 OOM、容器
OOMKilled或服务级内存限制事件,直接触发高优先级告警。 - 单个关键进程 RSS 在数小时内持续上升,且没有与流量同步回落,触发泄漏排查。
- 服务重启次数、worker 数或请求队列持续增长时,与内存指标关联告警,而不是分别忽略。
最后保留足够长的内核、服务、容器和应用日志,并统一时区。只有把“可用内存下降—交换升高—连接或队列变化—进程增长—OOM 或重启—恢复后的曲线”串起来,下一次香港服务器上的应用终止事件才会从一次偶发故障,变成能够快速定位的监控告警。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3891.html



