日本服务器上的进程被OOM杀死,怎样区分整机内存不足与容器内存限额?

发布人:A5数据发布时间:2026-11-16 10:59阅读量:16

进程出现 Killed、退出码 137,或容器状态显示 OOMKilled,都说明进程可能收到过不可捕获的 SIGKILL,但单凭这些现象还不能判定是整机内存不足。Linux 的全局 OOM 和容器或服务的内存限额都可能导致进程被杀;需要把内核日志、主机内存状态和进程所在的 cgroup 限额放在一起核对。

日本服务器的机房位置不会改变 Linux 的 OOM 判断机制。排查时重点是确认“是谁触发了杀进程”:主机整体可用内存不足、某个 cgroup 达到上限,还是 systemd-oomd、容器平台或其他管理程序主动结束了进程。跨面板和服务器日志比对时,还要统一时区;服务器与云平台面板可能分别使用 JST(UTC+9)和 UTC。

先确认进程是怎样退出的

退出码 137 通常表示进程以 SIGKILL(信号 9)结束,但它不是 OOM 的专属标志。管理员手动执行 kill -9、容器运行时终止进程或其他监管程序,也可能产生相同的退出码。应用日志里出现 Killed 同样只能作为线索。

先记录故障时间、主机名、进程或容器名称、退出码,以及故障前后的部署和流量变化。时间最好转换到同一时区,再与系统日志、容器事件和面板监控对照。下面的命令以常见 Linux 环境为例,主要为只读检查;不同发行版可能没有启用 systemd 日志,或采用不同的 cgroup 挂载方式。

从主机整体内存开始排查

先看可用内存、缓存和交换空间。free 中的 available 比 used 更适合初步判断主机是否缺少可用内存:Linux 会把空闲内存用于文件缓存,其中一部分可以在需要时回收,不能简单地把“used 很高”当作内存耗尽。

free -h
grep -E '^(MemAvailable|MemFree|Buffers|Cached|SwapTotal|SwapFree):' /proc/meminfo
swapon --show

重点观察故障前后的 MemAvailable、SwapFree 是否持续下降。如果主机可用内存仍较充足、交换空间也没有持续被大量使用,整机内存不足的可能性相对较低;如果可用内存很低且交换空间接近耗尽,则需要继续查找消耗者。但单次采样不能还原已经结束的故障,最好结合历史监控或故障复现时的连续采样。

vmstat 1 5
cat /proc/pressure/memory

vmstat 的首行通常是开机以来的平均值,后续行才是每秒采样;持续出现非零的 si、so 表示系统正在换入、换出内存,可能伴随明显延迟。内存 PSI 文件存在时,some、full 的压力指标可辅助判断任务是否因内存回收而长时间受阻。不同内核和监控工具的可用字段可能不同。

再检查当前仍在运行的进程,找出 RSS 较大的对象:

ps -eo pid,ppid,comm,rss,%mem --sort=-rss | head -n 15

RSS 的单位通常是 KiB,表示进程当前驻留在物理内存中的页面;共享页面可能被多个进程分别计入,因此不宜直接把各行 RSS 相加,当作精确的整机内存使用量。若要分析某个仍存活的进程,可查看其汇总信息:

PID=1234
grep -E '^(Rss|Pss|Private_Clean|Private_Dirty):' "/proc/$PID/smaps_rollup"

其中 Pss 会按比例分摊共享页面,更适合比较进程的实际占用。进程已经退出时,/proc 中对应目录也会消失,应转向历史监控、服务日志和 OOM 记录,不能用现存进程的状态替代故障时的状态。

查看内核记录,区分全局 OOM 与 cgroup OOM

优先用故障时间范围筛选内核日志:

sudo journalctl -k --since "30 minutes ago" --no-pager \
  | grep -Ei 'oom|out of memory|killed process|memory cgroup'

如果系统没有保留对应的 journal 记录,可以尝试查看内核环形缓冲区:

sudo dmesg -T | grep -Ei 'oom|out of memory|killed process|memory cgroup'

日志中出现 Memory cgroup out of memory 或 constraint=CONSTRAINT_MEMCG,通常指向某个内存 cgroup 达到限制。出现 constraint=CONSTRAINT_NONE,且同一时间整机可用内存紧张,则更支持全局内存压力导致的 OOM。不同内核版本的日志格式会有差异;若显示其他 constraint,或日志不足以判断,不要仅凭单个关键词下结论。

查看内核记录,区分全局 OOM 与 cgroup OOM配图

观察到的证据更可能的方向还要核对什么
主机 MemAvailable 很低,内核记录显示全局 OOM整机内存压力同一时刻的交换活动、主要内存消耗进程,以及是否存在特定 NUMA 或 cpuset 限制
容器或服务的 OOM 计数增加,内核记录指向 memcgcgroup 限额触发该组及其父级的内存上限、峰值和容器配置
没有内核 OOM 记录,但服务仍报告被杀可能是其他管理程序或操作行为systemd-oomd、容器平台事件、编排平台状态和操作审计日志

“没有查到 OOM 日志”不等于一定没有 OOM:日志可能已轮转、未持久化,或进程由用户态管理程序结束。应把日志结果与容器状态、cgroup 计数和主机指标相互印证。

检查进程所在的服务或容器限额

Linux 通常通过 cgroup 记录进程所属的控制组。若进程仍在运行,可先查它所在的 cgroup 及系统挂载方式:

PID=1234
cat "/proc/$PID/cgroup"
findmnt -t cgroup,cgroup2

在 cgroup v2 下,/proc/$PID/cgroup 常见形式为 0::/system.slice/example.service。对应目录中的 memory.max 是该组的硬上限,max 表示该组本身未设置这个上限;memory.current 表示当前用量,memory.events 记录相关事件,内核支持时还会有 memory.peak。

CG=/sys/fs/cgroup/system.slice/example.service
for f in memory.current memory.max memory.peak memory.swap.current memory.swap.max memory.events memory.events.local; do
  if [ -r "$CG/$f" ]; then
    printf '\n%s:\n' "$f"
    cat "$CG/$f"
  fi
done

把 example.service 换成实际 cgroup 路径;路径应以 /proc/$PID/cgroup 和 findmnt 的结果为准,不能照抄示例。memory.peak 或 memory.events.local 在部分内核上不存在,不影响其他字段的检查。

只看当前组还不够:该组没有设置上限,不代表父级没有限制。沿 cgroup 路径逐级查看父级的 memory.max 和 memory.events,直到挂载根目录。若某一层设有较低上限,进程或容器仍可能受该层约束。容器内看到的 cgroup 路径还可能受 cgroup namespace 影响,必要时应从宿主机视角核对。

检查进程所在的服务或容器限额配图

memory.events 中的 oom_kill 增加,是该 cgroup 树内发生 OOM kill 的重要证据;max 增加表示内存使用遇到上限相关事件,但不单独等于进程已被杀。计数器一般不带具体时间戳,因此要和故障前后采样比较。部分版本提供 memory.events.local,用于区分本组事件与子组事件。

如果系统使用 cgroup v1,文件名通常不同。根据 /proc/$PID/cgroup 找到 memory 控制器对应的目录,再检查:

cat /sys/fs/cgroup/memory/实际路径/memory.usage_in_bytes
cat /sys/fs/cgroup/memory/实际路径/memory.limit_in_bytes
cat /sys/fs/cgroup/memory/实际路径/memory.failcnt
cat /sys/fs/cgroup/memory/实际路径/memory.oom_control

实际挂载路径可能不是 /sys/fs/cgroup/memory,应先以 findmnt 结果确认。memory.memsw.* 文件是否存在,取决于内核和交换记账配置。部分系统用很大的数值表示实际上未设置有效上限,不能只因 memory.limit_in_bytes 有数字就认定配置了紧限制。

对 systemd 服务,可查看其 cgroup 路径和内存属性:

systemctl show example.service \
  -p ControlGroup -p MemoryCurrent -p MemoryMax -p MemoryHigh

MemoryMax 若显示 infinity,说明服务本身未设置该项上限;仍要检查父级 cgroup。MemoryHigh 是回收和节流相关的软限制,不应与 MemoryMax 的硬限制混为一谈。

容器和编排平台还要看平台状态

Docker 容器可先查看退出状态和配置上限:

docker inspect --format \
  'OOMKilled={{.State.OOMKilled}} ExitCode={{.State.ExitCode}} Memory={{.HostConfig.Memory}}' \
  容器名
docker events --since 30m --filter event=oom

OOMKilled=true 支持“容器经历了 OOM 相关终止”的判断,但不能单独证明一定是容器自身的内存上限触发:主机全局 OOM 也可能杀掉容器中的进程。Memory=0 通常表示 Docker 配置没有在该项设置容器上限,不代表宿主机、systemd 父级或其他平台没有限制。事件记录也可能因运行时日志保留时间而无法查询。

Kubernetes 中可以检查 Pod 描述、上一次容器日志和事件:

kubectl describe pod -n 命名空间 Pod名称
kubectl logs -n 命名空间 Pod名称 -c 容器名称 --previous

容器状态为 Reason: OOMKilled 时,继续比较容器的 resources.limits.memory、节点内存状态和相关事件。requests.memory 主要参与调度,不是容器运行时的硬内存上限;limits.memory 才是重点核对对象。如果 Pod 被标记为 Evicted,则要区分节点压力引起的驱逐与容器 cgroup OOM,二者的修复方向并不相同。

容器和编排平台还要看平台状态配图

根据证据选择修复方向

主机整体内存不足

若内核日志、主机可用内存和交换活动相互吻合,应先定位持续增长或峰值过高的服务,检查进程数、并发量、缓存策略和内存泄漏。确认业务容量确实超过现有主机空间后,再评估增加物理内存或调整实例规格。交换空间可为短时波动提供缓冲,但大量换入换出会显著拖慢服务,不能替代足够的 RAM。

不要把 drop_caches 当作常规修复手段:它会清理可回收缓存,可能增加后续磁盘读取,并不解决进程持续增长或容量不足。也不要在证据不足时直接杀掉占用最大的进程;先确认进程用途、业务影响和恢复方式。

围绕日本业务的主机内存规划与容器部署,A5idc数据提供日本物理服务器租用,涵盖Xeon Gold、AMD EPYC等平台及NVMe存储,热销系列提供多种处理器和资源配置;CTG系列则有Gold 6138单路、双路方案,以及SSD、大容量HDD等存储组合。这些主机资源可用于承载应用进程、容器与数据服务,支持日本本地业务及跨境服务部署。

cgroup 或容器限额过低

若 cgroup 事件、内核日志和限制值指向同一组,应评估应用的稳定占用、峰值和并发,再决定是优化应用还是提高限制。提高容器限额前,先核对宿主机可用内存,以及其他容器和系统服务的预算;所有容器的限额总和可能超过主机内存,配置允许超额并不意味着峰值同时到来时主机一定有足够余量。

降低限额风险更高:如果当前用量已超过新上限,变更可能立即造成回收、延迟或 OOM。修改前保存原有配置和部署版本,优先在测试环境或单个副本验证;通过服务配置、Compose 文件或 Kubernetes 清单调整时,记录变更范围,并准备恢复原值或回退到上一个部署版本。涉及重建或滚动更新时,先确认副本数量、连接排空和状态数据的处理方式,避免把排障变成业务中断。

根据证据选择修复方向|cgroup 或容器限额过低配图

systemd-oomd、节点驱逐或其他终止行为

在没有清晰内核 OOM 记录、但服务仍被结束时,检查 systemd-oomd 日志和编排平台事件:

sudo journalctl -u systemd-oomd --since "30 minutes ago" --no-pager

systemd-oomd 可能依据内存压力主动结束 cgroup,不一定等到传统内核 OOM 日志出现。若证据指向平台驱逐、健康检查或人工终止,应在对应平台查看事件和审计记录;不要仅为消除 137 就盲目调高所有服务的内存限制。

修改后复测并持续观察

修复后用同一组证据复测:记录主机 MemAvailable 和交换活动,观察服务或容器的 memory.current、峰值、限额及 oom_kill 计数,并检查内核日志、容器状态和平台事件。容器重建后 cgroup 计数可能重新开始,应同时保存故障前后的日志和监控数据,避免把新容器的零计数误判为故障已彻底解决。

复测窗口要覆盖业务的正常高峰或已知批处理时段,并留意请求量、并发和响应延迟是否发生变化。若计数没有再增长、主机仍有合理内存余量且服务指标恢复稳定,说明当前修复方向得到支持;如果只是通过提高上限暂时不再触发 OOM,但内存持续增长,仍需继续排查应用自身的占用趋势。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9737.html

相关推荐