Linux OOM评分如何影响进程终止,怎样判断谁更容易被杀

发布人:A5数据发布时间:2026-10-25 15:00阅读量:102

很多人看到某个进程的 oom_score 接近 1000,就认为它下一次一定会被杀;也有人只盯着内存占用最大的进程,认为它必然是受害者。两种判断都不完整。oom_score 表示进程在一次 OOM 选择中的相对风险,不是固定阈值,也不是被杀概率。

判断谁更容易被终止,至少要同时看三件事:这次 OOM 发生在整台主机还是某个 cgroup、进程当前的内存占用如何、oom_score_adj 是否改变了内核的选择倾向。只有在同一个 OOM 范围内比较这些信息,评分才有实际意义。

先区分三个容易混淆的接口

Linux 通常通过 /proc 暴露与 OOM 选择相关的信息。它们名称相近,但作用不同。

接口或指标含义能否直接代表被杀顺序
/proc/PID/oom_score内核对进程当前 OOM 风险的归一化评分,通常为 0~1000不能单独代表
/proc/PID/oom_score_adj对 OOM 选择倾向进行调整,范围通常为 -1000~1000是重要影响因素,但不是唯一因素
VmRSS、RssAnon、RssFile、VmSwap进程当前的常驻内存、匿名页、文件页和交换区使用情况可用于解释评分变化,但不是评分本身
memory.current、memory.maxcgroup 当前内存使用量和上限用于判断 OOM 是否发生在某个 cgroup 内

oom_score 越高,通常表示进程越容易成为候选对象;oom_score_adj 为正值会提高被选中的倾向,负值会降低倾向。将 oom_score_adj 设置为 -1000,通常会让进程被内核 OOM 选择机制排除。

不过,“排除”不等于获得所有场景下的保护。管理员仍然可以发送 SIGKILL,服务管理器或容器运行时也可能主动终止进程;cgroup 的组级 OOM 策略还可能扩大受影响的进程范围。

另外,旧内核中还可能看到 oom_adj。它是较早的接口,范围和含义与 oom_score_adj 不同,新的配置应优先使用 oom_score_adj。

OOM 发生时内核怎样选择进程

资源分配失败不等于立即触发 OOM Killer

一个进程申请内存时,内核通常会先尝试回收页、压缩内存、使用交换区或等待其他内存释放。只有在分配仍无法满足,并且当前上下文允许触发 OOM 处理时,才会进入 OOM Killer 选择流程。

常见触发条件包括:

  • 整台主机可用内存不足,回收和交换也无法缓解;
  • 某个 cgroup 达到 memory.max;
  • NUMA、cpuset 或内存策略限制了可用内存范围;
  • 容器或服务的内存上限先于主机物理内存耗尽。

因此,看到应用报错并不能直接证明发生了内核 OOM。以下情况也可能导致内存分配失败:

  • 进程达到 RLIMIT_AS 等资源限制;
  • Java、Go 或其他运行时触发自己的堆内存异常;
  • malloc() 返回失败,但系统没有进入全局 OOM;
  • 容器或服务管理器提前采取了回收动作。

判断是否由内核 OOM Killer 终止,应优先检查内核日志和 cgroup 事件,而不是只看应用日志。

内核先确定 OOM 的作用范围

OOM 选择通常有两个主要范围。

全局 OOM发生在主机级内存压力下。内核会在当前可选的进程中比较其内存占用和 OOM 调整值,选择更适合终止的对象。

cgroup OOM发生在某个内存控制组达到限制时。此时候选对象主要来自触发压力的 cgroup 及其相关层级,不会简单地在整台主机的所有进程中比较。

这一区别很关键。例如:

内核先确定 OOM 的作用范围配图

  • 主机还有大量空闲内存,但某个容器的 memory.max 只有 512 MiB,容器内部仍可能发生 OOM;
  • 主机上有一个 oom_score 很高的 Java 进程,但 OOM 实际发生在另一个受限 cgroup 中,前者通常不会因此被杀;
  • 同一个服务的多个 worker 处于一个 cgroup 时,cgroup OOM 的候选范围可能比单看某个 PID 更重要。

在 NUMA 或特定内存节点压力下,实际候选范围还可能受到内存节点和进程绑定策略影响。

oom_score 是怎样形成的

内核内部会根据进程的内存占用计算一类 OOM 倾向值,常见理解可以概括为:

oom score 是怎样形成的配图

候选倾向 ≈ 可计入的内存占用贡献 + oom_score_adj 带来的调整

这是解释机制的简化表达,不是可以直接代入计算的公开公式。实际评分还涉及内核版本、内存控制组、交换区使用、候选范围以及当前内存分配上下文。

内存占用通常是影响评分的基础因素。占用较多匿名内存、常驻内存或交换空间的进程,通常更容易成为候选对象。内核会将内部结果转换为 /proc/PID/oom_score 中看到的归一化数值。

oom_score_adj 则相当于人为改变选择倾向:

  • 0:不额外调整;
  • 正值:更容易被选择;
  • 负值:更不容易被选择;
  • -1000:通常视为不可被 OOM Killer 选择的进程。

+500 并不表示增加 500 MiB 内存,也不能理解为“被杀概率增加 50%”。它参与的是内核的候选评分调整,实际效果会受到主机总内存和其他候选进程影响。

被选中后通常是强制终止

内核 OOM Killer 通常会向选中的任务发送不可捕获的 SIGKILL。这不是优雅停止,应用没有机会像处理 SIGTERM 那样完成完整清理。

之后内核可能通过 OOM reaper 加快回收被杀进程的匿名内存,使系统尽快恢复分配能力。服务是否自动拉起,则取决于 systemd、容器运行时或其他进程管理器的配置,不属于 OOM 评分本身。

少数配置会改变默认选择行为。例如,vm.oom_kill_allocating_task 在启用时可能优先考虑触发内存分配失败的进程。因此,不能脱离内核配置,仅凭“内存占用最大者优先”概括所有版本和环境。

哪些因素会让进程更容易被杀

内存占用通常是基础因素,但不是唯一排序条件

在其他条件相近时,占用内存更多的进程通常更容易被选择。可以先用以下指标观察进程的内存构成:

  • VmRSS:当前驻留在物理内存中的大小;
  • RssAnon:匿名页占用;
  • RssFile:文件映射和文件缓存相关页;
  • RssShmem:共享内存相关页;
  • VmSwap:已经换出的内存量。

这些值通常以 KiB 形式显示。它们适合帮助解释“为什么这个进程的评分较高”,但不能直接代替内核的 OOM 评分。

还要注意共享页的影响。多个进程可能映射同一批共享内存,用户态工具看到的 RSS 可能在多个进程中体现,而实际回收效果和内核记账并不是简单相加。PSS 更适合分析共享内存的实际分摊,但不应把 PSS 数值直接代入 OOM 评分公式。

oom_score_adj 可以改变内存占用带来的直觉排序

一个占用较少但被设置了较高 oom_score_adj 的进程,可能比占用更多、但被设置了负调整值的进程更容易被选中。

例如,下面是一组用于说明逻辑的示例数据,数值为假设场景:

oom score adj 可以改变内存占用带来的直觉排序配图

进程内存特征oom_score_adj示例 oom_score判断
Java 服务RSS 约 1.6 GiB0812内存占用较大,风险较高
任务 workerRSS 约 600 MiB300790占用较小,但正向调整提高了风险
NginxRSS 约 120 MiB-30095占用较小且受到保护倾向
监控代理RSS 约 80 MiB-10000通常不作为 OOM Killer 候选

这个例子不能用来推导精确分数,只能说明:内存占用和 oom_score_adj 需要一起看。

在 systemd 管理的服务中,可以关注服务单元是否设置了 OOMScoreAdjust=。如果直接修改 /proc/PID/oom_score_adj,进程重启后设置通常会消失,且可能被服务管理器再次覆盖。

cgroup 策略可能比单个 PID 的分数更重要

Linux cgroup v2 中,以下文件是判断服务或容器内存边界的关键依据:

  • memory.current:当前 cgroup 的内存使用量;
  • memory.max:硬上限;
  • memory.high:超过后进行限制和回收的高水位;
  • memory.events:记录 high、max、oom、oom_kill 等事件;
  • memory.oom.group:是否将 cgroup 作为一个整体处理。

memory.high 通常会导致节流和回收,并不等于立即触发 OOM。memory.max 达到上限后,如果无法回收,才更可能进入 cgroup OOM。

当 memory.oom.group 设置为 1 时,内核可能将该 cgroup 及相关子层级中的任务作为一个整体终止。此时某个 PID 的 oom_score 只能帮助解释“谁成为了触发或选择对象”,不能表示最终只有这个 PID 受影响。

memory.min 和 memory.low 主要影响内存回收保护,也不是 oom_score_adj 的替代品。它们可能改变 OOM 发生的时机和压力分布,但不会简单地把某个进程的 oom_score 直接改成固定值。

以下因素通常不是直接评分依据

CPU 使用率、网络连接数量、进程运行时间、磁盘 I/O 速度和 nice 优先级,通常不会直接决定 OOM Killer 的候选排序。

root 用户也不会因为身份自动免于 OOM。是否容易被选择,仍要看进程内存使用、oom_score_adj、所属 cgroup 以及当时的候选范围。

怎样实际验证谁更容易被杀

先读取单个进程的评分和内存信息

以下命令只读系统信息,不会修改进程。将 1234 替换为目标 PID:

pid=1234

printf 'PID: '
printf '%s\n' "$pid"

printf '\n[oom_score]\n'
cat "/proc/$pid/oom_score"

printf '\n[oom_score_adj]\n'
cat "/proc/$pid/oom_score_adj"

printf '\n[memory fields]\n'
grep -E '^(VmRSS|VmSwap|RssAnon|RssFile|RssShmem|VmSize):' \
  "/proc/$pid/status"

若要快速查看主机上评分较高的进程,可以使用下面的只读脚本:

for p in /proc/[0-9]*; do
    pid=${p##*/}

    [ -r "$p/oom_score" ] || continue
    [ -r "$p/oom_score_adj" ] || continue
    [ -r "$p/status" ] || continue
    [ -r "$p/comm" ] || continue

    score=$(cat "$p/oom_score" 2>/dev/null) || continue
    adj=$(cat "$p/oom_score_adj" 2>/dev/null) || continue
    rss=$(awk '/^VmRSS:/ {print $2; found=1} END {if (!found) print 0}' \
        "$p/status" 2>/dev/null)
    comm=$(cat "$p/comm" 2>/dev/null)

    printf '%-8s score=%-4s adj=%-5s rss_kb=%-10s %s\n' \
        "$pid" "$score" "$adj" "$rss" "$comm"
done | sort -k2,2nr | head -n 20

这份列表只能作为当前时刻的快照。进程可能正在分配内存,服务也可能在脚本执行后重启,因此不能把它当作未来某次 OOM 的固定名单。

检查内核是否真的杀过进程

可以先查看内核日志中的典型关键词:

journalctl -k --since "2 hours ago" --no-pager | \
  grep -Ei 'out of memory|oom-kill|killed process|memory cgroup out of memory|oom_reaper'

常见日志可能类似于:

Out of memory: Killed process 4123 (java) total-vm:5242880kB, anon-rss:1450000kB, file-rss:12000kB
oom_reaper: reaped process 4123 (java)

其中:

  • Killed process 表示内核记录了被选择的进程;
  • anon-rss 比 total-vm 更接近当时实际驻留的匿名内存;
  • total-vm 是进程虚拟地址空间大小,不能直接当作物理内存占用;
  • oom_reaper 表示内核随后进行回收。

如果日志只显示服务退出,却没有内核 OOM 记录,应继续检查应用运行时、服务管理器和容器运行时。systemd-oomd 等用户态内存压力管理组件,可能根据 PSI 和 cgroup 状态采取终止动作,其判断逻辑不等同于内核 oom_score。

检查 cgroup 的内存边界和事件

先确认系统使用的 cgroup 类型:

stat -fc '%T' /sys/fs/cgroup

如果结果为 cgroup2fs,可以读取当前 cgroup 的内存状态:

cg=/sys/fs/cgroup

for file in memory.current memory.max memory.high memory.events; do
    if [ -r "$cg/$file" ]; then
        printf '\n[%s]\n' "$file"
        cat "$cg/$file"
    fi
done

服务通常位于更深的 cgroup 路径中。对于 systemd 服务,可以先查看其路径:

systemctl show nginx.service -p ControlGroup --value

然后将输出的相对路径拼接到 /sys/fs/cgroup/ 下,再读取对应的 memory.current、memory.max 和 memory.events。不同发行版、systemd 版本和容器运行时的层级可能不同,不应直接假定固定路径。

重点关注以下关系:

  • memory.current 接近 memory.max:说明该组已经接近硬上限;
  • memory.events 中 oom 增加:说明该 cgroup 发生过 OOM 事件;
  • oom_kill 增加:说明至少有任务被 cgroup OOM 机制终止;
  • 主机内存正常但 cgroup 事件增加:更可能是组级限制,而不是全局内存不足。

用时间线而不是单个分数下结论

较可靠的判断顺序是:

用时间线而不是单个分数下结论配图

  1. 从日志确定 OOM 的发生时间和范围;
  2. 判断是全局 OOM、cgroup OOM,还是用户态管理器主动终止;
  3. 找到当时被记录的 PID、进程名和所属 cgroup;
  4. 对照该进程当时的内存占用和 oom_score_adj;
  5. 检查同一范围内是否存在更高评分但未被杀的进程;
  6. 结合 memory.oom.group、服务重启和容器策略判断最终影响范围。

如果需要验证调整值是否改变选择倾向,应在隔离的测试 cgroup 中使用两个可随时销毁的测试进程,并将 memory.max 设置为明确的小范围。测试前应记录原有 cgroup 配置,测试完成后恢复限制;不要在生产主机上通过制造全局内存耗尽来验证。

评分判断的适用边界

oom_score 最适合回答的是:

在当前读取时刻、当前 OOM 选择范围和当前调整配置下,哪些进程更可能成为候选对象?

它不适合直接回答以下问题:

  • 这个进程是否一定会被杀;
  • 下次 OOM 发生时仍然会不会选中它;
  • 进程占用多少内存就一定达到某个评分;
  • 该进程是否是内存问题的根本原因;
  • 服务被杀后是否会自动恢复。

可以按下面的方式理解常见结果:

观察结果更合理的判断
全局 OOM,进程 RSS 较大,oom_score 也较高被内核选中的风险通常较高
RSS 较小,但 oom_score_adj 为较大正值可能超过部分内存占用更大的进程
oom_score 较低,但进程处于已达上限的 cgroup仍需检查 cgroup 范围,不能直接判定安全
oom_score_adj=-1000通常不会成为内核 OOM Killer 的普通候选,但不等于不受任何终止机制影响
memory.oom.group=1需要按 cgroup 整体评估,单个 PID 的评分不代表最终影响范围
应用退出但没有内核 OOM 日志应优先检查应用运行时、资源限制和用户态内存管理器

因此,判断“谁更容易被杀”不能只按 oom_score 从高到低排序。应先锁定 OOM 的范围,再把评分、oom_score_adj、实际内存记账、cgroup 限制和内核日志放在同一条时间线上验证。评分是选择机制的线索,日志和 cgroup 事件才是确认实际终止原因的关键证据。

围绕进程内存压力与资源边界管理,A5数据提供香港、美国、日本等地区的物理服务器,涵盖大内存、NVMe存储及不同CPU平台,可承载数据库、业务后台和多任务服务等工作负载。相关产品配置可为主机级内存资源规划提供硬件基础;面向容器或服务部署的业务,也可结合实际套餐资源安排运行环境。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5714.html

相关推荐