Linux OOM评分如何影响进程终止,怎样判断谁更容易被杀
很多人看到某个进程的 oom_score 接近 1000,就认为它下一次一定会被杀;也有人只盯着内存占用最大的进程,认为它必然是受害者。两种判断都不完整。oom_score 表示进程在一次 OOM 选择中的相对风险,不是固定阈值,也不是被杀概率。
判断谁更容易被终止,至少要同时看三件事:这次 OOM 发生在整台主机还是某个 cgroup、进程当前的内存占用如何、oom_score_adj 是否改变了内核的选择倾向。只有在同一个 OOM 范围内比较这些信息,评分才有实际意义。
先区分三个容易混淆的接口
Linux 通常通过 /proc 暴露与 OOM 选择相关的信息。它们名称相近,但作用不同。
| 接口或指标 | 含义 | 能否直接代表被杀顺序 |
|---|---|---|
/proc/PID/oom_score | 内核对进程当前 OOM 风险的归一化评分,通常为 0~1000 | 不能单独代表 |
/proc/PID/oom_score_adj | 对 OOM 选择倾向进行调整,范围通常为 -1000~1000 | 是重要影响因素,但不是唯一因素 |
VmRSS、RssAnon、RssFile、VmSwap | 进程当前的常驻内存、匿名页、文件页和交换区使用情况 | 可用于解释评分变化,但不是评分本身 |
memory.current、memory.max | cgroup 当前内存使用量和上限 | 用于判断 OOM 是否发生在某个 cgroup 内 |
oom_score 越高,通常表示进程越容易成为候选对象;oom_score_adj 为正值会提高被选中的倾向,负值会降低倾向。将 oom_score_adj 设置为 -1000,通常会让进程被内核 OOM 选择机制排除。
不过,“排除”不等于获得所有场景下的保护。管理员仍然可以发送 SIGKILL,服务管理器或容器运行时也可能主动终止进程;cgroup 的组级 OOM 策略还可能扩大受影响的进程范围。
另外,旧内核中还可能看到 oom_adj。它是较早的接口,范围和含义与 oom_score_adj 不同,新的配置应优先使用 oom_score_adj。
OOM 发生时内核怎样选择进程
资源分配失败不等于立即触发 OOM Killer
一个进程申请内存时,内核通常会先尝试回收页、压缩内存、使用交换区或等待其他内存释放。只有在分配仍无法满足,并且当前上下文允许触发 OOM 处理时,才会进入 OOM Killer 选择流程。
常见触发条件包括:
- 整台主机可用内存不足,回收和交换也无法缓解;
- 某个 cgroup 达到
memory.max; - NUMA、cpuset 或内存策略限制了可用内存范围;
- 容器或服务的内存上限先于主机物理内存耗尽。
因此,看到应用报错并不能直接证明发生了内核 OOM。以下情况也可能导致内存分配失败:
- 进程达到
RLIMIT_AS等资源限制; - Java、Go 或其他运行时触发自己的堆内存异常;
malloc()返回失败,但系统没有进入全局 OOM;- 容器或服务管理器提前采取了回收动作。
判断是否由内核 OOM Killer 终止,应优先检查内核日志和 cgroup 事件,而不是只看应用日志。
内核先确定 OOM 的作用范围
OOM 选择通常有两个主要范围。
全局 OOM发生在主机级内存压力下。内核会在当前可选的进程中比较其内存占用和 OOM 调整值,选择更适合终止的对象。
cgroup OOM发生在某个内存控制组达到限制时。此时候选对象主要来自触发压力的 cgroup 及其相关层级,不会简单地在整台主机的所有进程中比较。
这一区别很关键。例如:

- 主机还有大量空闲内存,但某个容器的
memory.max只有 512 MiB,容器内部仍可能发生 OOM; - 主机上有一个
oom_score很高的 Java 进程,但 OOM 实际发生在另一个受限 cgroup 中,前者通常不会因此被杀; - 同一个服务的多个 worker 处于一个 cgroup 时,cgroup OOM 的候选范围可能比单看某个 PID 更重要。
在 NUMA 或特定内存节点压力下,实际候选范围还可能受到内存节点和进程绑定策略影响。
oom_score 是怎样形成的
内核内部会根据进程的内存占用计算一类 OOM 倾向值,常见理解可以概括为:

候选倾向 ≈ 可计入的内存占用贡献 + oom_score_adj 带来的调整这是解释机制的简化表达,不是可以直接代入计算的公开公式。实际评分还涉及内核版本、内存控制组、交换区使用、候选范围以及当前内存分配上下文。
内存占用通常是影响评分的基础因素。占用较多匿名内存、常驻内存或交换空间的进程,通常更容易成为候选对象。内核会将内部结果转换为 /proc/PID/oom_score 中看到的归一化数值。
oom_score_adj 则相当于人为改变选择倾向:
0:不额外调整;- 正值:更容易被选择;
- 负值:更不容易被选择;
-1000:通常视为不可被 OOM Killer 选择的进程。
+500 并不表示增加 500 MiB 内存,也不能理解为“被杀概率增加 50%”。它参与的是内核的候选评分调整,实际效果会受到主机总内存和其他候选进程影响。
被选中后通常是强制终止
内核 OOM Killer 通常会向选中的任务发送不可捕获的 SIGKILL。这不是优雅停止,应用没有机会像处理 SIGTERM 那样完成完整清理。
之后内核可能通过 OOM reaper 加快回收被杀进程的匿名内存,使系统尽快恢复分配能力。服务是否自动拉起,则取决于 systemd、容器运行时或其他进程管理器的配置,不属于 OOM 评分本身。
少数配置会改变默认选择行为。例如,vm.oom_kill_allocating_task 在启用时可能优先考虑触发内存分配失败的进程。因此,不能脱离内核配置,仅凭“内存占用最大者优先”概括所有版本和环境。
哪些因素会让进程更容易被杀
内存占用通常是基础因素,但不是唯一排序条件
在其他条件相近时,占用内存更多的进程通常更容易被选择。可以先用以下指标观察进程的内存构成:
VmRSS:当前驻留在物理内存中的大小;RssAnon:匿名页占用;RssFile:文件映射和文件缓存相关页;RssShmem:共享内存相关页;VmSwap:已经换出的内存量。
这些值通常以 KiB 形式显示。它们适合帮助解释“为什么这个进程的评分较高”,但不能直接代替内核的 OOM 评分。
还要注意共享页的影响。多个进程可能映射同一批共享内存,用户态工具看到的 RSS 可能在多个进程中体现,而实际回收效果和内核记账并不是简单相加。PSS 更适合分析共享内存的实际分摊,但不应把 PSS 数值直接代入 OOM 评分公式。
oom_score_adj 可以改变内存占用带来的直觉排序
一个占用较少但被设置了较高 oom_score_adj 的进程,可能比占用更多、但被设置了负调整值的进程更容易被选中。
例如,下面是一组用于说明逻辑的示例数据,数值为假设场景:

| 进程 | 内存特征 | oom_score_adj | 示例 oom_score | 判断 |
|---|---|---|---|---|
| Java 服务 | RSS 约 1.6 GiB | 0 | 812 | 内存占用较大,风险较高 |
| 任务 worker | RSS 约 600 MiB | 300 | 790 | 占用较小,但正向调整提高了风险 |
| Nginx | RSS 约 120 MiB | -300 | 95 | 占用较小且受到保护倾向 |
| 监控代理 | RSS 约 80 MiB | -1000 | 0 | 通常不作为 OOM Killer 候选 |
这个例子不能用来推导精确分数,只能说明:内存占用和 oom_score_adj 需要一起看。
在 systemd 管理的服务中,可以关注服务单元是否设置了 OOMScoreAdjust=。如果直接修改 /proc/PID/oom_score_adj,进程重启后设置通常会消失,且可能被服务管理器再次覆盖。
cgroup 策略可能比单个 PID 的分数更重要
Linux cgroup v2 中,以下文件是判断服务或容器内存边界的关键依据:
memory.current:当前 cgroup 的内存使用量;memory.max:硬上限;memory.high:超过后进行限制和回收的高水位;memory.events:记录high、max、oom、oom_kill等事件;memory.oom.group:是否将 cgroup 作为一个整体处理。
memory.high 通常会导致节流和回收,并不等于立即触发 OOM。memory.max 达到上限后,如果无法回收,才更可能进入 cgroup OOM。
当 memory.oom.group 设置为 1 时,内核可能将该 cgroup 及相关子层级中的任务作为一个整体终止。此时某个 PID 的 oom_score 只能帮助解释“谁成为了触发或选择对象”,不能表示最终只有这个 PID 受影响。
memory.min 和 memory.low 主要影响内存回收保护,也不是 oom_score_adj 的替代品。它们可能改变 OOM 发生的时机和压力分布,但不会简单地把某个进程的 oom_score 直接改成固定值。
以下因素通常不是直接评分依据
CPU 使用率、网络连接数量、进程运行时间、磁盘 I/O 速度和 nice 优先级,通常不会直接决定 OOM Killer 的候选排序。
root 用户也不会因为身份自动免于 OOM。是否容易被选择,仍要看进程内存使用、oom_score_adj、所属 cgroup 以及当时的候选范围。
怎样实际验证谁更容易被杀
先读取单个进程的评分和内存信息
以下命令只读系统信息,不会修改进程。将 1234 替换为目标 PID:
pid=1234
printf 'PID: '
printf '%s\n' "$pid"
printf '\n[oom_score]\n'
cat "/proc/$pid/oom_score"
printf '\n[oom_score_adj]\n'
cat "/proc/$pid/oom_score_adj"
printf '\n[memory fields]\n'
grep -E '^(VmRSS|VmSwap|RssAnon|RssFile|RssShmem|VmSize):' \
"/proc/$pid/status"
若要快速查看主机上评分较高的进程,可以使用下面的只读脚本:
for p in /proc/[0-9]*; do
pid=${p##*/}
[ -r "$p/oom_score" ] || continue
[ -r "$p/oom_score_adj" ] || continue
[ -r "$p/status" ] || continue
[ -r "$p/comm" ] || continue
score=$(cat "$p/oom_score" 2>/dev/null) || continue
adj=$(cat "$p/oom_score_adj" 2>/dev/null) || continue
rss=$(awk '/^VmRSS:/ {print $2; found=1} END {if (!found) print 0}' \
"$p/status" 2>/dev/null)
comm=$(cat "$p/comm" 2>/dev/null)
printf '%-8s score=%-4s adj=%-5s rss_kb=%-10s %s\n' \
"$pid" "$score" "$adj" "$rss" "$comm"
done | sort -k2,2nr | head -n 20
这份列表只能作为当前时刻的快照。进程可能正在分配内存,服务也可能在脚本执行后重启,因此不能把它当作未来某次 OOM 的固定名单。
检查内核是否真的杀过进程
可以先查看内核日志中的典型关键词:
journalctl -k --since "2 hours ago" --no-pager | \
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup out of memory|oom_reaper'
常见日志可能类似于:
Out of memory: Killed process 4123 (java) total-vm:5242880kB, anon-rss:1450000kB, file-rss:12000kB
oom_reaper: reaped process 4123 (java)
其中:
Killed process表示内核记录了被选择的进程;anon-rss比total-vm更接近当时实际驻留的匿名内存;total-vm是进程虚拟地址空间大小,不能直接当作物理内存占用;oom_reaper表示内核随后进行回收。
如果日志只显示服务退出,却没有内核 OOM 记录,应继续检查应用运行时、服务管理器和容器运行时。systemd-oomd 等用户态内存压力管理组件,可能根据 PSI 和 cgroup 状态采取终止动作,其判断逻辑不等同于内核 oom_score。
检查 cgroup 的内存边界和事件
先确认系统使用的 cgroup 类型:
stat -fc '%T' /sys/fs/cgroup
如果结果为 cgroup2fs,可以读取当前 cgroup 的内存状态:
cg=/sys/fs/cgroup
for file in memory.current memory.max memory.high memory.events; do
if [ -r "$cg/$file" ]; then
printf '\n[%s]\n' "$file"
cat "$cg/$file"
fi
done
服务通常位于更深的 cgroup 路径中。对于 systemd 服务,可以先查看其路径:
systemctl show nginx.service -p ControlGroup --value
然后将输出的相对路径拼接到 /sys/fs/cgroup/ 下,再读取对应的 memory.current、memory.max 和 memory.events。不同发行版、systemd 版本和容器运行时的层级可能不同,不应直接假定固定路径。
重点关注以下关系:
memory.current接近memory.max:说明该组已经接近硬上限;memory.events中oom增加:说明该 cgroup 发生过 OOM 事件;oom_kill增加:说明至少有任务被 cgroup OOM 机制终止;- 主机内存正常但 cgroup 事件增加:更可能是组级限制,而不是全局内存不足。
用时间线而不是单个分数下结论
较可靠的判断顺序是:

- 从日志确定 OOM 的发生时间和范围;
- 判断是全局 OOM、cgroup OOM,还是用户态管理器主动终止;
- 找到当时被记录的 PID、进程名和所属 cgroup;
- 对照该进程当时的内存占用和
oom_score_adj; - 检查同一范围内是否存在更高评分但未被杀的进程;
- 结合
memory.oom.group、服务重启和容器策略判断最终影响范围。
如果需要验证调整值是否改变选择倾向,应在隔离的测试 cgroup 中使用两个可随时销毁的测试进程,并将 memory.max 设置为明确的小范围。测试前应记录原有 cgroup 配置,测试完成后恢复限制;不要在生产主机上通过制造全局内存耗尽来验证。
评分判断的适用边界
oom_score 最适合回答的是:
在当前读取时刻、当前 OOM 选择范围和当前调整配置下,哪些进程更可能成为候选对象?
它不适合直接回答以下问题:
- 这个进程是否一定会被杀;
- 下次 OOM 发生时仍然会不会选中它;
- 进程占用多少内存就一定达到某个评分;
- 该进程是否是内存问题的根本原因;
- 服务被杀后是否会自动恢复。
可以按下面的方式理解常见结果:
| 观察结果 | 更合理的判断 |
|---|---|
全局 OOM,进程 RSS 较大,oom_score 也较高 | 被内核选中的风险通常较高 |
RSS 较小,但 oom_score_adj 为较大正值 | 可能超过部分内存占用更大的进程 |
oom_score 较低,但进程处于已达上限的 cgroup | 仍需检查 cgroup 范围,不能直接判定安全 |
oom_score_adj=-1000 | 通常不会成为内核 OOM Killer 的普通候选,但不等于不受任何终止机制影响 |
memory.oom.group=1 | 需要按 cgroup 整体评估,单个 PID 的评分不代表最终影响范围 |
| 应用退出但没有内核 OOM 日志 | 应优先检查应用运行时、资源限制和用户态内存管理器 |
因此,判断“谁更容易被杀”不能只按 oom_score 从高到低排序。应先锁定 OOM 的范围,再把评分、oom_score_adj、实际内存记账、cgroup 限制和内核日志放在同一条时间线上验证。评分是选择机制的线索,日志和 cgroup 事件才是确认实际终止原因的关键证据。
围绕进程内存压力与资源边界管理,A5数据提供香港、美国、日本等地区的物理服务器,涵盖大内存、NVMe存储及不同CPU平台,可承载数据库、业务后台和多任务服务等工作负载。相关产品配置可为主机级内存资源规划提供硬件基础;面向容器或服务部署的业务,也可结合实际套餐资源安排运行环境。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5714.html



