Linux OOM评分是什么,如何据此判断进程被杀的先后?

发布人:A5数据发布时间:2026-10-28 14:23阅读量:94

Linux 的 OOM 评分不是“进程排队等着被杀”的固定优先级,也不能单凭一个分数准确预测下一次一定会杀谁。它是内核在内存分配失败、需要选择受害进程时使用的参考值:通常分数越高,越可能被选中;但实际结果还受 OOM 发生范围、进程内存占用、oom_score_adj 和内核策略等因素影响。

因此,查看 /proc/<PID>/oom_score 可以了解某一时刻进程的评分,却不能据此还原完整的“被杀顺序”。OOM Killer 一般是在一次内存危机中选择受害者,而不是预先排好一个会依次执行的名单;如果释放的内存仍不足,后续选择还可能再次发生。

概念边界:评分、保护值和被杀顺序不是一回事

Linux 中常见的 OOM 相关信息有三种,含义不同:

项目作用常见查看位置
oom_score当前进程的 OOM 评分,用于观察其被选作受害者的相对风险/proc/<PID>/oom_score
oom_score_adj对进程评分施加的调整值,可提高或降低其被选中的倾向/proc/<PID>/oom_score_adj
OOM 事件记录表明内核是否发生 OOM、选中了谁,以及当时的内存情况内核日志、系统日志

oom_score 通常显示为 0 到 1000 之间的整数。一般而言,数值越高,进程越容易成为候选受害者。它不是进程的内存使用量,也不是“还剩多少秒会被杀”的倒计时。

oom_score_adj 的取值范围是 -1000 到 1000。负值通常降低进程被选中的倾向,正值则提高这一倾向;-1000 用于将进程排除出常规 OOM 受害者选择。它不是绝对安全承诺:进程仍可能因人为终止、服务管理器策略或其他机制退出,而且调整值也不能解决系统内存不足。

旧版接口 oom_adj 已不适合作为新配置依据。运维时应优先检查 oom_score_adj,并确认目标系统内核和相关服务是否实际采用了该值。

工作机制:内核何时参考评分

OOM Killer 不是持续巡查所有进程并按评分从高到低逐个结束。通常是内核遇到无法满足的内存分配请求,并判断当前可回收内存不足时,进入 OOM 处理流程,再根据当时的约束和策略选择受害者。

这里的“内存不足”不一定表示整台服务器的物理内存已经用完。触发范围可能是:

  • 全局 OOM:主机范围内可用内存不足,内核需要在系统进程中选择受害者。
  • 内存 cgroup OOM:某个容器或 cgroup 达到自身内存限制,内核可能在该范围内处理 OOM。主机仍有空闲内存,也不代表这个 cgroup 不会触发 OOM。
  • 其他受约束的内存分配场景:例如某类内存区域或分配条件受限,实际候选范围可能不同于普通的全局内存紧张。

因此,比较两个进程的 oom_score 前,必须先问:它们是否处于同一次 OOM 的候选范围内?如果一个进程在受限容器中,另一个在主机其他位置,那么仅比较两个分数,往往无法推断谁会被杀。

评分与进程消耗的内存有关,但并非简单地把 RSS 数值直接换算成分数。内核会结合当前 OOM 处理范围内可用或受限的内存情况,并考虑 oom_score_adj 等因素。换句话说,同一进程的分数可能随内存占用和系统状态变化;同样大小的进程,在不同的内存限制或系统状态下,评分也可能不同。

可把它理解成一次临时的候选评估:内存消耗较大的进程通常承担更高风险,调整值则会改变这种风险。但最终选择不是只看某一列数字。内核还需要遵守 OOM 处理的范围和策略,并处理不适合作为普通受害者的任务。因而,“分数较高”表示倾向,不等于必然被杀;“分数较低”也不表示进程绝不会退出。

为什么不能把评分当作固定排行榜

假设一台主机上有服务 A、B、C,某一时刻读取到的评分分别是 420、610、280。此时 B 的分数最高,但若之后只有某个 cgroup 触发 OOM,而 B 不在该 cgroup 的受影响范围内,这个全局排序就不能直接用来判断结果。

即使三个进程处在同一候选范围,评分也会随进程内存占用、调整值及系统状态变化。内核选中一个受害者后,若释放的内存足以满足请求,OOM 处理可能就结束;若仍不足,系统可能再次进入相关处理。因此,不能把三个数值解读成“先杀 B,再杀 A,最后杀 C”。

影响评分与选择结果的因素

1. 进程的内存使用及其占用比例

进程使用的内存越多,通常越容易成为候选受害者。但这不意味着只看 ps 中的 RSS 就能算出 OOM 评分。不同统计口径、共享内存、交换空间使用情况和 OOM 范围都会影响判断。

例如,两个进程的 RSS 都约为 1 GiB,在整机内存充足时可能具有较低风险;在一个内存上限较紧的 cgroup 中,它们的相对占用可能很高。应结合进程所在 cgroup 的限制和实际 OOM 事件理解分数,而不是脱离上下文比较 RSS。

2. oom_score_adj 的人为调整

服务管理器或管理员可以通过调整 oom_score_adj 改变进程被选中的倾向。比如,可将不希望优先牺牲的关键服务设为负值,将一次性、可重建的批处理任务设为正值。

但调整值应当反映真实的服务优先级和恢复能力,而不能把所有关键进程都设成强保护。若大量进程都被强力保护,OOM Killer 可选择的对象会减少,内存危机可能更难缓解。即便保护某个进程,也不代表主机能继续正常工作:其他进程仍可能被杀,服务仍可能因依赖不可用而受影响。

进程的 oom_score_adj 通常可以从 /proc 读取;修改权限受系统权限和进程控制规则限制。实际部署中还应确认服务重启后设置是否仍然生效,不能只凭一次手工修改就认为配置已持久化。

3. OOM 发生的范围与管理策略

cgroup 内存上限、容器运行时的资源配置以及内核 OOM 策略,都会影响受害者选择的边界。某些系统还可能配置在 OOM 时结束整个 cgroup,而不只是单独终止一个进程。此时看到一个进程退出,不能简单归因于它的 oom_score 排名最高。

此外,用户态内存压力管理程序可以在内核 OOM Killer 介入前采取行动。此类程序按自身策略处理压力,与内核基于 oom_score 的受害者选择不是同一机制。若日志显示服务被结束,但没有对应的内核 OOM 记录,应检查服务管理器、容器运行时和压力管理服务的日志。

4. 进程状态与特殊处理

内核不会把所有进程都视为完全相同的候选对象。进程是否处于可处理状态、是否受到特殊保护,以及系统采用的 OOM 策略,都可能影响选择。内核版本和配置也会带来实现差异。因此,即便两个进程的 oom_score 接近或相同,也不能仅靠分数判定具体谁先被选中。

如何验证进程评分和实际受害者

验证时应把“当前评分”和“历史上实际发生的 OOM”分开。前者是一个时间点的观察值,后者需要通过内核日志或系统日志确认。

读取当前评分及调整值

先取得进程 PID,再读取对应文件:

pid=1234
printf 'oom_score='
cat "/proc/$pid/oom_score"
printf 'oom_score_adj='
cat "/proc/$pid/oom_score_adj"

以上 1234 是示例 PID。若进程已经退出,相关 /proc 文件会消失;如果读取的是某个服务的 PID,也应确认它对应的是实际工作进程,而不是启动器或短生命周期的父进程。

如需比较多个候选进程,可以记录同一时间点的 PID、进程名、所在 cgroup、评分和调整值。不要把不同时间读取的数值直接拼成一张“顺序表”,因为评分可能已经变化。

确认进程的 cgroup 范围

在采用 cgroup 的系统上,可查看进程所在的 cgroup:

cat "/proc/$pid/cgroup"

cgroup v2 系统中,内存限制和事件信息通常可在对应的 cgroup 目录中查看,例如:

cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.events

这些路径和文件适用于常见的 cgroup v2 布局;若系统使用 cgroup v1、采用不同挂载位置,或容器内只暴露了部分层级,应先根据 /proc/mounts 和 /proc/$pid/cgroup 确认实际路径,不能把示例路径当作所有系统通用的固定位置。

在 cgroup v2 的事件文件中,oom、oom_kill 等计数可用于辅助判断该 cgroup 是否发生过相关事件。计数变化能够支持“此范围内出现过 OOM 相关情况”的判断,但本身不一定能说明具体哪个业务进程先退出;还要结合日志和进程状态。

查看内核 OOM 日志

可尝试从内核日志中查找 OOM 记录:

sudo dmesg -T | grep -Ei 'out of memory|oom-kill|killed process'

部分系统使用 systemd 日志,可改查:

sudo journalctl -k --since "1 hour ago" | grep -Ei 'out of memory|oom-kill|killed process'

日志措辞会随内核版本和发行版有所不同。下面是一个示例格式,不是特定机器的实测结果:

Memory cgroup out of memory: Killed process 1234 (worker)
oom_score_adj: 200

若记录中出现 Memory cgroup 等信息,说明应优先检查相应内存组的限制与事件,而不是把它当作整机所有进程之间的全局竞赛。若日志记录了被杀的 PID、进程名或调整值,应以这条事件记录确认实际受害者;当前读取的 oom_score 不能替代历史日志。

用一组示例理解判断边界

设某次采样得到以下数据:

进程当前 oom_scoreoom_score_adj所在范围
api-worker5600应用 cgroup
batch-job730300应用 cgroup
database180-300主机其他 cgroup

如果同一应用 cgroup 发生内存 OOM,且这些值是在事件附近读取的,batch-job 的评分较高,说明它更值得优先检查,也可能更容易成为受害者。但这仍不能证明它必定先被杀:应以该次 OOM 的内核日志或 cgroup 事件记录确认。

如果触发的是全局 OOM,候选范围和系统策略可能不同;而表中的评分又只是某个采样时刻的数据,不能据此断言整个系统的实际杀进程顺序。这个示例的价值在于说明如何结合分数、调整值和范围判断风险,而非提供可通用套用的预测公式。

适用限制:评分能回答什么,不能回答什么

oom_score 适合用来观察进程在某一时刻的相对风险,排查时也可用来发现异常高的 oom_score_adj 或比较同一候选范围内的进程。它不能单独回答以下问题:

  • 进程是否已经被杀,以及具体是什么机制将其结束;
  • 整台主机所有进程下一步会按什么顺序退出;
  • 某个进程是否绝对不会被 OOM Killer 选择;
  • 一个 cgroup 的 OOM 是否代表主机物理内存已经耗尽。

如果业务进程退出,建议用三类证据交叉判断:先读取当前进程的 oom_score 与 oom_score_adj;再确认进程所在 cgroup 及其内存限制、事件计数;最后查找与退出时间匹配的内核日志。评分用于解释“为什么它可能更容易成为候选者”,事件日志用于确认“当时实际发生了什么”。

适用限制:评分能回答什么,不能回答什么配图

判断被杀先后时,最可靠的边界是:只有在同一次 OOM 事件、相同候选范围内,并结合当时的内核日志和策略,才能讨论实际受害者;单独比较不同时间的 oom_score,最多只能说明相对风险,不能还原确定的杀进程顺序。

围绕进程内存占用与服务负载,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖多种CPU平台、内存规格及SSD或NVMe存储,可为网站、数据库、业务后台和容器运行提供不同的计算与存储资源组合。多地区部署及不同线路方案,也能适配不同访问区域的业务布局。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6280.html

相关推荐