批量任务与在线请求并行时,如何调整Linux OOM评分以优先保护在线服务?

发布人:A5数据发布时间:2026-11-16 11:14阅读量:14

在线服务与批量任务争抢内存时,可以通过 oom_score_adj 调整内核 OOM Killer 选择受害进程的倾向:适度提高批量进程的值,使其更容易被选中;必要时再给在线服务设置较小的负值,降低其被选中的可能。它不是内存预留、进程调度优先级或存活保证,也不能代替容量管理。

生产变更应先确认 OOM 是由整机内存压力、cgroup 限额还是用户态内存压力处理服务触发,再确定要调整的进程范围。建议先对可重试的批量任务做小幅正向调整,观察其影响;不要直接把在线服务设为 -1000,也不要在未核实进程归属时批量修改。下面按“核对现状、准备、实施、验证、回滚”给出可执行方案。

现状核对:确认是谁在处理内存压力

oom_score_adj 的范围是 -1000 到 1000。正值会提高进程被内核 OOM Killer 选中的倾向,负值会降低这种倾向。内核仍会结合进程内存使用等因素判断,数值不代表固定的淘汰顺序或概率。-1000 会让进程在相关内核 OOM 选择中基本不成为候选项,但不等同于获得了内存保障,也可能把风险转移给其他进程。

先记录在线服务、批量任务的实际进程和服务配置。以下服务名仅作示例,应替换为现场名称:

systemctl show online-api.service -p MainPID -p ControlGroup -p OOMScoreAdjust
systemctl show batch-worker.service -p MainPID -p ControlGroup -p OOMScoreAdjust
systemctl cat online-api.service
systemctl cat batch-worker.service

对确认后的 PID 查看当前调整值和当前评分:

cat /proc/12345/oom_score_adj
cat /proc/12345/oom_score

oom_score 会随进程内存状况变化,不宜把单次读数当作稳定的排序承诺。若服务由多个 worker 组成,还要核对完整进程范围,不能只看 MainPID。服务子进程通常会继承父进程的调整值,但已有进程、独立启动的 worker 或多层 cgroup 可能不一致。

同时确认 OOM 的触发范围:

  • 查看内核日志中是否出现 OOM 记录或进程终止信息,例如 journalctl -k。
  • 在 cgroup v2 环境中,检查服务所在 cgroup 的 memory.max、memory.events,以及是否启用了 memory.oom.group。达到 cgroup 内存上限时,受影响的范围可能只在该 cgroup 内;若配置为按组处理,仅调整单个 PID 的评分可能无法实现预期保护。
  • 若系统启用了 systemd-oomd,需检查其状态和日志。它依据内存压力等条件处理 cgroup,不能假定调整 oom_score_adj 就会改变它的选择。
  • 确认在线服务和批量任务是否处于同一服务单元或 cgroup。若二者共享了严格的内存上限,单纯调整进程评分通常不能解决边界设置不合理的问题。

如果看到的是在线服务自身的内存泄漏、持续增长或批量任务并发过高,应先处理根因。调整评分只能改变部分 OOM 场景下的选择倾向,不会减少实际内存占用。

现状核对:确认是谁在处理内存压力配图

变更准备:缩小范围并保留原值

变更前明确要调整的单位、进程集合、执行时间和负责人,并记录以下内容:

  • 在线服务和批量任务的 PID、cgroup 路径及当前 oom_score_adj。
  • 服务单元文件和已有 drop-in 配置,避免覆盖其他团队的设置。
  • 当前内存使用、可用内存、交换空间、服务延迟与错误率、批次积压和重试情况。
  • OOM 日志及相关 cgroup 事件计数,作为变更前基线。
  • 回滚负责人、触发条件,以及需要暂停或降低批量并发时的操作方式。

选择业务低峰或批量任务可暂停、可重试的窗口。若在线服务只有单实例,且调整配置必须重启才能生效,不应为了套用配置而直接重启;先评估是否有冗余实例、滚动重启能力或可接受的维护窗口。

建议采用渐进值,而非一次拉到极端值。例如,先把批量 worker 设为 +200 观察;若仍有合理证据表明在线服务容易被内核 OOM 选中,再评估给在线服务设置 -100 或 -200。这些是用于说明变更幅度的示例,不是适用于所有主机的标准值。应结合进程重要性、内存余量和批量任务的可恢复性决定,并一次只改变一个主要因素。

分步实施:先处理批量任务,再评估在线服务

先做单批次或少量进程的试点

对单个已核实的批量进程,可先临时调整运行中的值。写入 /proc/<PID>/oom_score_adj 需要足够权限:

printf '%s\n' 200 | sudo tee /proc/12345/oom_score_adj
cat /proc/12345/oom_score_adj

确认目标 PID 属于批量任务后再执行。不要把示例 PID 原样用于生产;进程重启后 PID 会改变,临时值也不能当作持久配置。若 worker 有多个进程,应按确认过的进程清单逐个处理,并复核每个进程的读回值。

试点阶段尽量只调整批量任务。把易重试的进程提高到正值,通常比大幅压低在线服务的分值更容易控制影响范围。批量任务即使成为受害进程,也可能造成作业中断、重复执行或队列积压,因此仍需确认任务具备幂等、检查点或可靠重试机制。

持久化配置时,使用服务单元并安排生效方式

若服务由 systemd 管理,可为对应单元设置 OOMScoreAdjust=。例如,为批量任务创建或修改 drop-in:

sudo systemctl edit batch-worker.service

在编辑器中设置:

[Service]
OOMScoreAdjust=200

在线服务如确有必要,可单独设置较小的负值,不要与批量任务写在同一个单元配置中:

[Service]
OOMScoreAdjust=-100

保存后执行:

sudo systemctl daemon-reload

daemon-reload 只重新读取配置,不会自动改写现有进程的值。新设置通常要在服务启动或重启时应用。若窗口内不能重启,可先对当前进程做临时写入,并把持久配置留到经审批的滚动重启窗口;不要误以为配置文件已更新就代表运行进程已生效。

分步实施:持久化配置时,使用服务单元并安排生效方式配图

使用 drop-in 前检查现有配置,避免覆盖其他必要设置。确认 systemd 版本支持所用配置项;如配置未生效,先通过 systemctl cat 和 systemctl show 核对,不要盲目重复重启。

一次只扩大一个变更范围

试点确认后,再决定是否推广到同一批次的其他 worker。若要进一步调整在线服务,先确认其所有关键进程都受该服务配置管理,并评估负值带来的风险转移:一旦在线服务更难被选中,其他守护进程或批量外进程可能更早被终止。

不要同时修改 oom_score_adj、MemoryMax、批量并发和多个服务的内存配置,否则出现变化时难以判断原因。若确需调整 cgroup 限额,应作为独立变更评估:MemoryHigh 可用于压力下的回收和节流,MemoryMax 是硬限制,设置过低可能直接触发该 cgroup 内的 OOM;MemoryMin、MemoryLow 也会影响回收行为和其他 cgroup 的可用内存。

验证观察:确认配置、业务和 OOM 范围一致

变更后先核对配置和运行进程,不以“命令执行成功”代替验证:

systemctl show batch-worker.service -p OOMScoreAdjust -p MainPID -p ControlGroup
cat /proc/12345/oom_score_adj
cat /proc/12345/oom_score

对多进程服务,应检查实际 worker,而不只核对 MainPID。若执行过重启,重新确认 PID 和每个相关进程的值;若只有部分进程拿到新值,应停止扩大范围,先查清进程管理方式。

观察窗口应覆盖一次有代表性的批量任务高峰;一般可以先观察变更后的 30 至 60 分钟,若批次周期更长,则至少覆盖一个完整批次。重点关注:

  • 在线服务的延迟、错误率、健康检查和重启次数是否达到既定告警阈值。
  • 批量任务是否出现 OOM 终止、重试激增、积压增长或数据重复风险。
  • 整机可用内存、交换空间和 /proc/pressure/memory 是否持续恶化。
  • cgroup v2 的 memory.events 是否新增 oom、oom_kill 计数,以及内核日志中的 OOM 记录对应哪个进程和 cgroup。
  • 若启用了 systemd-oomd,其日志和 cgroup 处置是否与内核 OOM 路径不同。

不要在生产主机上通过故意耗尽内存来“验证”分值效果。若没有自然出现 OOM,能确认的只是配置已应用、进程范围正确、业务指标正常;不能据此断言未来一定会优先终止某个指定进程。

回滚条件:按记录的旧值恢复,并控制批量压力

出现以下任一情况,应停止继续推广,并按预案回滚或降低批量并发:

  • 在线服务延迟、错误率或可用性超过既定告警阈值,或在线关键进程出现 OOM 终止。
  • 批量任务被终止后无法安全重试,导致数据一致性风险、队列持续堆积或重试风暴。
  • 实际生效进程与预期不符,部分 worker 值不一致,或 cgroup、按组 OOM 与用户态内存压力处理方式使单进程调整无法达到目标。
  • OOM 事件转移到其他关键服务,整机内存压力持续上升,或变更造成此前没有的明显副作用。

临时调整的进程可恢复为变更前记录的值,例如:

printf '%s\n' 0 | sudo tee /proc/12345/oom_score_adj

这里只能在变更前确认该进程原值为 0 时使用;若原值不是 0,应恢复记录值。持久配置则只撤销本次新增或修改的 OOMScoreAdjust=,保留同一 drop-in 中其他无关配置;之后执行 daemon-reload,并按实际生效要求安排服务重启。重启后再核对新 PID 的运行值。不要为了删除单项设置而清除包含其他变更的整个覆盖文件。

回滚评分不一定能立即解除内存压力。若批量任务仍在持续占用内存,应同步暂停或降低其并发,并按容量和服务隔离情况处理;不要把提高在线服务的保护程度当成增加了主机可用内存。

变更完成后,至少保留到一个完整批次周期和在线服务高峰都经过观察。若在线服务越过告警阈值、批量任务无法安全恢复,或关键进程被转移为 OOM 受害者,应触发回滚;若未出现问题,再根据日志、cgroup 事件和业务指标决定是否扩大范围,而不是一次性把所有服务设为极端值。

回滚条件:按记录的旧值恢复,并控制批量压力配图

围绕在线服务与批量任务并行运行所需的计算和内存资源,A5idc数据提供中国香港、美国、日本等地区的物理服务器,配置覆盖不同CPU平台、内存容量及SSD、NVMe存储,可用于网站、业务后台、数据库和多任务计算等场景。多地区机房及不同网络线路方案,也为按业务访问区域部署服务提供资源选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9752.html

相关推荐