主机仍有空闲内存,为什么Linux进程会因cgroup内存上限被OOM终止?
主机还有大量可用内存,并不代表每个进程或容器都能继续使用这些内存。Linux 的 cgroup 可以为一组进程设置独立的内存边界;当该组达到上限、内核又无法通过回收缓存等方式腾出空间时,cgroup 内仍可能触发 OOM,导致一个或多个进程被终止。此时宿主机的 free 仍显示可用内存,是可能出现的正常现象。
排查时,关键不是只看整台主机“还剩多少”,而是确认被终止的进程属于哪个 cgroup、它及其上级 cgroup 的限制是多少、使用量由哪些部分构成,以及是否发生了 cgroup OOM、全局 OOM 或其他类型的终止。以下检查应尽量围绕故障发生时段进行;示例数字和日志仅用于说明判断方法,不代表任何实际环境。
先确认影响范围与终止方式
先确定问题影响的是单个进程、一个服务、一组容器,还是整台主机上的多个服务。如果只有同一容器或同一服务中的进程退出,而其他服务仍正常,优先检查这个工作负载及其 cgroup 限制;如果多个不相关进程同时出现内存错误或被终止,则还要检查宿主机全局内存压力、系统级 OOM 机制和其他资源约束。
收集故障时间、进程或容器名称、退出码、应用日志及内核日志。Linux 上可查看内核日志,例如:
journalctl -k --since "2025-01-01 10:00:00" --until "2025-01-01 10:10:00"
也可以在有权限时查看:
dmesg -T
实际排查时,应把时间范围替换为故障发生的前后时段。日志中若出现 Memory cgroup out of memory、constraint=CONSTRAINT_MEMCG 或类似的 cgroup 限额信息,说明需要重点检查内存控制组;若出现全局内存分配失败、系统范围的 OOM 记录,则应同时排查主机整体内存。不同内核版本的日志格式可能不同,不能只凭某个关键词是否出现作最终判断。
还要确认“进程被 OOM 终止”是否来自内核 OOM killer。应用自身退出、服务管理器主动重启、容器健康检查失败、管理员发送信号,或 systemd-oomd 等用户空间内存压力管理机制,也可能表现为进程突然消失。应把内核日志、服务日志、容器事件和进程退出状态放在一起核对,而不是只根据应用的“被杀”提示归因。
建立原因树:限制、计费、压力与观测范围
可以把“主机尚有可用内存,但工作负载被终止”拆成几个分支:
| 分支 | 典型表现 | 优先核对 |
|---|---|---|
| cgroup 或上级 cgroup 达到限制 | 某个服务或容器受影响,宿主机仍有可用内存 | 本级及祖先级限制、当前用量、OOM 事件计数 |
| 计费范围理解不完整 | 进程 RSS 之和低于限制,但 cgroup 用量接近上限 | 文件缓存、内核内存、同组其他进程、共享内存 |
| 交换空间受限或回收不及时 | 内存压力增加,可能伴随回收、延迟或 OOM | swap 限额、回收事件、内存压力指标 |
| 用量突然升高 | 平时正常,流量高峰、任务并发或批处理时触发 | 故障时的峰值、并发量、分配速率和增长趋势 |
| 观测对象不一致 | 容器内外看到的限制或用量不一致 | 进程实际所属 cgroup、命名空间、容器及服务配置 |
| 并非 cgroup OOM | 进程退出但相关 cgroup 事件未能佐证 | 内核日志、服务管理器、应用日志、压力管理器记录 |
这棵原因树的顺序不是固定的。若日志明确指出 cgroup OOM,可先查限制和事件;若日志缺失或来源不明,则先确认被终止的对象和终止方式。
cgroup 限制不等于主机内存总量
free -h 主要展示主机整体的内存视图,其中 available 是内核对当前可供应用使用内存的估计,包含可回收内存等因素。它回答的是“整台主机大致还有多少可用空间”,并不表示某个 cgroup 还能使用同样多的空间。
例如,宿主机有 64 GiB 内存,当前仍显示 20 GiB 可用;某个容器的 memory.max 却设为 4 GiB,而它已经使用约 4 GiB。这个容器可能触及自己的内存上限并触发 OOM,宿主机同时仍保有大量可用内存。此时两项观测并不矛盾,只是统计范围不同。

此外,限制可能设置在进程所在 cgroup 的上级目录。即使子 cgroup 看起来有余量,父级服务、容器组或其他祖先 cgroup 也可能先达到上限。检查时不能只读一个目录下的限制文件。

cgroup 统计不等于进程 RSS 求和
进程的 RSS 可以帮助发现单个进程是否持续增长,但它不能直接替代 cgroup 用量。cgroup 还可能统计文件缓存、部分内核内存和同一组内其他进程的占用;共享内存也可能让“各进程 RSS 直接相加”高估实际物理内存,或让只检查一个进程低估整个组的用量。
因此,如果进程 RSS 看起来没有达到限制,而 cgroup 已接近上限,应检查 memory.stat 中的组成项,并核实同一 cgroup 内是否还有工作进程、子进程或辅助进程。内核版本、配置及记账范围会影响具体统计表现,阅读这些值时应以本机 cgroup 文件和对应内核行为为准。
逐层排除:从主机视图到进程所属的 cgroup
1. 查看主机内存与全局压力
先记录主机整体状态:
free -h
cat /proc/meminfo
重点看 MemAvailable、SwapTotal 和 SwapFree,而不是只看 MemFree。Linux 会利用空闲内存作为缓存,因此 MemFree 较低本身不等于系统缺内存。反过来,MemAvailable 较高也不能排除某个 cgroup 触顶。
如果故障伴随主机整体响应变慢、多个服务同时超时,继续查看内存压力及内核日志。部分系统可从 /proc/pressure/memory 读取内存 PSI 信息;它反映任务因内存资源受压而停顿的情况,但不能单独证明发生了 OOM。
cat /proc/pressure/memory
如果这里只在故障时出现明显压力,而目标 cgroup 的限制和 OOM 事件没有变化,应继续调查主机级压力、回收行为和其他内存消费者。反之,主机压力不高也不能排除局部 cgroup 达到上限。
2. 确认进程属于哪个 cgroup
对仍在运行的目标进程,可读取其 cgroup 信息:
cat /proc/<PID>/cgroup
将 <PID> 替换为目标进程号。cgroup v2 通常会出现类似 0::/某个路径 的记录;cgroup v1 则可能分别列出不同控制器对应的路径。容器的进程视图可能经过命名空间隔离,因此在容器内看到的路径与宿主机上的挂载路径不一定相同。
还要确认系统使用哪种 cgroup 挂载形式:
findmnt -t cgroup,cgroup2
在常见的 cgroup v2 主机上,层级通常位于 /sys/fs/cgroup;但不能假设每台机器的路径、挂载方式或容器视图完全一致。根据进程所在路径和本机挂载信息定位对应目录后,再读取该目录及其父级目录中的内存控制文件。
若进程已退出,可从服务管理器、容器运行时或编排平台找到该工作负载的 cgroup;同时要尽早收集故障时的计数器,因为重启、重新创建容器或服务可能改变路径,并使后续读到的是新一轮状态。
3. 检查 cgroup v2 的限制、用量和事件
在 cgroup v2 中,常用文件包括:
memory.current:当前 cgroup 的内存用量。memory.max:硬上限;max通常表示该层没有设置有限数值上限。memory.high:内存高位控制线,达到后可能触发更强的回收或节流,但它本身不等同于硬 OOM 上限。memory.swap.current与memory.swap.max:交换空间用量及上限。memory.events:与内存限制和 OOM 相关的累计事件计数。memory.stat:用量组成的统计信息。
在已定位的 cgroup 目录中,可按需检查:
cat /sys/fs/cgroup/<目标路径>/memory.current
cat /sys/fs/cgroup/<目标路径>/memory.max
cat /sys/fs/cgroup/<目标路径>/memory.high
cat /sys/fs/cgroup/<目标路径>/memory.swap.current
cat /sys/fs/cgroup/<目标路径>/memory.swap.max
cat /sys/fs/cgroup/<目标路径>/memory.events
cat /sys/fs/cgroup/<目标路径>/memory.stat
这里的 <目标路径> 必须替换为本机实际路径;某些文件可能不存在,原因包括控制组版本、内核支持情况或当前挂载视图不同。读取父级 cgroup 时也要核对限制和事件,不能只看目标目录。
memory.events 中的计数是累计值。若 max、oom 或 oom_kill 在故障时间附近增加,能为“触及限制或发生 OOM”提供证据;但如果只是读取到一个非零值,却没有故障前后的基线,就不能断定这些事件就是本次问题。部分系统还提供 memory.events.local,用于观察本级事件;普通 memory.events 可能反映层级中的事件。应结合当前内核的文件说明和同一时段的日志判断。
一个用于演示的模拟结果如下:
# memory.current
4190109696
# memory.max
4294967296
# memory.events
low 0
high 0
max 184
oom 7
oom_kill 2
这组示例中,当前用量接近 4 GiB 上限,且事件计数已有变化,值得沿 cgroup OOM 方向继续核对。但单次输出并不能证明计数是在本次故障中增加;要确认因果关系,应记录故障前后数值,并与内核日志时间对应。
在 memory.stat 中,可关注 anon、file、kernel、sock 等实际存在的项目。若 anon 持续增长,可能与进程匿名内存、堆或映射有关;若 file 较高,文件缓存可能占据了较多的 cgroup 计费空间;若内核或套接字相关项目增长,也应结合工作负载和内核支持情况分析。不能把某个统计项直接等同于应用泄漏,需观察趋势和变化时段。
4. cgroup v1 与 systemd 管理的服务
cgroup v1 的文件名和事件机制与 v2 不完全相同。常见相关文件包括 memory.usage_in_bytes、memory.limit_in_bytes、memory.failcnt;若启用了内存与交换联合记账,还可能有 memory.memsw.* 文件。不要把 v2 的 memory.max、memory.events 命令原样套到 v1 上,也不要仅凭 failcnt 非零就认定发生了 OOM:它通常表示曾经遇到过限额相关失败,仍需核对故障时段、日志和其他计数。
如果进程由 systemd 服务管理,可查看服务的资源属性:
systemctl show <服务名> \
-p MemoryCurrent \
-p MemoryHigh \
-p MemoryMax \
-p MemorySwapMax
输出可用于核对服务当前的内存用量及其配置边界。属性值为 infinity 或没有预期字段时,还要检查服务所在的上级控制组、发行版的 systemd 版本和实际挂载情况。systemd 的属性视图可以帮助定位配置,但最终仍应与 cgroup 文件、服务日志及内核事件相互印证。
容器场景则要区分镜像、容器配置和宿主机上的实际控制组。以 Docker 为例,可查看容器配置中的相关限制:
docker inspect <容器名或ID> \
--format 'Memory={{.HostConfig.Memory}} MemorySwap={{.HostConfig.MemorySwap}}'
配置值表示运行时设置,不一定单独说明故障发生时的实际用量,也不应脱离运行时版本和宿主机 cgroup 模式解释。容器进程的内存限制可能由运行时转换为 cgroup 设置;排查时应将 inspect 输出与宿主机 cgroup 计数和容器事件对照。
在 Kubernetes 中,应检查 Pod 和容器各自配置的资源请求与限制,并查看 Pod 事件、容器终止原因和运行时用量。requests 主要影响调度和资源保障相关行为,不能当作容器的硬内存上限;内存 limits 才是判断容器能否触及硬边界的重要配置。监控系统中的 working set、RSS 与 cgroup 的 memory.current 统计口径可能不同,不能要求它们数值完全相等。
排除容易混淆的原因
文件缓存占用与回收
文件缓存有助于减少磁盘读取,但缓存可能计入 cgroup 内存。当服务密集读取文件、构建索引或执行批处理时,file 相关统计可能上升。缓存并非一概不可回收,但在限额逼近、回收不及时或仍有较大工作集需求时,cgroup 仍可能承受压力。
判断时看三个方面:memory.current 与上限的距离、memory.stat 中各项的变化,以及 memory.events 是否在同一时段增长。只因 file 较高就执行清理操作,既不能证明根因,也可能让后续读取变慢;应先确认工作负载和回收行为。
swap 不可用或受到单独限制
交换空间是否可用,要看系统整体配置和 cgroup 自身限制。在 cgroup v2 中,memory.swap.max 可限制该组能够使用的交换空间;即使主机配置了 swap,目标 cgroup 也可能被限制为不能使用,或只能使用有限额度。cgroup v1 的内存与交换统计则可能采用不同文件和配置方式。
因此,不能只凭 free -h 显示存在 swap,就认为目标工作负载可以使用它。应同时检查 cgroup 的交换用量和限制,并查看是否有持续交换、延迟升高或内存回收异常。增加 swap 也不等于消除了超限风险:它可能改变故障表现和响应时间,却不能自动解决持续增长或工作集超过边界的问题。
突发峰值、并发和内存泄漏
如果平时 memory.current 稳定,只有流量高峰、定时任务或批处理时接近上限,应将故障时间与请求并发、队列长度、任务数、缓存规模和批次大小对齐。若内存随任务完成而回落,峰值并发或单次任务工作集可能更可疑;若负载恢复后占用仍持续增长,则需分析应用堆、原生内存、缓存策略及长期运行趋势。
可按固定间隔采集目标 cgroup 的 memory.current、memory.events 和应用并发指标。事件计数需要用前后差值判断,而不是把累计总数直接当作新增事件。进程 RSS、应用堆统计和 cgroup 用量应并列观察:若只有某个进程增长,重点查该进程;若多个进程或文件缓存同时增加,则原因可能位于进程组、任务调度或数据访问模式。
网络入口与服务层负载
网络流量本身不会让主机的可用内存自动变成目标进程的专属配额,但请求突增可能提高并发连接、请求缓冲、排队任务或应用缓存占用。部分内核和配置下,网络相关内存也可能出现在 cgroup 的统计中。若故障与流量峰值同时出现,需核对连接数、请求并发、队列长度和服务工作进程数,并与 memory.stat 中适用的网络相关项目对照。
如果网络流量没有明显变化,而内存仍逐步上升,就不应把问题简单归因于网络;应继续检查应用内部缓存、后台任务、子进程和文件访问。反过来,流量确实增加也不意味着一定是网络栈内存导致 OOM,必须找出资源增长与限额事件之间的时间关系。
systemd-oomd 或其他终止机制
某些系统会基于内存压力指标由用户空间组件选择并终止工作负载。此类终止可能发生在内核按硬限制触发 OOM 之前,也可能与内核 cgroup OOM 并非同一事件。若内核日志没有相符的 OOM 记录,而服务仍记录了 SIGKILL、容器退出或服务重启,应查看相应组件和服务管理器在故障时段的日志。
诊断的重点是找到“是谁发出了终止动作、依据是什么”,而不只是确认最终信号。若日志指向压力管理器,应分别检查该机制的配置与压力条件;若日志指向内核 cgroup OOM,则继续追踪触发限额的 cgroup 层级和内存组成。
定位根因:把证据串成可复核的链条
能够较有把握地归因于 cgroup 内存上限,通常需要形成一条完整证据链:

- 被终止进程的身份、所属服务或容器及故障时间已经确定。
- 进程所属的 cgroup 和相关祖先级 cgroup 已定位,至少一个适用层级存在有限内存边界。
- 故障前后 cgroup 用量接近相应限制,或限制相关事件计数出现与故障时间吻合的变化。
- 内核或运行时记录支持 cgroup 内存压力或 OOM,而不是只看到应用退出。
- 用量变化能够由同组进程、匿名内存、文件缓存、内核统计或工作负载峰值解释,或至少能明确指出尚未解释的部分。
例如,某容器配置了 4 GiB 内存上限,宿主机仍有较多 MemAvailable;容器的 memory.current 在请求峰值期间逼近限制,memory.events 的相关计数随之增加,内核日志又记录了该容器 cgroup 内的进程被杀。若这些证据时间吻合,便比“机器内存不够”更准确地指向容器级边界及峰值占用。
相反,如果容器用量距离限制较远,事件计数没有变化,内核日志也没有 cgroup OOM 记录,就要重新检查其他解释:进程是否属于另一个 cgroup,是否有父级服务限制,是否为全局 OOM、用户空间压力管理器、应用自身退出,或监控指标口径不同。证据不闭合时,不应只通过提高内存限制来结束排查。
A5idc数据面向网站、业务后台、数据库、容器及多任务计算场景,提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源。产品覆盖Xeon与AMD EPYC平台,并提供不同内存、NVMe或SSD存储、带宽线路及多IP方案,为需要按工作负载配置主机资源、划分运行边界的业务提供硬件基础。
验证恢复与控制调整风险
定位后先处理负载和容量问题,再决定是否调整限制。若根因是异常增长、并发失控或任务堆积,应优先修复对应行为;若工作集确实稳定高于当前边界,再结合宿主机可用容量、同机其他服务的峰值和故障容忍度评估是否需要扩大额度。提高单个 cgroup 的上限可能减少局部 OOM,却也可能增加宿主机整体内存风险,不能把主机当前可用内存直接全量分配给一个服务。
变更前记录原有服务、容器或编排配置,确认影响对象、变更是否需要重启,以及回退所需的原值和操作流程。通过原有服务管理或编排方式修改,而不是随意改写运行中的控制文件;若变更会重启进程,应先评估连接中断、任务中止和数据一致性影响。回滚时恢复已记录的配置,并验证服务按预期重新运行。
恢复验证至少覆盖以下几项:
- 故障场景或代表性负载下,
memory.current与适用层级的限制之间保有合理余量。 memory.events等计数在观察窗口内没有继续出现与故障相符的增量;应比较窗口前后的差值。- 服务没有新增 OOM 终止,应用日志、容器状态和服务重启次数正常。
- 峰值期间的延迟、吞吐、任务队列和错误率没有因回收、交换或限流出现新的异常。
- 调整上限后,主机整体
MemAvailable、swap 使用和其他关键服务的内存情况仍可接受。
如果使用新的工作负载验证,应让观察窗口包含实际可能出现的高峰;低负载下暂时正常,不足以证明问题已经解决。若更改上限后 OOM 不再出现,但占用仍持续增长,则问题可能只是被推迟,仍需继续查找增长来源。
为复发设置监控点
监控应覆盖主机和工作负载两个层级。主机侧观察 MemAvailable、swap 使用、内存压力和内核 OOM 日志;cgroup 侧观察当前用量、配置上限、与高位控制线的距离、交换使用以及事件计数;服务侧则关注进程数、请求并发、队列长度、缓存规模和重启次数。
告警宜同时考虑绝对用量、相对边界和持续时间。仅在达到上限时告警往往太晚;仅对某个固定内存值告警,又可能无法适配不同规格的工作负载。可按服务的正常基线设置接近上限的预警,并结合持续上升速度判断是否属于短时峰值。事件计数应使用速率或区间增量,而不是只判断累计值是否大于零。
复发时最有价值的记录,是同一时间轴上的 cgroup 用量与限制、事件计数、应用负载、主机压力和终止日志。这样才能区分“主机整体缺内存”“局部控制组先触顶”“应用占用持续增长”以及“其他机制终止进程”,也能确认恢复措施是否真正消除了根因。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9527.html



