美国服务器上的容器设置内存限制后仍被终止,如何判断是否触发OOM
容器设置了内存限制后仍被终止,不能只看“内存使用率接近100%”就认定是 OOM。较有价值的证据通常来自三层:容器运行时是否记录了 OOMKilled、Linux 内核是否记录了 OOM 事件,以及容器所属 cgroup 的 memory.events 是否出现 oom_kill。退出码 137 只能说明进程收到 SIGKILL,可能由 OOM 触发,也可能是人工操作、编排系统或其他进程发送的强制终止。

美国服务器与其他地区服务器在这类判断上的机制没有本质区别。需要额外注意的是,服务器面板、系统日志和应用日志可能使用不同的时区,排查时应先统一故障时间,再按“宿主机—容器 cgroup—容器内进程”的顺序确认终止原因。
先确认容器到底因为什么退出
Docker 环境检查运行时记录
以下命令适用于 Docker 管理的容器。先将容器名称或 ID 保存为变量:
CID="your-container-name"
docker inspect --format \
'Status={{.State.Status}}
ExitCode={{.State.ExitCode}}
OOMKilled={{.State.OOMKilled}}
Error={{.State.Error}}
StartedAt={{.State.StartedAt}}
FinishedAt={{.State.FinishedAt}}' "$CID"
重点观察以下字段:
OOMKilled=true:Docker 记录到容器内进程因内存 cgroup 触发 OOM 被终止,这是判断容器级 OOM 的强证据。ExitCode=137:表示进程通常收到了SIGKILL,但不能单独证明是 OOM。ExitCode=143:通常对应SIGTERM,更接近正常停止、发布替换或编排系统驱逐。Status=exited但OOMKilled=false:需要继续检查应用自身、systemd、编排系统和人工操作。
如果容器仍在运行,可以查看当前使用量和限制:
docker stats --no-stream "$CID"
输出中的 MEM USAGE / LIMIT 可以帮助确认容器当前是否接近限制,但它不应作为唯一证据。不同 Docker 版本、运行时和统计方式对缓存的展示可能存在差异,最终应以 cgroup 文件和运行时状态为准。
再查看终止前后的容器日志和 Docker 事件:
docker logs --timestamps --tail 300 "$CID"
docker events \
--since "2025-01-01T00:00:00Z" \
--until "2025-01-01T01:00:00Z" \
--filter "container=$CID"
上面的时间仅为示例,应替换为实际故障时间。若容器使用了日志驱动,docker logs 可能无法提供完整内容;此时要从对应的日志系统或宿主机日志驱动目录获取记录。
Kubernetes 环境检查 Pod 状态
如果容器由 Kubernetes 管理,不要只看 Pod 的 Restart Count。应查看容器上一次终止的原因:
kubectl get pod POD_NAME -n NAMESPACE \
-o jsonpath='{range .status.containerStatuses[*]}{.name}{"\n"}lastReason={.lastState.terminated.reason}{"\n"}exitCode={.lastState.terminated.exitCode}{"\n"}finishedAt={.lastState.terminated.finishedAt}{"\n\n"}{end}'
重点关注:
reason=OOMKilled:Kubernetes 看到容器被内存限制终止。exitCode=137但reason不是OOMKilled:仍然需要查看节点内核日志和事件。reason=Error:可能是应用自身退出,不等于内核 OOM。reason=Evicted:更可能是节点资源压力导致 Pod 被驱逐,需要检查节点级内存压力。
查看 Pod 事件和资源配置:
kubectl describe pod POD_NAME -n NAMESPACE
kubectl get pod POD_NAME -n NAMESPACE -o yaml
事件中如果出现 OOMKilled、Evicted、Killing 或探针失败,应结合时间戳判断它们是否发生在同一时间。一次发布、探针失败和一次内存峰值可能同时出现,不能仅凭事件顺序下结论。
先用证据区分常见情况
| 观察结果 | 更可能的含义 | 下一步 |
|---|---|---|
OOMKilled=true,cgroup 的 oom_kill 增加 | 容器内存限制被触发 | 检查限制、缓存、进程峰值和并发量 |
退出码为 137,但 OOMKilled=false | 收到强制终止信号,原因未确定 | 查内核日志、编排事件和操作审计 |
内核日志出现 Out of memory 和 Killed process | 宿主机发生全局 OOM | 查所有进程和所有容器的占用 |
应用日志出现 Java heap space、JavaScript heap out of memory 或 MemoryError | 应用运行时自身内存耗尽 | 调整应用堆、并发或内存分配,不要直接归因于内核 OOM |
容器正常退出,退出码为 0 或收到 SIGTERM | 更像是应用完成退出、发布或优雅停止 | 查部署、定时任务、systemd 和编排控制器 |
从宿主机开始确认可用内存、缓存和交换
容器限制是一个局部边界,宿主机本身也可能先耗尽内存。先在美国服务器宿主机执行以下低风险检查:
date -Is
date -u -Is
free -h
swapon --show
vmstat 1 5
如何理解 free -h
典型输出可能类似下面的形式,数值仅用于说明判断方法:
total used free shared buff/cache available
Mem: 16Gi 14Gi 180Mi 220Mi 1.8Gi 1.2Gi
Swap: 4Gi 3.6Gi 400Mi
这里不能把 free 列直接当作“还能使用的内存”。Linux 会把空闲内存用于文件缓存,因此:
free很低不一定代表马上 OOM;buff/cache中的一部分可以回收;available更适合判断在不明显交换的情况下还能分配多少内存;Swap used较高说明曾经或正在发生交换,但不等于已经 OOM;- 如果
available持续很低,同时vmstat中si、so持续有数值,说明系统可能在交换和回收之间反复抖动。
vmstat 1 5 中的 si 和 so 通常以 KiB/s 表示换入和换出速率。短时间出现一次并不一定异常,连续多个采样都有较高数值,则应关注内存压力和响应变慢问题。
查看内存压力指标:
cat /proc/pressure/memory
如果 some avg10 或 full avg10 持续升高,表示进程因为内存资源不足而出现等待。PSI 可以证明系统存在内存压力,但不能单独证明某个容器触发了 OOM。
查看宿主机上的大内存进程
ps -eo pid,ppid,user,%mem,rss,vsz,stat,comm,args \
--sort=-rss | head -n 20
RSS 是进程当前驻留在物理内存中的部分,通常比 VSZ 更适合用于初步判断实际占用。需要注意:
- 多个进程可能共享相同的内存页,直接把 RSS 全部相加可能重复计算;
- 进程 RSS 不包含所有文件缓存和部分内核内存;
- 容器内多个工作进程、日志进程、监控进程可能共同消耗 cgroup 配额;
- 宿主机上的数据库、编译任务和备份程序也可能抢占容器所需内存。
查内核是否记录了 OOM
Linux 宿主机通常可以通过 journalctl 查询内核日志:
sudo journalctl -k --since "2025-01-01 00:00:00" \
--until "2025-01-01 01:00:00" \
-o short-iso-precise | \
grep -Ei 'out of memory|oom|killed process|memory cgroup'
部分发行版也可以使用:
sudo dmesg -T | \
grep -Ei 'out of memory|oom|killed process|memory cgroup'
全局 OOM 常见日志包含 Out of memory、Killed process 等字样,并可能指出被杀死的进程 PID。容器级 OOM 则可能出现 Memory cgroup out of memory 或带有 cgroup 路径的记录。
如果日志只有容器内的 oom_kill,而没有全局 Killed process,更倾向于容器自身达到了 cgroup 上限。如果宿主机日志同时显示多个服务被杀死,或者内存回收失败,则应按宿主机全局 OOM 处理。
没有 root 权限时,容器内通常无法读取完整的宿主机内核日志。此时不要用“没有查到日志”作为否定证据,应保留准确的故障时间、容器 ID、退出码和监控截图,交由具备宿主机权限的管理员或服务器服务商核对。
确认容器的内存限制和 cgroup 计数
先核对 Docker 实际生效的限制
docker inspect --format \
'Memory={{.HostConfig.Memory}}
MemorySwap={{.HostConfig.MemorySwap}}
OomKillDisable={{.HostConfig.OomKillDisable}}' "$CID"
Memory 和 MemorySwap 通常以字节显示。可以使用下面的方式辅助换算:
docker inspect --format \
'Memory={{.HostConfig.Memory}} MemorySwap={{.HostConfig.MemorySwap}}' "$CID" |
awk '{
for (i = 1; i <= NF; i++) {
split($i, a, "=")
if (a[2] ~ /^[0-9]+$/) {
printf "%s=%s bytes\n", a[1], a[2]
} else {
print $i
}
}
}'
判断时注意:
Memory=0通常表示没有设置 Docker 层面的内存上限;MemorySwap表示内存与交换空间的总边界,不只是交换空间大小;- 当
MemorySwap与Memory相等时,通常意味着容器不能额外使用交换空间; - 具体行为还受到 Docker 版本、cgroup 版本、宿主机交换配置和运行时实现影响;
OomKillDisable=true不是修复方案,可能让进程在内存压力下长时间阻塞,甚至拖累宿主机。
修改限制前应先记录原始配置,并确认服务是否允许重启。若使用 Compose 或 Kubernetes,应修改配置文件并通过原有发布流程变更,而不是只在运行中的容器上临时修改,避免下次重建容器后配置丢失。
cgroup v2 中查看当前使用量和 OOM 计数
多数较新的 Linux 发行版使用 cgroup v2。容器仍在运行时,可以尝试执行:
docker exec "$CID" sh -c '
if [ -r /sys/fs/cgroup/memory.max ]; then
echo "cgroup=v2"
for f in memory.current memory.max memory.swap.current memory.swap.max; do
printf "%s=" "$f"
cat "/sys/fs/cgroup/$f" 2>/dev/null || echo "unavailable"
done
echo "--- memory.events ---"
cat /sys/fs/cgroup/memory.events 2>/dev/null || true
echo "--- memory.stat ---"
grep -E "^(anon|file|shmem|slab|sock)" \
/sys/fs/cgroup/memory.stat 2>/dev/null || true
else
echo "cgroup=v2 files not found"
fi
'
主要字段含义如下:
memory.current:当前 cgroup 使用的内存,通常包含匿名内存、文件缓存等;memory.max:内存硬上限,显示max表示没有设置该层上限;memory.swap.current:当前使用的交换空间;memory.swap.max:该 cgroup 的交换空间上限;memory.events中的oom:cgroup 内发生过 OOM 相关分配失败;memory.events中的oom_kill:cgroup 内有进程被 OOM 机制终止;memory.stat中的anon:匿名内存,通常与堆、栈和部分运行时分配有关;memory.stat中的file:文件页缓存等文件相关内存。
memory.events 是累计计数。容器重建后计数可能从零开始,因此需要在复测前记录一次基线,再比较复测后的增量。
如果看到类似下面的示例结果:

memory.current=1048576000
memory.max=1073741824
memory.swap.current=0
memory.swap.max=0
oom=3
oom_kill=1
这说明当前使用量接近 1 GiB 上限,且至少发生过一次 cgroup OOM 终止。这里的数值是示例,不代表某台实际服务器的结果。
cgroup v1 的兼容检查
旧版发行版或部分运行环境仍可能使用 cgroup v1:
docker exec "$CID" sh -c '
if [ -r /sys/fs/cgroup/memory/memory.limit_in_bytes ]; then
echo "cgroup=v1"
for f in memory.usage_in_bytes memory.limit_in_bytes memory.memsw.usage_in_bytes memory.memsw.limit_in_bytes memory.failcnt; do
printf "%s=" "$f"
cat "/sys/fs/cgroup/memory/$f" 2>/dev/null || echo "unavailable"
done
echo "--- memory.oom_control ---"
cat /sys/fs/cgroup/memory/memory.oom_control 2>/dev/null || true
else
echo "cgroup=v1 memory files not found"
fi
'
memory.failcnt 表示内存计费或限制失败的累计次数,但它本身不等同于“已经杀死了进程”。还需要结合 memory.oom_control、Docker 的 OOMKilled 字段和宿主机内核日志共同判断。
如果容器已经退出,docker exec 无法执行。此时优先使用 docker inspect、docker logs、Docker 事件和宿主机内核日志;不要为了读取 cgroup 文件而强行启动原容器并覆盖现场。
区分缓存、交换和真正的进程占用
缓存高不等于应用泄漏
容器的 cgroup 使用量可能由匿名内存和文件缓存共同组成。应用频繁读取文件、数据库使用文件映射、日志写入量较大时,file 或 cache 可能上升。
缓存通常具有可回收性,但它仍可能在内存限制计算中占据 cgroup 配额。当系统无法及时回收缓存,或者匿名内存持续增长时,cgroup 可能达到上限。因此正确的判断不是“缓存可以回收,所以不用管”,也不是“缓存占用就是应用泄漏”,而是比较:
anon是否持续增长;file是否在压力出现时明显增加;memory.current是否达到memory.max;oom_kill是否在故障时增加;- 容器内是否存在持续增长的文件、日志或 mmap 区域。
交换空间只能缓冲压力
交换空间可以延缓部分匿名内存的 OOM,但不能替代足够的物理内存。交换使用量持续升高时,常见表现是响应时间变长、磁盘 I/O 增加和进程频繁等待。
如果宿主机的 swapon --show 没有输出,说明宿主机没有启用交换空间;如果 Docker 或 Kubernetes 的 cgroup 交换上限为零,容器即使看到宿主机有交换空间,也不一定能够使用。
不要为了避免退出而盲目启用大量交换,也不要直接关闭 OOM 机制。应先确认业务是否允许交换带来的延迟,再根据宿主机内存、磁盘类型和服务特征设置合理边界。
检查容器内具体进程
容器运行中时,可以先查看容器进程:
docker top "$CID" -eo pid,ppid,user,%cpu,%mem,rss,vsz,stat,comm,args
也可以在容器内查看进程排序:
docker exec "$CID" sh -c \
'ps -eo pid,ppid,user,%mem,rss,vsz,stat,comm,args --sort=-rss | head -n 20'
如果基础镜像没有 ps,可以使用宿主机的 docker top,或检查 /proc:
docker exec "$CID" sh -c '
for p in /proc/[0-9]*; do
[ -r "$p/status" ] || continue
pid=${p##*/}
name=$(awk -F: "/^Name:/ {gsub(/^[ \t]+/, \"\", \$2); print \$2}" "$p/status")
rss=$(awk "/^VmRSS:/ {print \$2, \$3}" "$p/status")
printf "pid=%s name=%s rss=%s\n" "$pid" "$name" "$rss"
done
'
进程层面重点观察:
- 工作进程数量是否在故障前增加;
- 单个进程 RSS 是否持续增长;
- 请求并发升高时,线程、连接池或任务队列是否没有上限;
- JVM、Node.js、Python 等运行时是否自身触发堆上限;
- 日志、缓存、临时文件或大文件映射是否造成额外内存占用。
进程 RSS 的总和不一定等于 cgroup 使用量,因为共享页、文件缓存、内核内存和网络缓冲区的统计口径不同。因此,进程列表适合定位“谁在增长”,cgroup 指标适合判断“容器是否达到边界”。
按结果分支处理
分支一:确认是容器 cgroup OOM
满足以下条件时,可以将问题归类为容器内存限制触发:
- Docker
OOMKilled=true,或 Kubernetesreason=OOMKilled; memory.events的oom_kill在故障后增加;memory.current接近或达到memory.max;- 宿主机日志没有显示全局内存耗尽。
修复方向应根据进程占用类型选择:
- 应用泄漏:分析堆、对象、连接、缓存和文件句柄,先修复持续增长点;
- 突发峰值:限制并发、队列长度、批处理大小和工作进程数;
- 运行时堆配置过大:给 JVM、Node.js 等运行时预留非堆内存,不要把整个容器限制都分配给堆;
- 容器限制过小:在宿主机仍有足够
available内存的前提下提高上限; - 多容器争抢:重新分配各服务额度,并为宿主机系统、日志和监控预留空间。
例如,一个示例服务的测量结果为:基础占用约 420 MiB,4 个工作进程各约 120 MiB,文件缓存约 150 MiB,则峰值估算为:
420 + 4 × 120 + 150 = 1050 MiB
如果按 20% 的运行余量估算:
1050 × 1.2 = 1260 MiB
这种情况下,1.5 GiB 可能比 1 GiB 更有余量,但最终仍需结合宿主机总内存、同机其他服务和实际峰值验证。该计算只是容量规划示例,不是对所有服务的固定配置。
分支二:确认是宿主机全局 OOM
如果内核日志出现全局 Out of memory,同时多个服务或多个容器受到影响,而目标容器的 cgroup oom_kill 没有对应增长,则问题可能发生在宿主机层面。
处理顺序应是:
- 列出宿主机上所有容器和服务的内存占用;
- 找出异常增长或无上限的任务;
- 检查宿主机总内存是否与当前容器规模匹配;
- 在维护窗口内优雅停止非关键任务,避免直接强制杀进程;
- 必要时扩容实例或重新规划服务分布。
停止业务容器前应确认数据已经持久化、连接能够迁移,并记录原始状态。不要直接执行删除容器、删除卷或清理日志等不可逆操作;这些动作与 OOM 判断没有直接关系,且可能造成数据丢失。
分支三:是应用运行时自身报错
以下日志并不等于 Linux 内核 OOM:
- JVM 的
java.lang.OutOfMemoryError; - Node.js 的
JavaScript heap out of memory; - Python 的
MemoryError; - 应用框架自定义的内存保护退出。
此类场景可能在容器还有剩余 cgroup 内存时发生。应检查运行时堆上限、垃圾回收、对象数量和应用日志。直接增大容器限制可能只能推迟故障,不能解决应用堆或业务并发问题。
分支四:是外部终止或编排动作
如果退出码为 137,但没有 OOMKilled、没有 cgroup oom_kill,也没有内核 OOM 日志,应检查:
- 是否有人执行过
docker kill或类似强制操作; - systemd、发布脚本或定时任务是否重启容器;
- Kubernetes 是否因为探针失败、节点压力或发布替换而终止 Pod;
- 服务器是否发生重启、迁移或维护;
- 容器运行时是否发生异常。
这一分支尤其需要依赖审计日志、编排事件和时间戳。不要因为看到 137 就跳过外部操作记录。
A5数据提供不同档位的美国物理服务器,涵盖常规 Xeon 和 AMD EPYC 平台,以及不同的内存与 NVMe 存储配置,可作为网站、接口服务和数据库容器化部署的宿主机资源基础。对于多容器并行运行、内存需求随业务变化的场景,这些配置为容器配额和同机服务的资源分布提供了选择空间。
调整配置后如何验证
Docker Compose 配置示例
如果确定需要提高容器上限,应在 Compose 文件中保留配置,例如:
services:
app:
image: example/app:stable
mem_limit: 1536m
memswap_limit: 1536m
这里的示例表示容器内存和内存加交换的总边界都设置为 1536 MiB,通常意味着不允许额外使用交换空间。实际值应根据应用峰值、宿主机可用内存和同机服务总量确定。
修改前应保存原配置,并确认部署动作是否会重启服务。若新限制导致容器启动失败,应按照已保存的原配置恢复,而不是直接删除容器。恢复后还要再次检查 docker inspect,确认回滚配置确实生效。
Kubernetes 资源配置示例
resources:
requests:
memory: "512Mi"
limits:
memory: "1536Mi"
requests.memory 主要影响调度和资源预留,limits.memory 是容器可使用的上限。两者不能混为一谈:提高 limit 不一定意味着节点当前有足够内存,提高 request 也可能导致 Pod 无法调度。
调整后重新获取 Pod 状态:
kubectl get pod POD_NAME -n NAMESPACE -w
确认新 Pod 已经处于 Running 且就绪探针通过,再观察是否出现新的 OOMKilled 或节点内存压力事件。
复测并持续观察
复测时不要只等待“容器没有立刻退出”。至少应覆盖一次可能触发峰值的业务操作,并记录以下数据:
for i in $(seq 1 12); do
date -Is
docker stats --no-stream \
--format 'name={{.Name}} mem={{.MemUsage}} mem_pct={{.MemPerc}}'
sleep 5
done
如果容器支持执行命令,可同时记录 cgroup 指标:
docker exec "$CID" sh -c '
printf "time="; date -Is
printf "current="; cat /sys/fs/cgroup/memory.current 2>/dev/null || true
printf "max="; cat /sys/fs/cgroup/memory.max 2>/dev/null || true
printf "swap_current="; cat /sys/fs/cgroup/memory.swap.current 2>/dev/null || true
cat /sys/fs/cgroup/memory.events 2>/dev/null || true
'
修复有效通常应同时满足:

- 容器不再频繁重启;
memory.current的峰值与memory.max之间保留合理余量;memory.events的oom_kill在复测期间不再增加;- 宿主机
available没有持续下降; vmstat中没有持续的高强度换入换出;- 应用自身没有新的堆耗尽日志;
- 工作进程数量、队列长度和请求延迟保持在预期范围内。
持续监控时,建议同时设置容器内存使用率、宿主机可用内存、交换活动、OOM 事件计数、进程 RSS 和容器重启次数等指标。内存达到 70%、85% 和 95% 时可以分级告警,但阈值应结合业务峰值和缓存特征调整。真正需要优先处理的不是某一次短暂峰值,而是接近上限后持续不回落、OOM 计数增长或应用重启形成循环。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5574.html



