美国服务器上的容器设置内存限制后仍被终止,如何判断是否触发OOM

发布人:A5数据发布时间:2026-10-24 16:08阅读量:166

容器设置了内存限制后仍被终止,不能只看“内存使用率接近100%”就认定是 OOM。较有价值的证据通常来自三层:容器运行时是否记录了 OOMKilled、Linux 内核是否记录了 OOM 事件,以及容器所属 cgroup 的 memory.events 是否出现 oom_kill。退出码 137 只能说明进程收到 SIGKILL,可能由 OOM 触发,也可能是人工操作、编排系统或其他进程发送的强制终止。

引言配图

美国服务器与其他地区服务器在这类判断上的机制没有本质区别。需要额外注意的是,服务器面板、系统日志和应用日志可能使用不同的时区,排查时应先统一故障时间,再按“宿主机—容器 cgroup—容器内进程”的顺序确认终止原因。

先确认容器到底因为什么退出

Docker 环境检查运行时记录

以下命令适用于 Docker 管理的容器。先将容器名称或 ID 保存为变量:

CID="your-container-name"

docker inspect --format \
'Status={{.State.Status}}
ExitCode={{.State.ExitCode}}
OOMKilled={{.State.OOMKilled}}
Error={{.State.Error}}
StartedAt={{.State.StartedAt}}
FinishedAt={{.State.FinishedAt}}' "$CID"

重点观察以下字段:

  • OOMKilled=true:Docker 记录到容器内进程因内存 cgroup 触发 OOM 被终止,这是判断容器级 OOM 的强证据。
  • ExitCode=137:表示进程通常收到了 SIGKILL,但不能单独证明是 OOM。
  • ExitCode=143:通常对应 SIGTERM,更接近正常停止、发布替换或编排系统驱逐。
  • Status=exited 但 OOMKilled=false:需要继续检查应用自身、systemd、编排系统和人工操作。

如果容器仍在运行,可以查看当前使用量和限制:

docker stats --no-stream "$CID"

输出中的 MEM USAGE / LIMIT 可以帮助确认容器当前是否接近限制,但它不应作为唯一证据。不同 Docker 版本、运行时和统计方式对缓存的展示可能存在差异,最终应以 cgroup 文件和运行时状态为准。

再查看终止前后的容器日志和 Docker 事件:

docker logs --timestamps --tail 300 "$CID"

docker events \
  --since "2025-01-01T00:00:00Z" \
  --until "2025-01-01T01:00:00Z" \
  --filter "container=$CID"

上面的时间仅为示例,应替换为实际故障时间。若容器使用了日志驱动,docker logs 可能无法提供完整内容;此时要从对应的日志系统或宿主机日志驱动目录获取记录。

Kubernetes 环境检查 Pod 状态

如果容器由 Kubernetes 管理,不要只看 Pod 的 Restart Count。应查看容器上一次终止的原因:

kubectl get pod POD_NAME -n NAMESPACE \
  -o jsonpath='{range .status.containerStatuses[*]}{.name}{"\n"}lastReason={.lastState.terminated.reason}{"\n"}exitCode={.lastState.terminated.exitCode}{"\n"}finishedAt={.lastState.terminated.finishedAt}{"\n\n"}{end}'

重点关注:

  • reason=OOMKilled:Kubernetes 看到容器被内存限制终止。
  • exitCode=137 但 reason 不是 OOMKilled:仍然需要查看节点内核日志和事件。
  • reason=Error:可能是应用自身退出,不等于内核 OOM。
  • reason=Evicted:更可能是节点资源压力导致 Pod 被驱逐,需要检查节点级内存压力。

查看 Pod 事件和资源配置:

kubectl describe pod POD_NAME -n NAMESPACE
kubectl get pod POD_NAME -n NAMESPACE -o yaml

事件中如果出现 OOMKilled、Evicted、Killing 或探针失败,应结合时间戳判断它们是否发生在同一时间。一次发布、探针失败和一次内存峰值可能同时出现,不能仅凭事件顺序下结论。

先用证据区分常见情况

观察结果更可能的含义下一步
OOMKilled=true,cgroup 的 oom_kill 增加容器内存限制被触发检查限制、缓存、进程峰值和并发量
退出码为 137,但 OOMKilled=false收到强制终止信号,原因未确定查内核日志、编排事件和操作审计
内核日志出现 Out of memory 和 Killed process宿主机发生全局 OOM查所有进程和所有容器的占用
应用日志出现 Java heap space、JavaScript heap out of memory 或 MemoryError应用运行时自身内存耗尽调整应用堆、并发或内存分配,不要直接归因于内核 OOM
容器正常退出,退出码为 0 或收到 SIGTERM更像是应用完成退出、发布或优雅停止查部署、定时任务、systemd 和编排控制器

从宿主机开始确认可用内存、缓存和交换

容器限制是一个局部边界,宿主机本身也可能先耗尽内存。先在美国服务器宿主机执行以下低风险检查:

date -Is
date -u -Is
free -h
swapon --show
vmstat 1 5

如何理解 free -h

典型输出可能类似下面的形式,数值仅用于说明判断方法:

               total        used        free      shared  buff/cache   available
Mem:             16Gi        14Gi       180Mi       220Mi        1.8Gi        1.2Gi
Swap:             4Gi       3.6Gi       400Mi

这里不能把 free 列直接当作“还能使用的内存”。Linux 会把空闲内存用于文件缓存,因此:

  • free 很低不一定代表马上 OOM;
  • buff/cache 中的一部分可以回收;
  • available 更适合判断在不明显交换的情况下还能分配多少内存;
  • Swap used 较高说明曾经或正在发生交换,但不等于已经 OOM;
  • 如果 available 持续很低,同时 vmstat 中 si、so 持续有数值,说明系统可能在交换和回收之间反复抖动。

vmstat 1 5 中的 si 和 so 通常以 KiB/s 表示换入和换出速率。短时间出现一次并不一定异常,连续多个采样都有较高数值,则应关注内存压力和响应变慢问题。

查看内存压力指标:

cat /proc/pressure/memory

如果 some avg10 或 full avg10 持续升高,表示进程因为内存资源不足而出现等待。PSI 可以证明系统存在内存压力,但不能单独证明某个容器触发了 OOM。

查看宿主机上的大内存进程

ps -eo pid,ppid,user,%mem,rss,vsz,stat,comm,args \
  --sort=-rss | head -n 20

RSS 是进程当前驻留在物理内存中的部分,通常比 VSZ 更适合用于初步判断实际占用。需要注意:

  • 多个进程可能共享相同的内存页,直接把 RSS 全部相加可能重复计算;
  • 进程 RSS 不包含所有文件缓存和部分内核内存;
  • 容器内多个工作进程、日志进程、监控进程可能共同消耗 cgroup 配额;
  • 宿主机上的数据库、编译任务和备份程序也可能抢占容器所需内存。

查内核是否记录了 OOM

Linux 宿主机通常可以通过 journalctl 查询内核日志:

sudo journalctl -k --since "2025-01-01 00:00:00" \
  --until "2025-01-01 01:00:00" \
  -o short-iso-precise | \
  grep -Ei 'out of memory|oom|killed process|memory cgroup'

部分发行版也可以使用:

sudo dmesg -T | \
  grep -Ei 'out of memory|oom|killed process|memory cgroup'

全局 OOM 常见日志包含 Out of memory、Killed process 等字样,并可能指出被杀死的进程 PID。容器级 OOM 则可能出现 Memory cgroup out of memory 或带有 cgroup 路径的记录。

如果日志只有容器内的 oom_kill,而没有全局 Killed process,更倾向于容器自身达到了 cgroup 上限。如果宿主机日志同时显示多个服务被杀死,或者内存回收失败,则应按宿主机全局 OOM 处理。

没有 root 权限时,容器内通常无法读取完整的宿主机内核日志。此时不要用“没有查到日志”作为否定证据,应保留准确的故障时间、容器 ID、退出码和监控截图,交由具备宿主机权限的管理员或服务器服务商核对。

确认容器的内存限制和 cgroup 计数

先核对 Docker 实际生效的限制

docker inspect --format \
'Memory={{.HostConfig.Memory}}
MemorySwap={{.HostConfig.MemorySwap}}
OomKillDisable={{.HostConfig.OomKillDisable}}' "$CID"

Memory 和 MemorySwap 通常以字节显示。可以使用下面的方式辅助换算:

docker inspect --format \
'Memory={{.HostConfig.Memory}} MemorySwap={{.HostConfig.MemorySwap}}' "$CID" |
awk '{
  for (i = 1; i <= NF; i++) {
    split($i, a, "=")
    if (a[2] ~ /^[0-9]+$/) {
      printf "%s=%s bytes\n", a[1], a[2]
    } else {
      print $i
    }
  }
}'

判断时注意:

  • Memory=0 通常表示没有设置 Docker 层面的内存上限;
  • MemorySwap 表示内存与交换空间的总边界,不只是交换空间大小;
  • 当 MemorySwap 与 Memory 相等时,通常意味着容器不能额外使用交换空间;
  • 具体行为还受到 Docker 版本、cgroup 版本、宿主机交换配置和运行时实现影响;
  • OomKillDisable=true 不是修复方案,可能让进程在内存压力下长时间阻塞,甚至拖累宿主机。

修改限制前应先记录原始配置,并确认服务是否允许重启。若使用 Compose 或 Kubernetes,应修改配置文件并通过原有发布流程变更,而不是只在运行中的容器上临时修改,避免下次重建容器后配置丢失。

cgroup v2 中查看当前使用量和 OOM 计数

多数较新的 Linux 发行版使用 cgroup v2。容器仍在运行时,可以尝试执行:

docker exec "$CID" sh -c '
if [ -r /sys/fs/cgroup/memory.max ]; then
  echo "cgroup=v2"
  for f in memory.current memory.max memory.swap.current memory.swap.max; do
    printf "%s=" "$f"
    cat "/sys/fs/cgroup/$f" 2>/dev/null || echo "unavailable"
  done
  echo "--- memory.events ---"
  cat /sys/fs/cgroup/memory.events 2>/dev/null || true
  echo "--- memory.stat ---"
  grep -E "^(anon|file|shmem|slab|sock)" \
    /sys/fs/cgroup/memory.stat 2>/dev/null || true
else
  echo "cgroup=v2 files not found"
fi
'

主要字段含义如下:

  • memory.current:当前 cgroup 使用的内存,通常包含匿名内存、文件缓存等;
  • memory.max:内存硬上限,显示 max 表示没有设置该层上限;
  • memory.swap.current:当前使用的交换空间;
  • memory.swap.max:该 cgroup 的交换空间上限;
  • memory.events 中的 oom:cgroup 内发生过 OOM 相关分配失败;
  • memory.events 中的 oom_kill:cgroup 内有进程被 OOM 机制终止;
  • memory.stat 中的 anon:匿名内存,通常与堆、栈和部分运行时分配有关;
  • memory.stat 中的 file:文件页缓存等文件相关内存。

memory.events 是累计计数。容器重建后计数可能从零开始,因此需要在复测前记录一次基线,再比较复测后的增量。

如果看到类似下面的示例结果:

确认容器的内存限制和 cgroup 计数配图

memory.current=1048576000
memory.max=1073741824
memory.swap.current=0
memory.swap.max=0
oom=3
oom_kill=1

这说明当前使用量接近 1 GiB 上限,且至少发生过一次 cgroup OOM 终止。这里的数值是示例,不代表某台实际服务器的结果。

cgroup v1 的兼容检查

旧版发行版或部分运行环境仍可能使用 cgroup v1:

docker exec "$CID" sh -c '
if [ -r /sys/fs/cgroup/memory/memory.limit_in_bytes ]; then
  echo "cgroup=v1"
  for f in memory.usage_in_bytes memory.limit_in_bytes memory.memsw.usage_in_bytes memory.memsw.limit_in_bytes memory.failcnt; do
    printf "%s=" "$f"
    cat "/sys/fs/cgroup/memory/$f" 2>/dev/null || echo "unavailable"
  done
  echo "--- memory.oom_control ---"
  cat /sys/fs/cgroup/memory/memory.oom_control 2>/dev/null || true
else
  echo "cgroup=v1 memory files not found"
fi
'

memory.failcnt 表示内存计费或限制失败的累计次数,但它本身不等同于“已经杀死了进程”。还需要结合 memory.oom_control、Docker 的 OOMKilled 字段和宿主机内核日志共同判断。

如果容器已经退出,docker exec 无法执行。此时优先使用 docker inspect、docker logs、Docker 事件和宿主机内核日志;不要为了读取 cgroup 文件而强行启动原容器并覆盖现场。

区分缓存、交换和真正的进程占用

缓存高不等于应用泄漏

容器的 cgroup 使用量可能由匿名内存和文件缓存共同组成。应用频繁读取文件、数据库使用文件映射、日志写入量较大时,file 或 cache 可能上升。

缓存通常具有可回收性,但它仍可能在内存限制计算中占据 cgroup 配额。当系统无法及时回收缓存,或者匿名内存持续增长时,cgroup 可能达到上限。因此正确的判断不是“缓存可以回收,所以不用管”,也不是“缓存占用就是应用泄漏”,而是比较:

  1. anon 是否持续增长;
  2. file 是否在压力出现时明显增加;
  3. memory.current 是否达到 memory.max;
  4. oom_kill 是否在故障时增加;
  5. 容器内是否存在持续增长的文件、日志或 mmap 区域。

交换空间只能缓冲压力

交换空间可以延缓部分匿名内存的 OOM,但不能替代足够的物理内存。交换使用量持续升高时,常见表现是响应时间变长、磁盘 I/O 增加和进程频繁等待。

如果宿主机的 swapon --show 没有输出,说明宿主机没有启用交换空间;如果 Docker 或 Kubernetes 的 cgroup 交换上限为零,容器即使看到宿主机有交换空间,也不一定能够使用。

不要为了避免退出而盲目启用大量交换,也不要直接关闭 OOM 机制。应先确认业务是否允许交换带来的延迟,再根据宿主机内存、磁盘类型和服务特征设置合理边界。

检查容器内具体进程

容器运行中时,可以先查看容器进程:

docker top "$CID" -eo pid,ppid,user,%cpu,%mem,rss,vsz,stat,comm,args

也可以在容器内查看进程排序:

docker exec "$CID" sh -c \
'ps -eo pid,ppid,user,%mem,rss,vsz,stat,comm,args --sort=-rss | head -n 20'

如果基础镜像没有 ps,可以使用宿主机的 docker top,或检查 /proc:

docker exec "$CID" sh -c '
for p in /proc/[0-9]*; do
  [ -r "$p/status" ] || continue
  pid=${p##*/}
  name=$(awk -F: "/^Name:/ {gsub(/^[ \t]+/, \"\", \$2); print \$2}" "$p/status")
  rss=$(awk "/^VmRSS:/ {print \$2, \$3}" "$p/status")
  printf "pid=%s name=%s rss=%s\n" "$pid" "$name" "$rss"
done
'

进程层面重点观察:

  • 工作进程数量是否在故障前增加;
  • 单个进程 RSS 是否持续增长;
  • 请求并发升高时,线程、连接池或任务队列是否没有上限;
  • JVM、Node.js、Python 等运行时是否自身触发堆上限;
  • 日志、缓存、临时文件或大文件映射是否造成额外内存占用。

进程 RSS 的总和不一定等于 cgroup 使用量,因为共享页、文件缓存、内核内存和网络缓冲区的统计口径不同。因此,进程列表适合定位“谁在增长”,cgroup 指标适合判断“容器是否达到边界”。

按结果分支处理

分支一:确认是容器 cgroup OOM

满足以下条件时,可以将问题归类为容器内存限制触发:

  • Docker OOMKilled=true,或 Kubernetes reason=OOMKilled;
  • memory.events 的 oom_kill 在故障后增加;
  • memory.current 接近或达到 memory.max;
  • 宿主机日志没有显示全局内存耗尽。

修复方向应根据进程占用类型选择:

  • 应用泄漏:分析堆、对象、连接、缓存和文件句柄,先修复持续增长点;
  • 突发峰值:限制并发、队列长度、批处理大小和工作进程数;
  • 运行时堆配置过大:给 JVM、Node.js 等运行时预留非堆内存,不要把整个容器限制都分配给堆;
  • 容器限制过小:在宿主机仍有足够 available 内存的前提下提高上限;
  • 多容器争抢:重新分配各服务额度,并为宿主机系统、日志和监控预留空间。

例如,一个示例服务的测量结果为:基础占用约 420 MiB,4 个工作进程各约 120 MiB,文件缓存约 150 MiB,则峰值估算为:

420 + 4 × 120 + 150 = 1050 MiB

如果按 20% 的运行余量估算:

1050 × 1.2 = 1260 MiB

这种情况下,1.5 GiB 可能比 1 GiB 更有余量,但最终仍需结合宿主机总内存、同机其他服务和实际峰值验证。该计算只是容量规划示例,不是对所有服务的固定配置。

分支二:确认是宿主机全局 OOM

如果内核日志出现全局 Out of memory,同时多个服务或多个容器受到影响,而目标容器的 cgroup oom_kill 没有对应增长,则问题可能发生在宿主机层面。

处理顺序应是:

  1. 列出宿主机上所有容器和服务的内存占用;
  2. 找出异常增长或无上限的任务;
  3. 检查宿主机总内存是否与当前容器规模匹配;
  4. 在维护窗口内优雅停止非关键任务,避免直接强制杀进程;
  5. 必要时扩容实例或重新规划服务分布。

停止业务容器前应确认数据已经持久化、连接能够迁移,并记录原始状态。不要直接执行删除容器、删除卷或清理日志等不可逆操作;这些动作与 OOM 判断没有直接关系,且可能造成数据丢失。

分支三:是应用运行时自身报错

以下日志并不等于 Linux 内核 OOM:

  • JVM 的 java.lang.OutOfMemoryError;
  • Node.js 的 JavaScript heap out of memory;
  • Python 的 MemoryError;
  • 应用框架自定义的内存保护退出。

此类场景可能在容器还有剩余 cgroup 内存时发生。应检查运行时堆上限、垃圾回收、对象数量和应用日志。直接增大容器限制可能只能推迟故障,不能解决应用堆或业务并发问题。

分支四:是外部终止或编排动作

如果退出码为 137,但没有 OOMKilled、没有 cgroup oom_kill,也没有内核 OOM 日志,应检查:

  • 是否有人执行过 docker kill 或类似强制操作;
  • systemd、发布脚本或定时任务是否重启容器;
  • Kubernetes 是否因为探针失败、节点压力或发布替换而终止 Pod;
  • 服务器是否发生重启、迁移或维护;
  • 容器运行时是否发生异常。

这一分支尤其需要依赖审计日志、编排事件和时间戳。不要因为看到 137 就跳过外部操作记录。

A5数据提供不同档位的美国物理服务器,涵盖常规 Xeon 和 AMD EPYC 平台,以及不同的内存与 NVMe 存储配置,可作为网站、接口服务和数据库容器化部署的宿主机资源基础。对于多容器并行运行、内存需求随业务变化的场景,这些配置为容器配额和同机服务的资源分布提供了选择空间。

调整配置后如何验证

Docker Compose 配置示例

如果确定需要提高容器上限,应在 Compose 文件中保留配置,例如:

services:
  app:
    image: example/app:stable
    mem_limit: 1536m
    memswap_limit: 1536m

这里的示例表示容器内存和内存加交换的总边界都设置为 1536 MiB,通常意味着不允许额外使用交换空间。实际值应根据应用峰值、宿主机可用内存和同机服务总量确定。

修改前应保存原配置,并确认部署动作是否会重启服务。若新限制导致容器启动失败,应按照已保存的原配置恢复,而不是直接删除容器。恢复后还要再次检查 docker inspect,确认回滚配置确实生效。

Kubernetes 资源配置示例

resources:
  requests:
    memory: "512Mi"
  limits:
    memory: "1536Mi"

requests.memory 主要影响调度和资源预留,limits.memory 是容器可使用的上限。两者不能混为一谈:提高 limit 不一定意味着节点当前有足够内存,提高 request 也可能导致 Pod 无法调度。

调整后重新获取 Pod 状态:

kubectl get pod POD_NAME -n NAMESPACE -w

确认新 Pod 已经处于 Running 且就绪探针通过,再观察是否出现新的 OOMKilled 或节点内存压力事件。

复测并持续观察

复测时不要只等待“容器没有立刻退出”。至少应覆盖一次可能触发峰值的业务操作,并记录以下数据:

for i in $(seq 1 12); do
  date -Is
  docker stats --no-stream \
    --format 'name={{.Name}} mem={{.MemUsage}} mem_pct={{.MemPerc}}'
  sleep 5
done

如果容器支持执行命令,可同时记录 cgroup 指标:

docker exec "$CID" sh -c '
printf "time="; date -Is
printf "current="; cat /sys/fs/cgroup/memory.current 2>/dev/null || true
printf "max="; cat /sys/fs/cgroup/memory.max 2>/dev/null || true
printf "swap_current="; cat /sys/fs/cgroup/memory.swap.current 2>/dev/null || true
cat /sys/fs/cgroup/memory.events 2>/dev/null || true
'

修复有效通常应同时满足:

复测并持续观察配图

  • 容器不再频繁重启;
  • memory.current 的峰值与 memory.max 之间保留合理余量;
  • memory.events 的 oom_kill 在复测期间不再增加;
  • 宿主机 available 没有持续下降;
  • vmstat 中没有持续的高强度换入换出;
  • 应用自身没有新的堆耗尽日志;
  • 工作进程数量、队列长度和请求延迟保持在预期范围内。

持续监控时,建议同时设置容器内存使用率、宿主机可用内存、交换活动、OOM 事件计数、进程 RSS 和容器重启次数等指标。内存达到 70%、85% 和 95% 时可以分级告警,但阈值应结合业务峰值和缓存特征调整。真正需要优先处理的不是某一次短暂峰值,而是接近上限后持续不回落、OOM 计数增长或应用重启形成循环。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5574.html

相关推荐