宿主机内存紧张时,如何理解Linux容器内存统计口径的差异?

发布人:A5数据发布时间:2026-11-16 10:33阅读量:15

只看宿主机的 free、容器平台的内存百分比或某个进程的 RSS,都可能把不同问题混为一谈:宿主机还有空闲内存,不代表容器没有触及自身限制;容器内存数字升高,也不必然意味着应用进程发生泄漏。排查时要先确认每个指标统计的对象与口径,再把 cgroup 用量、进程占用、缓存、交换、内存压力和业务表现放进同一时间窗口比较。

Linux 容器的内存统计通常围绕 cgroup 展开,但不同 cgroup 版本、运行时和监控平台展示的值并不完全相同。判断是否有风险,既要看“用了多少”,也要看用量由什么构成、是否发生回收或交换,以及延迟、错误率和 I/O 是否同时变化。

先区分统计对象和口径

容器的内存限制通常由 cgroup 控制。它回答的是“这个控制组及其子组当前被记账的内存是多少”,并不等同于容器内所有进程 RSS 的简单相加。文件缓存、共享内存以及部分内核内存也可能计入控制组用量。

先区分统计对象和口径配图

观察对象常见指标能说明什么不宜直接得出的结论
宿主机MemAvailable、Swap 使用量、内存 PSI整台机器的可用内存和整体压力不能单独说明某个容器还剩多少限额
cgroup v2memory.current、memory.max、memory.stat控制组当前用量、上限及部分组成memory.current 不等于进程 RSS 总和
cgroup v1memory.usage_in_bytes、memory.limit_in_bytes、memory.stat控制组用量、限制及统计项不应直接拿 v1 与 v2 的字段逐项比较
进程RSS、PSS、smaps_rollup单个进程映射到物理内存的情况多进程 RSS 相加会重复计算共享页
容器平台面板用量、docker stats、kubectl top平台按自身口径整理后的视图展示值可能经过缓存扣减或采样处理

宿主机上,free 的 available 一般比 free 列更适合判断整体可用内存,因为它会估算部分可回收缓存。但宿主机可用内存充足,不代表容器没有接近自己的 cgroup 限额;反过来,单个容器达到限制,也不表示整台主机已经耗尽内存。

容器内执行 free 或查看 /proc/meminfo 时,还要确认这些数据是否反映宿主机视角。不同内核、容器运行时和隔离配置下,容器中看到的总内存信息可能与 cgroup 限制并不一致。评估容器余量时,应优先读取目标控制组的限制与用量,而不是只依赖容器内的 MemTotal。

cgroup v2 与 v1 的关键区别

在 cgroup v2 中,常见文件包括:

  • memory.current:当前控制组及其后代的记账用量。
  • memory.max:硬限制;显示 max 时表示未设置该项硬上限。
  • memory.high:高水位控制。用量越过该值时,内核可能施加回收压力或节流,不等于进程已被 OOM 杀死。
  • memory.stat:用量构成,例如 anon、file、kernel、sock、slab、shmem 等。
  • memory.swap.current、memory.swap.max:分别表示交换区用量和交换区限制,具体可用性受内核与配置影响。
  • memory.events:记录与 high、max、oom、oom_kill 等相关的事件计数。
  • memory.pressure:在支持的环境中提供该控制组的内存 PSI 信息。

memory.stat 中的字段不是一组可以随意相加的互斥分项。例如 shmem 是文件类统计中的细分项之一,不能在把 file 计入后再把 shmem 重复相加。读取字段时应将其作为构成线索,而不是把所有行累加后与 memory.current 对账。

cgroup v1 常见的字段包括 memory.usage_in_bytes、memory.limit_in_bytes、memory.stat 和 memory.failcnt。其中 memory.usage_in_bytes 可能因内核记账方式出现近似性。若启用了相应交换记账,还可能看到 memory.memsw.usage_in_bytes,它表示内存与交换区的组合用量,不应当作纯物理内存使用量。

先确认系统挂载的是哪一类 cgroup,再读取对应字段:

findmnt -t cgroup,cgroup2
cat /proc/self/cgroup

在常见的 cgroup v2 挂载布局中,可以查看:

for f in memory.current memory.max memory.high memory.swap.current memory.swap.max memory.events memory.stat memory.pressure; do
  path="/sys/fs/cgroup/$f"
  if [ -r "$path" ]; then
    printf '\n### %s\n' "$f"
    cat "$path"
  fi
done

这段示例假设目标控制组的文件位于 /sys/fs/cgroup/ 当前可见位置。如果该目录不是目标控制组的根,或宿主机与容器使用了不同的挂载视图,应根据 findmnt 和目标进程的 /proc/<PID>/cgroup 确认实际路径。不同环境下文件可能不可见或没有挂载,不应据此推断内存指标为零。

容器内存统计与承载业务的主机资源相互关联。A5idc数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖 Xeon Gold、AMD EPYC 等平台,并有不同内存容量及 SSD、NVMe 存储配置,可用于承载容器化业务、数据库和多任务服务。多地区与硬件组合为不同部署场景提供计算和存储资源基础。

建立观察窗口,再看指标如何联动

单次采样能说明“这一刻是什么状态”,不容易解释“为什么变化”。可以先记录容器限制、当前用量和业务基线,再以固定间隔采集几轮数据。间隔应与业务波动相匹配:对突发服务,可用较短间隔捕捉尖峰;对批处理任务,则应覆盖任务开始、峰值和结束阶段。

一个有用的窗口至少包含:

  • cgroup 当前用量、硬限制、高水位和事件计数。
  • memory.stat 中 anon、file、shmem、kernel 等字段。
  • 宿主机的 MemAvailable、Swap 用量和整体内存 PSI。
  • 目标控制组的内存 PSI(如果内核和挂载提供)。
  • 进程 RSS/PSS、主要进程的线程或堆指标。
  • CPU 使用率、I/O 延迟或队列、业务响应时间、错误率;网络吞吐或重传异常也可纳入窗口。

记录事件计数的前后差值,比只看累计值更有用。比如 memory.events 中 oom_kill 总数不为零,只能说明曾经发生过相关事件;要判断是不是当前故障,需要比较本次观察期间的增量,并与业务异常的时间对应。

以下为一组仅用于解释关联关系的模拟数据。容器硬限制为 2 GiB,memory.high 设在 1.7 GiB;表中分项是约值,不要求与 memory.current 精确相加。

建立观察窗口,再看指标如何联动配图

时间memory.currentanonfile宿主机 MemAvailable同期表现
10:001.30 GiB0.72 GiB0.48 GiB14 GiB延迟平稳,内存 PSI 低
10:051.72 GiB0.74 GiB0.88 GiB13.7 GiBhigh 事件增加,I/O 队列上升
10:101.94 GiB0.75 GiB1.08 GiB13.5 GiB内存 PSI 上升,P95 延迟变高

这组变化与“容器内文件类用量增长、开始承受回收压力”相符;宿主机仍有较多可用内存,并不能排除容器自身受限。但它还不足以证明是缓存导致业务变慢:需要检查文件是否易于回收、是否有脏页写回、memory.high 事件是否同步增加,以及 I/O 队列和业务延迟是否在同一时间恶化。

用量增长时,追踪组成和业务影响

anon 增长:关注进程堆与匿名页

anon 持续上升,通常需要进一步检查进程的匿名内存,例如堆、栈或其他匿名映射。可以先查看目标进程的 RSS 与 PSS,再对重点进程读取 smaps_rollup:

ps -eo pid,comm,rss --sort=-rss | head
cat /proc/<PID>/smaps_rollup

RSS 表示当前映射在该进程地址空间中的驻留页;多个进程共享同一页时,各自 RSS 都可能计入该页,因此把多个进程的 RSS 相加可能重复计算。PSS 会按共享关系分摊页面,更适合辅助比较进程的相对占用,但它仍不是 cgroup 总用量的替代品。

如果进程 PSS、应用堆指标和 cgroup anon 在同一时间持续增长,且回收、交换或负载变化不能解释这一趋势,才更有理由排查堆增长、对象积累、缓存失控或内存泄漏。反之,若应用进程占用平稳而 cgroup 用量上升,应继续查文件缓存、共享内存和内核统计,不宜直接对应用下结论。

file 增长:不要把文件缓存一概当成“无影响”

文件缓存能够减少重复读盘,但并非所有文件类内存都能在需要时立即、无代价地释放。干净且可回收的缓存与脏页、写回中的页面、共享内存等情况不同。若 file 增长同时伴随磁盘读取增加,可能是工作集扩大;若脏页和写回活动上升,I/O 能力不足也可能使内存回收变慢。

观察时可把文件类用量与磁盘读取、写入、I/O 延迟和队列放在一起。若文件类用量升高,但 PSI、延迟、错误率和 I/O 队列没有明显变化,风险可能低于“用量逼近限制且回收压力持续上升”的情况。若内存压力与 I/O 延迟同步抬升,则要判断应用是在大量读写、等待回写,还是受限后频繁回收;仅凭缓存百分比无法区分这些原因。

Docker 在 Linux 上的 docker stats 可能会从展示值中扣除一部分缓存,且不同 cgroup 版本下使用的字段和计算方式存在差异。容器平台或监控系统也可能展示 working set 等派生指标。因此,同一时间比较原始 memory.current、memory.stat 和平台面板时,应先确认平台字段的定义,不能把经过处理的数值当成原始控制组用量。

交换与 PSI:判断“接近上限”是否已变成性能压力

交换区使用量上升,不一定马上意味着故障;它可能是较早发生的内存回收结果。但如果交换读写持续增加,同时内存 PSI、I/O 等待和业务响应时间也上升,就要关注系统是否在频繁换入换出,进而影响延迟。

PSI(Pressure Stall Information)反映任务因资源压力而停顿的情况。内存 PSI 的 some 和 full 能补充“用量有多高”之外的信息:即使当前用量暂时没有达到硬限制,回收或交换也可能已经让任务等待。宿主机 /proc/pressure/memory 反映整体视角;支持时,控制组的 memory.pressure 更有助于判断特定容器是否承压。两者观察范围不同,不要混为一个指标。

v2 中 memory.swap.current 统计控制组的交换区用量,不应与宿主机 free 显示的总交换使用量直接等同;v1 的 memory.memsw.* 则可能采用内存与交换的组合口径。跨版本比较前,先核对字段含义和单位。

排除容易混淆的替代解释

内存异常不一定从“内存泄漏”开始。将以下几种变化与时间窗口对照,可以减少误判:

观测组合更值得核对的方向
anon、进程 PSS 与应用堆同步增长堆或匿名映射持续扩张;检查业务流量、缓存策略与进程生命周期
file 增长,磁盘读取和队列同步上升文件访问工作集变化或读取压力;继续观察回收与业务延迟
file、脏页或写回相关活动增加,I/O 延迟升高写入压力或回写受阻,回收可能因此变慢
memory.current 接近 memory.max,max、oom 或 oom_kill 增量出现控制组硬限制或 OOM 风险;核对事件时间、进程退出和运行时记录
宿主机 MemAvailable 下降、宿主机 PSI 增高,多个控制组同时承压主机层面资源争用;单独提高某个容器限制未必能解决问题
用量不高,但响应时间、错误率和网络重传同步恶化可能存在网络、CPU、下游服务或队列问题,内存指标未必是根因

memory.max 与 memory.high 的作用不同。接近 memory.high 时,容器可能已出现回收和节流,应用延迟会先于 OOM 变化;触及 memory.max 时,内核可能尝试回收,若仍无法满足分配需求,则可能触发 cgroup OOM。具体结果还受内核版本、控制组配置和分配行为影响,不能把某个固定百分比当作所有系统通用的故障线。

还要区分容器 OOM 与宿主机 OOM。容器自身达到限制时,即使宿主机仍有内存,也可能发生容器级 OOM;宿主机整体内存耗尽时,内核也可能从进程中选择被杀对象,且目标不一定正好是用量最高的容器。容器内部未必能读取宿主机内核日志,因此应结合宿主机日志、容器运行时事件、编排平台状态和 memory.events 的增量确认。单看应用进程退出码或面板上的“内存百分比”,通常不足以区分两类情况。

如果错误率和延迟变化早于内存指标,或 CPU 饱和、I/O 等待、网络重传先于内存 PSI 上升,就应把它们视为竞争解释。例如请求积压可能使应用保留更多对象,随后推高匿名内存;此时内存增长是链路中的结果或放大因素,不一定是最初原因。判断时应比较首次变化的时间顺序,而不是只看最终相关性。

形成判断并复测

将证据收敛为判断时,可以按以下顺序处理:

  1. 固定对象与口径。 确认采样的是宿主机、目标容器还是某个进程;确认 cgroup 版本、限制值及平台展示字段是否扣除了缓存。
  2. 对比同一时间窗口的变化。 记录 memory.current 与限制、anon/file 等组成、交换量、事件计数增量和 PSI,并对齐业务延迟、错误率、CPU 与 I/O。
  3. 检查增长来源。 若 anon 和重点进程 PSS 同步增长,深入检查进程;若主要是文件类用量,则核对读写、脏页、回收和 I/O;若多个控制组同时承压,则检查宿主机整体资源。
  4. 按风险分层判断。 只有用量高但 PSI、事件和业务表现平稳,与用量持续逼近限制且 PSI、延迟或 OOM 事件同步增长,含义不同。后者需要优先处理,前者仍需结合增长速度和业务峰值评估余量。
  5. 变更后复测相同指标。 若调整应用缓存、并发量或资源限制,应在相近负载下重新采样,并确认延迟、错误率、回收压力、交换和事件计数是否按预期变化。只看到内存百分比下降,不足以证明问题已解决。

调整限制并不是所有场景的首选。提高容器上限可能缓解容器级压力,但若宿主机可用内存不足,多个容器同时扩大上限反而会增加主机 OOM 风险;降低应用并发可能减轻内存峰值,却也可能拉长队列和响应时间。变更时应同时评估宿主机余量、同机工作负载和业务吞吐,而不是只追求某一个内存指标下降。

下一次采集时,可将“cgroup memory.current 与 memory.max、anon/file、memory.events 增量、内存 PSI、交换区用量”与“进程 PSS、CPU、I/O 队列和延迟/错误率”放在同一张时间线上。这样才能分辨内存是增长来源、压力结果,还是与其他瓶颈同时出现的伴随现象。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9717.html

相关推荐