Linux NUMA内存分配失败如何定位?如何区分节点不足、绑定策略与OOM

发布人:A5数据发布时间:2026-10-23 09:56阅读量:143

Linux NUMA 内存分配失败,不能只看 free -h 中还有多少可用内存。主机总内存充足时,进程仍可能因为只能使用某个 NUMA 节点、受到 cgroup 内存上限约束、申请了连续大页,或者已经触发 OOM 而失败。

定位时应沿着“失败发生在哪里”逐层判断:先确认是主机级、NUMA 节点级、进程级还是 cgroup 级;再检查内存绑定策略、可回收内存、交换空间、内存碎片和进程实际占用。节点不足、绑定策略和 OOM 的日志表现可能相似,但证据位置不同,不能根据单条 Cannot allocate memory 或单个 MemFree 数值直接下结论。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,涵盖 Xeon Gold、AMD EPYC 等平台,并提供不同内存、NVMe 存储、带宽与多IP配置,可承载数据库、容器集群、业务后台及多任务计算等场景。对于涉及 NUMA 节点分配、进程绑定和内存压力分析的业务,A5数据能够提供具备独立硬件资源的部署基础,便于结合业务规模与访问区域构建相应的服务器环境。

先确认分配失败的类型和影响范围

区分应用报错、内核分配失败与 OOM

应用层常见的错误包括:

malloc(): failed to allocate memory
Cannot allocate memory
std::bad_alloc
JavaScript heap out of memory
OutOfMemoryError: Java heap space

这些信息只能说明应用没有得到所需内存,不能直接证明 Linux 已经发生全局 OOM。应用可能受到以下限制:

  • 进程所在 cgroup 达到 memory.max;
  • NUMA 内存策略只允许从某个节点分配;
  • RLIMIT_AS、RLIMIT_MEMLOCK 等进程限制生效;
  • vm.overcommit_memory 策略拒绝了虚拟内存承诺;
  • 大页、共享内存或连续物理内存申请失败;
  • 主机整体内存不足,内核启动 OOM Killer。

先查看内核日志和当前启动周期内的内存事件:

journalctl -k -b --no-pager | \
  grep -Ei 'out of memory|oom|killed process|page allocation failure|order [0-9]+'

dmesg -T | \
  grep -Ei 'out of memory|oom|killed process|page allocation failure|order [0-9]+'

如果日志中出现类似下面的内容,说明内核确实记录了 OOM 或页面分配失败,但仍要继续判断范围:

kernel: oom-kill:constraint=CONSTRAINT_MEMCG
kernel: Memory cgroup out of memory: Killed process 1842 (worker)
kernel: Out of memory: Killed process 2710 (java)
kernel: page allocation failure: order:4, mode:0x40cc0(GFP_KERNEL)

CONSTRAINT_MEMCG 更接近 cgroup 内存不足;全局 OOM 通常会伴随系统级内存回收失败和被杀进程信息。page allocation failure 则表示某次页分配失败,不一定已经触发 OOM Killer。

先记录现场,避免清理动作覆盖证据

故障刚发生时,优先保存以下信息:

date
uname -a
free -h
swapon --show
vmstat 1 5
cat /proc/pressure/memory
numactl -H
numastat -m

这些命令主要是读取状态,不会改变内存布局。不要一看到缓存较高就执行 drop_caches,也不要在没有确认业务影响的情况下重启服务、关闭交换分区或修改内核参数。清理缓存可能暂时改变现象,却会丢失原始证据,并可能造成后续磁盘 I/O 增长。

建立内存分配失败的原因树

可以把原因拆成四个层次:

层次主要问题典型证据
主机整体可用内存不足、交换空间耗尽、全局 OOM/proc/meminfo、内核 OOM 日志、PSI
NUMA 节点目标节点或允许节点不足、内存碎片、特定区域不足numastat、/proc/buddyinfo、节点 meminfo
绑定策略membind、cpuset、容器或 systemd 限制可用节点/proc/PID/status、numa_maps、cgroup 配置
进程与服务RSS、匿名内存、共享内存、堆外内存或泄漏持续增长ps、smaps_rollup、服务日志、cgroup 计数器

判断顺序建议从影响范围开始:先确认是否发生全局或 cgroup OOM,再判断 NUMA 节点是否被限制,最后分析进程到底占用了哪类内存。

建立内存分配失败的原因树配图

第一步:确认主机是否真的缺少可用内存

不要只看 MemFree

Linux 会把空闲内存用于页缓存和可回收内核对象,因此 MemFree 较低并不等于系统无法分配内存。应同时查看 MemAvailable、缓存、匿名内存、交换空间和提交量:

free -h

grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|SwapTotal|SwapFree|CommitLimit|Committed_AS' \
  /proc/meminfo

swapon --show

可以按下面的关系理解:

  • MemFree:当前没有被使用的物理内存,通常不是判断系统是否能继续分配的唯一指标。
  • MemAvailable:内核根据可回收页缓存、可回收 slab 等估算出的可用内存,更适合观察整体压力。
  • Cached:文件页缓存,部分可以回收,但正在使用的文件页不能简单等同于“可立即释放”。
  • SReclaimable:可回收 slab 的一部分,回收能力取决于对象类型和内存压力。
  • Shmem:共享内存和 tmpfs 等占用,可能被应用长期持有。
  • SwapFree:剩余交换空间。交换空间充足不代表物理内存一定足够,也不能解决所有 NUMA 绑定问题。
  • Committed_AS 与 CommitLimit:反映虚拟内存承诺情况,不等同于当前 RSS。

如果 MemAvailable 仍有较大余量、交换空间未耗尽,却出现单个进程分配失败,应优先检查 cgroup、NUMA 绑定、进程限制和大页申请,而不是立即认定为全局内存不足。

观察回收压力和内存抖动

vmstat 1 5
cat /proc/pressure/memory

vmstat 中重点关注:

  • si、so:交换入和交换出。如果持续非零,说明系统正在使用交换。
  • free:瞬时空闲页,不能单独作为结论。
  • buff、cache:缓冲区和缓存规模。
  • r:运行队列,结合业务负载判断是否存在回收或 I/O 等待。
  • wa:I/O 等待升高时,可能是交换或存储压力的结果。

/proc/pressure/memory 中的 some 和 full 表示任务因内存资源争用而等待的时间比例。例如:

some avg10=18.42 avg60=7.31 avg300=2.80 total=123456789
full avg10=4.20 avg60=1.10 avg300=0.30 total=2345678

上面的数字只是示例。some 持续升高,表示至少部分任务受到内存压力;full 持续升高则说明任务整体陷入内存等待,通常比单次 MemAvailable 波动更值得关注。

第二步:判断是节点不足还是全局不足

查看 NUMA 拓扑和各节点内存

numactl -H
numastat -m

numactl -H 通常会显示 NUMA 节点数量、每个节点的 CPU 和内存容量。numastat -m 会列出每个节点的总内存、空闲内存、文件页等指标。

可以进一步查看节点级内存信息:

for n in /sys/devices/system/node/node[0-9]*; do
  echo "===== $n ====="
  grep -E 'MemTotal|MemFree|MemAvailable|FilePages|AnonPages|SReclaimable' \
    "$n/meminfo"
done

判断时要区分三种情况:

  1. 所有节点的可用内存都低,且全局回收压力高

更接近主机整体不足,应继续检查交换、匿名内存增长、进程占用和 OOM 日志。

  1. 某个节点很低,其他节点仍有明显余量

这说明存在局部节点压力,但不一定会导致分配失败。默认策略可能从其他节点回退分配;只有在严格绑定、cpuset 限制、特定内存区域不足或申请大页时,才可能直接失败。

  1. 节点显示仍有空闲,但高阶页或大页不足

可能是内存碎片、HugeTLB 预留不足、透明大页状态异常或申请所需内存区域受限,不能仅根据节点空闲值下结论。

用进程视角确认内存落在哪些节点

先获取目标进程的基本占用:

PID=1842

ps -p "$PID" -o pid,ppid,comm,%mem,rss,vsz,etime
grep -E 'VmPeak|VmSize|VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Hugetlb' \
  "/proc/$PID/status"
numastat -p "$PID"

numastat -p 可以显示该进程在各节点上的内存分布。若进程大量内存集中在 N0,而 N0 的可用内存已经很低,N1 仍有空间,则要继续检查进程是否使用了严格的 membind 或所在 cgroup 是否只允许 N0。

需要注意“本地节点不足”和“NUMA 节点分配失败”不是同一件事:

第二步:判断是节点不足还是全局不足配图

  • 本地节点不足时,默认策略可能把新页放到远端节点,结果是访问延迟上升,但分配仍能成功。
  • MPOL_BIND 或 numactl --membind 可能禁止回退到其他节点,目标节点不足时直接返回 ENOMEM。
  • cpuset 的 mems 限制会把可用节点集合缩小,即使整台主机还有很多内存,进程也可能看不到。
  • 容器或服务的 cgroup 限制可能同时影响可用内存总量和允许使用的 NUMA 节点。

第三步:核对绑定策略和允许节点

识别进程的 CPU 与内存允许范围

PID=1842

grep -E 'Cpus_allowed_list|Mems_allowed_list' "/proc/$PID/status"
grep -E 'VmRSS|VmSwap' "/proc/$PID/status"
head -n 20 "/proc/$PID/numa_maps"

Mems_allowed_list 是重要证据。如果输出类似:

Mems_allowed_list: 0

表示该进程只能从节点 0 使用内存。此时节点 1 即使还有大量可用内存,也不能直接解决该进程的分配失败。

如果输出为:

Mems_allowed_list: 0-3

说明进程至少被允许使用四个节点,但仍需检查具体的内存策略和 cgroup 层级。

区分 CPU 绑定和内存绑定

taskset 只控制 CPU 亲和性,不等于设置了 NUMA 内存策略。进程被固定到某组 CPU 后,Linux 的 first-touch 行为可能让页面集中分配到对应节点,但这与严格的 membind 仍然不同。

常见策略可以这样理解:

  • 默认或 preferred:优先使用本地或首选节点,资源不足时通常允许回退到其他节点。
  • interleave:在多个节点间轮流分配,适合部分吞吐型场景,但会改变访问局部性。
  • membind:只允许从指定节点分配,节点不足时更容易出现 ENOMEM。
  • first-touch:页面通常在首次写入它的 CPU 所属节点分配,线程调度变化可能导致内存分布变化。

检查进程启动方式、服务单元和容器参数:

tr '\0' ' ' < /proc/1842/cmdline
systemctl show your-service.service \
  -p ExecStart -p AllowedCPUs -p AllowedMemoryNodes

如果使用容器,还应核对容器运行参数中的 CPU、内存和 NUMA 节点限制。不同容器运行时和版本的参数名称可能不同,应以实际运行时帮助信息和容器配置为准,不要只根据启动脚本猜测。

检查 cgroup 是否先于主机触发限制

在使用 cgroup v2 的系统中,可以先确认挂载类型和目标进程所在路径:

stat -fc %T /sys/fs/cgroup

CGROUP_PATH=$(awk -F: '$1=="0"{print $3}' /proc/1842/cgroup)
BASE="/sys/fs/cgroup${CGROUP_PATH}"

for f in memory.current memory.high memory.max memory.events memory.stat; do
  if [ -f "$BASE/$f" ]; then
    echo "===== $BASE/$f ====="
    cat "$BASE/$f"
  fi
done

重点关注:

  • memory.current:当前 cgroup 内存使用量。
  • memory.high:超过后会施加回收和节流压力,不一定立即杀进程。
  • memory.max:硬上限,达到后可能触发 memcg OOM。
  • memory.events:查看 high、max、oom、oom_kill 等计数是否增长。
  • memory.stat:区分匿名页、文件页、内核内存、共享内存等组成。

如果 memory.events 中 oom 或 oom_kill 在故障时间点增长,而主机 MemAvailable 仍然较高,根因更接近 cgroup 限制,而不是主机物理内存耗尽。

第三步:核对绑定策略和允许节点配图

cgroup v1 的文件通常位于 /sys/fs/cgroup/memory/ 或其子目录,常见字段包括 memory.usage_in_bytes、memory.limit_in_bytes 和 memory.failcnt。如果系统同时使用多个层级,应根据 /proc/PID/cgroup 找到进程实际归属的层级,不能只查看根目录。

第四步:确认是否为 OOM,而不是普通分配失败

全局 OOM、cgroup OOM和进程限制的区别

现象更可能的原因需要核对的证据
内核日志出现 Out of memory 并列出被杀进程全局 OOM 或内存约束下的 OOMjournalctl -k、dmesg
cgroup 的 oom、oom_kill 计数增长cgroup 内存上限触发memory.events、服务配置
主机仍有可用内存,但目标进程返回 ENOMEMNUMA 绑定、cpuset、cgroup 或资源限制Mems_allowed_list、内存策略
日志出现 page allocation failure: order:N高阶连续页或特定区域申请失败/proc/buddyinfo、HugeTLB、碎片
无 OOM 日志,但程序拒绝扩展地址空间overcommit 或进程资源限制/proc/meminfo、/proc/PID/limits
Java 报 Java heap OOM,系统内存仍有余量JVM 堆上限或 JVM 内部限制JVM 参数、GC 日志、cgroup 感知情况

检查进程资源限制和 overcommit

grep -E 'Max address space|Max locked memory|Max resident set|Max processes' \
  /proc/1842/limits

grep -E 'CommitLimit|Committed_AS|MemAvailable|SwapTotal|SwapFree' \
  /proc/meminfo

sysctl vm.overcommit_memory vm.overcommit_ratio

如果 Committed_AS 接近或超过 CommitLimit,应用可能在虚拟内存承诺阶段失败。这个现象与物理页已经用尽并不完全相同。

还要考虑以下特殊申请:

  • mlock 或 mlockall 受到 Max locked memory 限制;
  • HugeTLB 页需要预先配置的 HugePages_Total,不能简单用普通可用内存替代;
  • 共享内存、tmpfs 或 /dev/shm 达到自身容量限制;
  • 内核需要高阶连续页,但当前空闲页被分散,无法形成所需连续块。

第五步:排查碎片、连续页和大页问题

内核日志中的 order:N 表示申请了 2^N 个连续页,以常见的 4 KiB 基础页为例,order:4 约需要 64 KiB 连续空间,但具体分配还会受到 zone、迁移类型和 GFP 标志影响。

查看伙伴系统各阶空闲页:

cat /proc/buddyinfo
grep -E 'compact_stall|compact_success|compact_fail|pgscan|pgsteal' \
  /proc/vmstat

/proc/buddyinfo 的每一行通常对应一个节点和内存区域,后面的数字代表不同 order 的空闲块数量。低阶空闲页很多,不代表高阶连续块也足够。

检查普通大页和透明大页情况:

grep -E 'HugePages|Hugetlb|AnonHugePages|ShmemHugePages' /proc/meminfo

cat /sys/kernel/mm/transparent_hugepage/enabled 2>/dev/null || true
cat /sys/kernel/mm/transparent_hugepage/defrag 2>/dev/null || true

如果应用明确使用 HugeTLB,应关注 HugePages_Free 和 HugePages_Total;如果使用透明大页,则要结合应用内存访问模式、压缩整理指标和业务延迟判断。不要为了消除一次分配错误就直接切换透明大页策略,这可能影响所有进程,修改前应保留原配置并安排可回滚窗口。

第六步:定位真正占用内存的进程和内存类型

先找出常驻集较大的进程

ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20

RSS 是驻留物理内存,VSZ 是虚拟地址空间,两者不能混用。进一步查看目标进程:

PID=1842

cat /proc/$PID/smaps_rollup 2>/dev/null || true

grep -E 'RssAnon|RssFile|RssShmem|Pss|Private|Shared|Swap' \
  /proc/$PID/smaps_rollup 2>/dev/null || true

判断重点包括:

  • RssAnon 持续增长:更像堆、栈、匿名映射或应用缓存增长。
  • RssFile 较高:可能是文件映射或共享库,不应全部算作进程独占。
  • RssShmem 较高:检查共享内存、tmpfs、消息队列相关使用。
  • Pss:按共享页分摊后更适合估算进程实际承担的内存。
  • VmSwap 较高:进程部分匿名页已经被换出,需结合业务延迟判断。
  • 内核 slab 或 socket 内存增长:可能不是某个用户进程 RSS 可以解释的。

如果多个工作进程共享大量文件页,简单累加 RSS 会重复计算;如果使用共享内存,则还要结合 PSS、/proc/meminfo 和服务自身指标。

按证据选择修复方向

只是局部节点压力

如果没有严格绑定,且远端节点仍有可用内存,局部节点压力首先表现为远端访问增加、延迟上升或 NUMA 命中率下降,不一定需要立即改策略。可以先降低并发、检查线程与数据分布,并观察:

numastat -m
numastat -p 1842
vmstat 1 5
cat /proc/pressure/memory

如果业务对延迟敏感,应从线程亲和性、数据分片和 first-touch 行为调整,而不是单纯追求各节点 MemFree 完全相等。

绑定策略过严

确认 Mems_allowed_list、服务配置或容器配置后,再评估是否放宽 membind、扩大 cpuset 的 mems 范围或改为 preferred/interleave。此类变化可能改变访问延迟、缓存命中率和业务抖动,必须先记录原配置,明确影响的服务和回滚方式。

不要直接在线覆盖生产服务启动参数。更稳妥的方式是:

  1. 保存当前服务单元、容器参数和 cgroup 配置。
  2. 在低流量实例或同构节点上验证新策略。
  3. 逐步调整一个服务或一个实例。
  4. 观察 NUMA 分布、PSI、延迟和错误计数。
  5. 如果性能或稳定性恶化,恢复原策略并按原方式重启受影响服务。

cgroup 内存上限触发

如果 memory.events 中的 oom 或 oom_kill 增长,应先核对服务的实际工作集、缓存上限和并发量,再决定是减少占用、调整 memory.high/memory.max,还是扩容节点。

提高 cgroup 上限可能把问题从单个服务转移为全局 OOM,因此不能只把上限调大而不重新评估主机容量。修改前应记录旧值和层级关系,确认父 cgroup 未设置更小的上限,并准备恢复旧值的回滚方案。

全局 OOM或进程持续泄漏

如果内核日志明确记录全局 OOM,先保留被杀进程、调用栈和业务时间线,再分析占用增长来源。常见方向包括:

  • 应用缓存没有上限;
  • worker 数量随请求增长;
  • 内存映射未释放;
  • 连接、队列或共享内存对象积压;
  • JVM、数据库或运行时堆参数高于主机可承受范围;
  • 文件缓存、slab 或内核网络内存持续增长。

重启进程只能恢复可用内存,不能证明根因消失。若必须重启,应先记录进程内存、NUMA 分布、cgroup 计数器和最近错误日志,并确认业务具备切流或副本承接能力。

交换空间不足或交换导致抖动

交换空间可以缓解部分匿名页压力,但不能解决严格 NUMA 绑定、HugeTLB 不足或 cgroup 上限问题。持续交换还可能造成延迟升高。

如果 vmstat 的 si/so 长时间非零、PSI 持续升高,应结合业务延迟和磁盘 I/O 判断。不要直接执行 swapoff -a,因为换入过程本身可能瞬间消耗大量内存并触发更严重的 OOM。调整交换配置前应确认剩余物理内存、交换设备容量、优先级和回滚方式。

恢复后如何验证根因已经消失

修复不能只看应用重新启动成功。至少应复核以下四组指标:

free -h
numastat -m
numastat -p 1842
cat /proc/pressure/memory

如果服务使用 cgroup v2,还要检查:

CGROUP_PATH=$(awk -F: '$1=="0"{print $3}' /proc/1842/cgroup)
BASE="/sys/fs/cgroup${CGROUP_PATH}"

cat "$BASE/memory.current" 2>/dev/null || true
cat "$BASE/memory.events" 2>/dev/null || true

验证结果应满足:

  • 目标进程能够完成原先失败的分配或同等规模的业务请求;
  • 允许使用的 NUMA 节点与预期一致;
  • 内存不再持续集中消耗单一节点;
  • oom、oom_kill、max 等计数不再增长;
  • PSI 和交换活动回到业务可接受范围;
  • 内核日志不再出现新的 page allocation failure;
  • 调整绑定策略后,业务延迟和吞吐没有出现不可接受的回归。

如果进程重启后短时间正常、运行一段时间又失败,应把重点转向内存泄漏、缓存无界增长或请求并发变化,而不是反复修改 NUMA 策略。

与 Windows 裸机恢复的边界

Windows 裸机恢复与 Linux NUMA 内存分配排查属于两条不同的故障链。裸机恢复主要用于从系统镜像或备份中恢复操作系统、引导配置、应用和数据;它不会自动修复 Linux 的 membind、cpuset、cgroup 或 NUMA 内存布局问题。

如果现场实际运行的是 Windows,不应直接执行本文中的 Linux 命令。应改用 Windows 的任务管理器、资源监视器、性能监视器、事件查看器和内存转储工具确认内存压力;如果目标是恢复整机,则先确认备份可读、目标磁盘容量和硬件兼容性,并保留现有磁盘或故障转储,避免恢复操作覆盖后续取证所需的数据。

如果是同一项目中同时存在 Linux 业务节点和 Windows 裸机恢复节点,应分别建立证据链:Linux 节点关注 NUMA、cgroup、OOM 与进程占用;Windows 节点关注备份完整性、引导恢复、驱动兼容性和恢复后的系统事件。不能用 Windows 裸机恢复结果证明 Linux 内存分配问题已经解决。

建议持续监控的复发信号

为了避免故障再次出现,监控不应只采集主机总内存。建议按主机、NUMA 节点、cgroup 和进程四个层次设置告警:

监控层次建议指标触发后优先检查
主机MemAvailable、Swap 使用率、内存 PSI、OOM 日志全局压力、交换抖动、异常进程
NUMA 节点节点可用内存、各节点分配量、远端访问比例单节点热点、first-touch、线程亲和性
cgroupmemory.current、memory.max、memory.eventshigh、oom、oom_kill 是否增长
进程RSS、PSS、匿名内存、映射数量、NUMA 分布泄漏、缓存增长、严格绑定
内核page allocation failure、压缩整理、伙伴系统高阶页碎片、大页和连续内存不足

实际阈值应结合主机规模和业务基线设置。比如,MemAvailable 连续下降、单节点可用内存明显低于其他节点、memory.events 的 oom_kill 递增,或者内存 PSI 在业务高峰持续升高,都应触发进一步排查,而不是等到应用再次返回 Cannot allocate memory 才处理。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5232.html

相关推荐