Linux NUMA内存分配失败,如何按节点状态与进程占用定位原因
NUMA 场景下出现内存分配失败,不一定代表整台机器的内存已经耗尽:一个节点可能已经紧张,而其他节点仍有空闲;进程也可能被绑定到特定节点或容器内存上限之内。先确认失败发生在哪个范围,再对照节点余量、进程实际驻留位置、内存策略和 OOM 记录,才能判断是节点局部不足、策略限制,还是整机或服务级内存压力。
排查时应区分“分配请求失败”和“进程被系统杀死”。前者可能表现为应用返回 ENOMEM、malloc 失败或内核分配失败;后者通常能在内核日志中找到 OOM 记录。两者都可能与 NUMA 有关,但不能仅凭 free 显示内存较少,或某个节点的 numastat 计数偏高就下结论。
先确认症状与影响范围
先记录故障发生时间、受影响进程、分配类型和报错内容。确认是单个进程、单个服务实例,还是同一台主机上的多个负载同时受影响。不同范围对应的调查重点不同:
| 现象 | 优先核查方向 |
|---|---|
| 只有一个进程分配失败,其他负载正常 | 进程内存策略、CPU 与内存节点绑定、容器限制、进程本身的内存增长 |
| 多个进程同时失败,集中在一个 NUMA 节点 | 节点可用内存、节点绑定负载、节点级内存回收或碎片 |
| 多节点都出现内存压力,且系统开始使用交换空间 | 整机内存压力、缓存回收、交换空间和 OOM |
| 进程突然退出,服务随后重启 | 内核 OOM、容器 OOM 或服务管理器的重启记录 |
| 大页申请失败,但普通页仍可申请 | HugeTLB 大页池、页面大小或节点级大页配置 |
确认故障范围时,先查看系统和内核的整体状态:
date
uname -r
free -h
cat /proc/pressure/memory
free 中的 available 是估算可供新负载使用的内存,不等同于 MemFree;Linux 会利用空闲内存作为页缓存,缓存通常可以回收。因而“used 很高”不能单独证明内存不足。/proc/pressure/memory 的 some、full 反映任务因内存压力发生停顿的情况;若故障期间数值持续上升,比单次内存快照更能说明系统正在承压。
建立原因树:从整机到 NUMA 节点
可按以下顺序组织原因:
- 整机内存压力:多个节点都缺少可用页,回收和交换也无法及时满足需求。
- 节点局部不足:某个节点内存紧张,但其他节点尚有余量。
- 分配范围受限:进程的 CPU 集合、内存节点集合、NUMA 策略或容器限制,使它不能使用看起来空闲的内存。
- 分配类型受限:申请的是大页、连续物理页或特定内核分配类型,普通内存余量不能直接满足。
- 应用或服务异常:进程占用持续增长、内存未释放,或程序错误地选择了过窄的分配策略。
这棵原因树的关键是:先判断“系统有没有可用内存”,再判断“发生故障的进程能不能使用这些内存”,最后再确认“申请的内存类型是否能被满足”。
逐层排除:先看节点状态,再看进程落点
1. 查看每个 NUMA 节点的内存余量
先确认系统识别到的节点及其状态:
numactl --hardware
numastat
numactl --hardware 通常会显示节点总内存、当前空闲量及节点间距离。numastat 的系统级输出可帮助观察节点分配是否偏斜,但其中的计数多为累计值,不能把某一列较大直接等同于“当前内存耗尽”。
还可逐节点查看内核提供的内存统计:
for f in /sys/devices/system/node/node*/meminfo; do
echo "### $f"
cat "$f"
done
节点文件常见 MemTotal、MemFree、FilePages、Active、Inactive 等字段。注意这里的 MemFree 只是当前空闲页,不代表节点上所有可回收内存;页缓存、可回收 slab 等也可能释放。节点文件也不一定提供与全局 MemAvailable 完全对应的指标,因此需要结合回收、交换和进程落点综合判断。
示例:节点 0 的空闲页很少,节点 1 仍有较多空闲,而故障进程又被限制在节点 0,这支持“节点局部不足或可用范围受限”的判断;如果所有节点空闲量都低、交换空间持续增长且内存压力指标同步升高,则更接近整机压力。以上只是判断方式,不代表任何特定主机的实际状态。
2. 查看进程实际使用了哪些节点
先取得进程 PID,再检查进程级 NUMA 分布:
numastat -p <PID>
cat /proc/<PID>/numa_maps
numastat -p 用于概览该进程在各节点上的内存分布;numa_maps 提供更细的映射信息,常可看到映射策略及节点页数。若进程的大量页面集中在一个节点,而该节点同时紧张,需继续检查绑定策略和 CPU 亲和性。若分布跨多个节点,不代表一定正常,还需判断进程是否允许在这些节点上申请新内存。
结合进程的基本内存占用查看:
grep -E 'VmPeak|VmSize|VmRSS|VmSwap|Threads' /proc/<PID>/status
VmSize 是虚拟地址空间大小,不能直接当作实际物理内存占用;VmRSS 更接近驻留内存,但也不能完整说明各节点分布。排查 NUMA 时,应把这些进程指标与 numastat -p、numa_maps 对照,而不是只比较 VmSize。
3. 核对进程允许使用的 CPU 与内存节点
进程可能被 CPU 亲和性或 cpuset 限定在一组节点内。查看进程状态:
grep -E 'Cpus_allowed_list|Mems_allowed_list' /proc/<PID>/status
taskset -pc <PID>
Mems_allowed_list 显示进程当前允许使用的内存节点范围。若范围只有节点 0,即使节点 1 空闲,进程也未必能够使用节点 1。此时要检查服务启动参数、容器配置和 cgroup 的 cpuset 设置,不要仅凭宿主机总内存判断。

对于使用 numactl 启动的进程,可检查启动命令、服务单元和应用脚本中是否设置了类似 --membind、--preferred 或 --cpunodebind 的选项。不同策略含义不同:严格绑定可能让内存申请局限于指定节点;优先策略则可能允许在本地节点不足时使用其他节点,具体行为还受内核、策略类型及分配路径影响。不要为了“让申请成功”就直接移除绑定;跨节点访问可能增加内存访问延迟,也可能破坏原有的性能隔离设计。
4. 排除容器和服务级限制
容器内看到的内存上限与宿主机 NUMA 余量是两个不同层面。cgroup v2 环境可查看进程所属控制组中的内存限制和事件:
cat /proc/<PID>/cgroup
根据输出定位对应的 cgroup 目录后,读取该目录中的文件:
cat <cgroup目录>/memory.current
cat <cgroup目录>/memory.max
cat <cgroup目录>/memory.events
如果 memory.current 接近 memory.max,或 memory.events 中的 oom、oom_kill 等计数在故障时增加,容器或服务级限制可能是直接原因。这里的 <cgroup目录> 需要按主机实际挂载路径解析,不能照抄为固定路径。cgroup v1 的文件名称和目录布局不同,应先检查挂载及控制组版本再核对。
服务管理器也可能为服务设置内存上限或 CPU、内存节点约束。检查服务单元及其运行状态,并与进程的 Mems_allowed_list、cgroup 事件对照。若只有某个服务受影响,宿主机其他进程正常,服务级限制的优先级通常高于整机 OOM 调查。
进一步排查:缓存、交换、大页与 OOM
缓存和回收是否足以缓解压力
Linux 使用空闲内存缓存文件数据和内核对象。缓存占用较高本身不是故障证据;更有价值的是观察它能否回收,以及回收是否伴随明显停顿。可结合 free -h、节点 meminfo、内存压力指标和系统日志判断。
不要把清空页缓存当作常规修复手段。清缓存会影响文件访问性能,也无法解决严格节点绑定、容器上限或持续内存泄漏。若问题只发生在一个节点,清理全局缓存也未必能使受限进程获得该节点之外的内存。
交换空间是否正在参与故障
查看交换空间使用量:
swapon --show
vmstat 1 5
vmstat 输出中的 si、so 分别反映交换读入和写出活动。持续出现交换活动并伴随内存压力,说明系统可能在通过换页维持运行;交换空间“已使用”但当前没有持续换入换出,不一定代表正在发生严重抖动。NUMA 节点局部压力也可能与整机交换状况不一致,因此仍要结合节点和进程数据。
确认是否存在 OOM 或大页申请失败
检查内核日志中故障时间附近的记录:
journalctl -k --since "30 minutes ago" --no-pager
dmesg -T | grep -Ei 'out of memory|oom|killed process|page allocation failure'
发行版、日志后端和权限不同会影响命令结果;没有输出不能单独证明 OOM 未发生。若使用容器,还要同时检查容器运行时和服务管理器日志。
典型 OOM 记录会包含被杀进程、内存使用情况或控制组信息。若进程退出时间与 oom_kill 计数增加相符,优先沿 OOM 对应的限制层定位。若应用明确返回内存不足,但没有进程被杀的记录,则应继续调查内存策略、分配类型和应用日志。
若失败的是大页申请,检查大页配置和节点分布:
grep -H . /sys/devices/system/node/node*/hugepages/hugepages-*/nr_hugepages
grep -H . /sys/devices/system/node/node*/hugepages/hugepages-*/free_hugepages
大页池中的可用页与普通页的 MemFree 不是同一资源。普通内存充足并不意味着指定尺寸的大页申请必然成功;还需要核对应用要求的页面大小、节点范围及预留配置。调整大页池会影响其他负载,并可能涉及内存预留变化,应先评估服务影响和恢复方案,避免在生产环境中直接试改。
定位根因:把观测结果串成证据链
单个指标只能缩小范围,不能独自定案。可按下列组合判断:
| 观测组合 | 更值得验证的原因 |
|---|---|
单节点余量低;进程 Mems_allowed_list 只含该节点;其他节点仍有余量 | cpuset 或严格 NUMA 绑定导致的节点局部不足 |
| 多节点余量都低;内存压力持续升高;交换活动增加 | 整机内存压力或进程总体占用过高 |
memory.current 接近 memory.max,且 memory.events 的 OOM 计数增加 | 容器或服务 cgroup 限制 |
| 系统日志出现对应 PID 的 OOM 记录 | OOM 杀进程;继续核对 OOM 作用范围及内存上限 |
普通内存仍有余量,但大页池 free_hugepages 为零 | 大页池不足或大页配置与申请不匹配 |
| 进程占用持续增长,NUMA 分布随运行时间扩大,重启后短暂恢复 | 应用内存泄漏、缓存无界增长或负载峰值,需要应用侧分析 |
“进程占用持续增长”仍只是线索。要结合业务请求量、缓存策略、堆内存统计和故障时间线区分正常峰值与泄漏;重启后恢复也不能证明根因已经消除。
验证恢复并降低复发概率
确认根因后,先做影响范围最小的调整。例如,节点绑定不符合实际负载时,评估是否可调整服务的内存节点范围;容器上限过低时,依据主机余量和服务峰值评估限额;应用占用持续增长时,优先定位对象保留、缓存上限或请求并发。调整 NUMA 绑定、cgroup 限额或大页配置前,应记录原配置、评估同机其他服务影响,并准备恢复原设置的方案。
恢复不能只看一次分配成功。应在与故障相近的负载下观察一段时间,确认:
- 故障进程不再出现分配错误,服务没有异常退出或反复重启。
- 各节点的空闲与可回收内存没有持续恶化,进程分布符合预期。
- 内存压力、交换活动和 cgroup OOM 计数没有继续增长。
- 大页场景下,目标节点的大页池有符合申请要求的可用页。
- 服务性能没有因跨节点访问、频繁回收或交换活动出现新的退化。
复发监控建议至少覆盖节点级内存状态、进程 RSS 与 NUMA 分布、cgroup 的内存使用和 OOM 事件,以及主机内存压力和交换活动。告警阈值应依据业务峰值和节点容量设定:全机剩余内存充足时,单个节点持续紧张仍值得告警;反过来,某节点短时空闲下降但压力、交换和服务错误都没有变化,也不宜仅凭一个瞬时数值判定故障。
A5数据提供中国香港、美国等地区的物理服务器,涵盖双路 Xeon Gold、AMD EPYC 等平台,部分配置配备 128GB 内存和 NVMe 存储。这些不同档位的计算与内存资源,可为数据库、容器服务及多任务计算提供部署基础,也为节点内存持续承压的业务提供容量规划上的选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5149.html



