服务器NUMA是什么,跨节点内存访问为何会影响性能

发布人:A5数据发布时间:2026-10-31 16:29阅读量:93

NUMA 服务器并不一定是“一颗 CPU 对应一个内存节点”,也不意味着跨节点访问必然让程序变慢。NUMA 描述的是处理器与内存之间的访问关系:处理器访问本地内存通常延迟较低、可用带宽较高;访问其他节点的内存则需要经过处理器互连,可能增加延迟并占用互连带宽。是否影响业务,取决于程序访问内存的方式、线程运行位置和内存页实际分布。

理解 NUMA 的关键,不是只看服务器有几颗处理器,而是确认操作系统识别出了几个 NUMA 节点,以及应用的 CPU 和内存是否分布合理。节点数本身不能直接说明性能好坏,跨节点访问比例也不能脱离业务负载单独判断。

NUMA 的概念边界:节点不等于插槽

NUMA 是“非统一内存访问”(Non-Uniform Memory Access)的缩写。与所有处理器访问同一组内存、访问代价大致一致的架构相比,NUMA 系统把处理器和内存划分为多个具有一定本地性的节点。每个节点包含一部分 CPU 核心和内存资源,节点之间通过处理器互连通信。

例如,一台双路服务器可能被操作系统识别为两个 NUMA 节点,也可能由于处理器内部的子节点划分,被识别为更多节点。反过来,固件设置或虚拟化配置也可能影响操作系统看到的拓扑。因此,“双路”等于“两个 NUMA 节点”并不总是成立。

常见概念可以这样区分:

概念含义容易出现的误解
CPU 插槽(socket)主板上安装处理器的物理位置一个插槽不一定只对应一个 NUMA 节点
NUMA 节点操作系统用于描述 CPU 与本地内存关系的拓扑单元节点不是内存条,也不一定与插槽一一对应
本地内存对当前 CPU 所在节点而言,访问路径较近的内存“本地”是相对于 CPU 节点而言,不是应用程序所在目录或进程启动位置
远端内存位于其他 NUMA 节点、需要跨节点访问的内存访问远端并不等于访问失败,只是代价可能更高
NUMA 距离系统用于表达节点间相对访问代价的拓扑信息距离值通常是相对指标,不应直接当成纳秒数

NUMA 与“内存是否够用”也不是同一个问题。服务器总内存充足,并不代表每个节点都有足够的本地内存;某个节点的内存紧张时,系统可能从其他节点分配页面。此时进程仍可能正常运行,但远端访问比例上升,甚至出现节点间分配不均。

为什么跨节点访问可能影响性能

本地访问与远端访问的路径不同

线程执行内存读写时,CPU 会访问对应的物理内存页。如果该页面位于当前 CPU 所在节点,通常走本地内存控制器;如果页面位于其他节点,请求还要经过处理器互连到达远端内存控制器,再将数据返回。

为什么跨节点访问可能影响性能:本地访问与远端访问的路径不同配图

这可能带来两类代价:

  • 延迟增加:一次内存访问需要经过更长的路径,依赖内存访问结果的任务可能因此等待更久。
  • 互连带宽消耗:跨节点请求会占用节点间链路资源。多个线程同时进行远端访问时,互连可能成为瓶颈。

影响大小与处理器平台、内存配置、访问模式和负载并发度有关,不能用一个固定数字代表所有服务器。作为理解机制的示例,某个负载在本地访问时平均延迟约为 90 纳秒,远端访问时约为 130 纳秒;这只是用于说明差异的假设值,不是通用硬件规格。对大量随机、相互依赖的访问而言,这种差异可能明显;对主要受磁盘、网络或计算吞吐限制的任务,整体影响则可能很小。

首次触碰决定页面可能落在哪个节点

Linux 等操作系统通常按需分配物理页面:程序申请虚拟内存时,未必立刻为全部空间分配实际内存;页面真正被访问时,系统才可能完成物理页分配。常见的“首次触碰”(first touch)行为,是由首次写入该页面的线程所在节点影响页面的初始归属。

例如,一个线程在节点 0 上初始化一大块内存,随后多个节点上的线程共同处理这些数据,那么部分线程可能频繁访问节点 0 的页面。即使计算线程分布均匀,内存页也未必均匀分布。

页面归属还可能受内存策略、进程绑定、容器限制、内存压力及系统自动 NUMA 平衡机制影响。因此,不能仅凭进程在哪个 CPU 上运行,就推断它使用的内存一定是本地的。

CPU 放置与内存放置需要一起看

只绑定 CPU、不考虑内存策略,可能出现“线程固定在节点 1,页面却主要位于节点 0”的情况。只限制内存节点而不限制 CPU,也可能让线程迁移到其他节点,重新形成远端访问。

这也是为什么 NUMA 优化不是简单地“开启绑定”。对于单节点内存容量足够、线程与数据关系明确的服务,合理的 CPU 与内存亲和性可能降低跨节点访问;对于工作集不断变化、负载分布不均或需要共享数据的程序,过度绑定可能限制调度弹性,甚至使某个节点先耗尽内存。

对于数据库、容器和多任务计算等需要关注 CPU 与内存布局的业务,A5idc数据提供香港、美国等地区的物理服务器,涵盖单路、双路 AMD EPYC 平台及不同内存档位,部分方案配备 NVMe 存储。这些计算与存储资源为部署不同规模的工作负载、规划线程与数据的放置提供了硬件基础。

哪些因素会放大或减轻影响

跨节点访问是否构成瓶颈,通常由以下因素共同决定:

  1. 访问模式:随机访问、指针追踪等对内存延迟敏感的任务,通常比连续处理大块数据更容易受到延迟影响。连续访问也可能受带宽和互连容量约束。
  2. 线程与页面分布:线程是否集中在少数节点、页面是否集中在另一个节点,直接影响本地访问比例。
  3. 并发程度:单个线程偶尔访问远端内存,与大量线程同时跨节点读写,产生的互连压力不同。
  4. 节点内存容量和负载:某个节点内存不足、其他节点空闲时,系统仍可能需要分配远端页面,或受到内存策略限制。
  5. 系统与应用策略:自动 NUMA 平衡、进程亲和性、内存绑定、容器的 CPU 和内存节点限制,以及虚拟机 vNUMA 配置,都会改变实际拓扑和页面分布。
  6. 业务的主要瓶颈:如果程序主要等待存储或网络,NUMA 优化带来的整体收益可能有限;若性能测试已显示内存延迟或带宽是瓶颈,才更值得进一步调查。

虚拟机尤其需要核对 vNUMA。虚拟机内部看到的 NUMA 拓扑是虚拟化平台呈现出来的视图,可能与宿主机的物理拓扑不同。虚拟机 vCPU、虚拟内存与宿主机资源如何对应,取决于虚拟化配置和调度方式;仅在虚拟机内看到多个节点,不能据此断定宿主机上存在相同数量的物理节点。

在 Linux 上如何验证

验证时建议先确认拓扑,再观察进程的 CPU、页面分布和负载表现。命令输出描述的是当前系统状态,负载变化、进程迁移和内存回收都可能让结果发生变化。

先查看操作系统识别的节点

以下命令适用于常见 Linux 发行版。lscpu 通常随系统提供;numactl 和 numastat 若未安装,可通过所用发行版的软件包管理工具安装相应工具包。

lscpu
lscpu -e=CPU,NODE,SOCKET,CORE
numactl --hardware

重点查看 NUMA node(s)、各 CPU 对应的节点,以及每个节点的内存容量和节点距离。若 lscpu -e 不支持指定字段,可直接运行 lscpu,并检查系统提供的节点目录:

ls -d /sys/devices/system/node/node*

目录数量可以帮助确认系统暴露的节点,但不能单独说明应用是否发生了严重的远端访问。

查看进程内存分布和节点统计

先取得目标进程的进程号,再查看进程级统计:

numastat -p <PID>

不同版本的 numastat 输出字段可能有所不同。常见信息会按节点展示进程内存分布,或给出本地、远端分配相关统计。需要注意,“某节点上有很多页面”不必然等于访问这些页面的线程全部来自其他节点;必须结合线程实际运行位置和负载一起判断。

也可以查看进程的内存映射信息:

cat /proc/<PID>/numa_maps

该文件按内存映射列出页面及其节点分布,适合进一步定位页面集中在哪些节点。输出较长,且不同映射可能对应不同用途;不要把单行或单次采样直接当作整个程序的访问比例。

将拓扑、分布与性能指标对照

比较有价值的验证方式,是在业务负载稳定、配置相同的前提下,对照以下信息:

  • CPU 线程是否主要运行在预期节点;
  • 进程页面是否集中在少数节点,或者明显偏离线程所在节点;
  • 吞吐量、尾延迟、CPU 利用率和内存带宽是否与跨节点状况同步变化;
  • 在相同负载下,调整线程与内存布局后,性能是否重复出现一致变化。

例如,某项测试的假设结果如下:原配置下吞吐量为每秒 100 万次、P99 延迟为 8 毫秒;调整布局后吞吐量变为每秒 108 万次、P99 延迟为 7 毫秒。如果同时观察到远端页面比例下降,这能支持“NUMA 布局可能影响该负载”的判断,但仍需排除 CPU 频率、缓存命中、后台任务和测试波动等因素。示例数据不是实测结果,也不能据此推导所有应用都能获得相同比例的收益。

若需要做控制实验,可以在维护窗口或独立测试环境中分别测试不绑定、仅绑定 CPU、CPU 与内存节点同时绑定等方案。numactl 提供了 CPU 和内存策略选项,但具体参数应先通过 man numactl 核验,并确认节点编号与目标进程需求相符。不要直接把绑定策略用于生产服务后就视为优化:硬绑定可能降低调度弹性,遇到节点内存不足时还可能引发分配失败或性能恶化。

适用限制:看到远端访问不等于必须调优

NUMA 统计显示远端分配或跨节点活动,只能说明存在跨节点现象,不能单独证明它是性能瓶颈。操作系统可能为了保持系统可用而分配远端内存,自动 NUMA 平衡也可能在运行期间迁移任务或页面。若业务指标没有异常,且性能主要受其他资源限制,强行调整亲和性未必有收益。

反过来,节点分布看起来较均匀,也不能证明访问完全局部:页面“分布在哪个节点”和线程“实际访问哪个节点的页面”是不同问题。要判断访问代价,最好结合性能计数器、系统监控或应用基准测试,观察内存延迟、带宽及跨节点流量;具体可用指标取决于处理器、内核和监控工具。

实际判断可以按“拓扑是否符合预期—线程与页面是否错位—业务指标是否受影响—控制实验能否复现改善”的顺序进行。只有当跨节点访问与性能退化存在稳定关联,并且调整后在相同条件下重复获得改善,才有理由把 NUMA 布局列为优化项。否则,先保留系统默认调度,避免把节点数量或单次统计结果误当成问题本身。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6846.html

相关推荐