独立服务器如何查看PCIe设备的NUMA归属,并判断跨节点访问影响
独立服务器上的 PCIe 设备可以通过 Linux 的 sysfs 查看 NUMA 归属,常用入口是设备目录中的 numa_node 文件。若设备、处理器和承载数据的内存在不同 NUMA 节点上,访问可能经过节点互连,增加延迟或占用互连带宽;但仅凭设备编号不同,不能直接断定性能受损,必须结合进程的 CPU、内存位置和实际负载判断。
先区分 PCIe 设备归属与进程访问位置
NUMA(非统一内存访问)是多路处理器服务器常见的内存架构:每个节点通常对应一组 CPU 核心及其本地内存。处理器访问本节点内存通常更直接,访问其他节点的内存则需要经过处理器间互连。节点间的访问成本取决于具体平台,不能用一个固定的延迟或带宽数字概括。
PCIe 设备通过主板上的 PCIe 根端口连接到处理器或芯片组。系统通常会根据固件提供的拓扑信息,为 PCIe 设备标记一个 NUMA 节点。这个标记表示操作系统认为设备与哪个节点具有关联,不等于设备本身拥有内存,也不等于设备正在由该节点上的进程使用。
判断跨节点影响,至少要同时看三处:

- 设备归属:设备的
numa_node标记。 - 计算位置:使用设备的进程实际运行在哪些 CPU 核心上。
- 数据位置:进程分配的内存主要位于哪个 NUMA 节点;对 DMA 设备,还要考虑设备与主机内存之间的数据传输路径。
例如,网卡标记为节点 0,并不意味着所有使用它的程序都必然运行在节点 0。应用可能由节点 1 上的 CPU 处理,而数据缓冲区也可能分配在节点 1;这时设备与处理器、内存的位置关系才是分析重点。
跨节点访问为什么可能影响性能
设备执行 DMA(直接内存访问)时,会与主机内存交换数据。若设备关联节点 0,而所访问的内存位于节点 1,数据可能要经过节点互连或其他平台路径。与此同时,如果处理数据的 CPU 也位于节点 1,设备数据进入内存后,CPU 访问路径和设备的局部性可能并不一致。
这通常会带来三类影响:
- 访问延迟增加:小数据块、频繁往返的访问更容易受到额外延迟影响。
- 互连带宽竞争:多设备、多进程同时跨节点访问,可能占用节点间链路资源。
- 负载不均衡:CPU、内存和设备分散在不同节点时,可能出现某个节点忙、另一个节点相对空闲的情况。
影响大小与工作负载有关。持续传输的大块数据、设备本地缓存行为、CPU 与设备间的数据交互方式,以及平台互连能力都会改变结果。某些任务主要受设备自身算力或 PCIe 链路限制,NUMA 不匹配带来的差异可能不明显;另一些高频小包处理或频繁访问主机内存的任务,则更值得检查局部性。
围绕 PCIe 设备与 CPU、内存的局部性,A5数据提供香港、美国、日本等地区的物理服务器,涵盖 AMD EPYC、Xeon Gold 等平台,以及面向 GPU 和存储负载的产品方案。不同系列配有相应的内存、NVMe 或大容量硬盘配置,可承载数据库、计算及数据存储等业务;香港和美国的 GPU 服务器也提供 A100 80GB、RTX 4090 等显卡选项,为需要设备加速的工作负载提供硬件基础。
用安全命令查看设备的 NUMA 归属
以下命令用于读取系统信息,不会修改设备配置。先确认系统中的 NUMA 节点及其 CPU 分布:
lscpu | grep -E 'NUMA node|Socket|CPU\(s\)'
输出可能类似:
Socket(s): 2
NUMA node(s): 2
NUMA node0 CPU(s): 0-23
NUMA node1 CPU(s): 24-47
这表示系统报告了两个 NUMA 节点,节点 0 和节点 1 分别对应所列 CPU。若系统没有安装 lscpu,可检查:
cat /sys/devices/system/node/online
再查看各节点 CPU 列表:
for f in /sys/devices/system/node/node*/cpulist; do
printf '%s: ' "$f"
cat "$f"
done
接着查找设备的 PCI 地址。lspci -Dnn 会显示完整 PCI 域、总线、设备和功能编号,以及设备类别与厂商、设备 ID:
lspci -Dnn
例如:
0000:5e:00.0 Ethernet controller [0200]: Example Vendor Ethernet Adapter [1234:5678]
这里的 0000:5e:00.0 是 PCI 地址,后续用它读取设备信息。把示例地址替换为实际地址:
BDF=0000:5e:00.0
DEV="/sys/bus/pci/devices/$BDF"
printf 'NUMA node: '
cat "$DEV/numa_node"
printf 'PCI device path: '
readlink -f "$DEV"
如果结果为:
NUMA node: 0
表示内核将设备关联到 NUMA 节点 0。若结果为 1,则关联到节点 1。
也可以先查看 PCIe 树状关系:
lspci -Dtv
树状输出可帮助确认设备挂在哪个 PCIe 上游桥或根端口下,适合排查同一扩展卡、转接卡或上游链路下设备的拓扑关系。它本身不能替代 numa_node 判断,也不直接给出性能结论。
numa_node 为 -1 时怎么理解
-1 通常表示内核没有获得可用的设备 NUMA 节点信息,或平台没有为该设备提供明确归属。这不等于“设备不属于任何节点”,也不能据此认定设备访问没有跨节点成本。
可以检查设备路径和相邻上游桥的信息:
readlink -f "/sys/bus/pci/devices/$BDF"
路径中通常包含 PCI 层级,可据此结合 lspci -Dtv 查看其上游关系。若要读取某个上游桥的节点标记,先从拓扑中确认对应桥的 PCI 地址,再检查:
cat /sys/bus/pci/devices/0000:5d:00.0/numa_node
其中 0000:5d:00.0 只是示例地址。桥的归属可以作为排查线索,但不能保证等同于端点设备的实际访问路径。固件信息、内核版本、虚拟化环境和主板拓扑都可能影响这些标记。
对照 CPU、内存和设备的节点位置
设备归属只是判断的一部分。先查看节点间距离:
numactl --hardware
可能看到类似输出:
available: 2 nodes (0-1)
node 0 cpus: 0-23
node 0 size: 192000 MB
node 0 free: 120000 MB
node 1 cpus: 24-47
node 1 size: 192000 MB
node 1 free: 118000 MB
node distances:
node 0 1
0: 10 20
1: 20 10
距离矩阵中的数值用于表达相对访问成本,通常本节点距离较低、跨节点距离较高。它不是纳秒数,也不能直接换算成应用延迟;不同处理器平台的数值和含义可能不同。
若要检查正在运行的进程,先取得进程 ID,再查看 CPU 允许范围和 NUMA 内存分布:
taskset -pc 12345
numastat -p 12345
将 12345 换成实际 PID。taskset -pc 显示进程的 CPU 亲和性范围,但不一定代表它此刻正在使用的核心;可结合进程监控或线程级信息观察实际运行位置。numastat -p 显示进程在各节点上的内存分布,具体字段可能随发行版和工具版本略有差异。
一个简化的判断例子:
- 设备
numa_node为0; - 应用线程主要运行在节点 0 的 CPU 上;
- 应用内存也主要分布在节点 0。
这种情况下,设备、CPU 和内存的节点位置较一致,通常不存在明显的节点错配迹象,但仍不能据此保证没有其他瓶颈。
如果设备归属节点 0,而应用线程与大部分内存都在节点 1,则应进一步验证跨节点影响。若线程在节点 0、内存主要在节点 1,设备虽然与 CPU 位置一致,数据访问仍可能跨节点。判断时要关注实际运行位置和内存分布,不能只看进程允许在哪些 CPU 上运行。
按设备类型补充检查
不同 PCIe 设备的数据路径不同,NUMA 归属之外还需要看相应指标。
网卡可先识别接口与驱动,再检查队列和中断分布:
lspci -Dnnk -s "$BDF"
该命令可显示设备使用的内核驱动。接口名可通过系统网络配置或网卡管理工具确认;不要把 PCI 地址直接当成接口名。对网卡负载,还应关注中断是否集中在远端节点 CPU、收发队列分布以及应用线程位置。设备与进程节点一致,但中断处理长期落在另一节点,也可能形成额外的跨节点流量。
GPU、存储控制器等设备则应结合对应驱动和应用的内存分配方式判断。某些应用会把数据复制到专用缓冲区,另一些会频繁让 CPU 与设备共享或访问主机内存,NUMA 影响并不相同。确认设备归属后,还需查看应用线程、缓冲区所在节点以及设备实际传输量;不能仅凭设备类型推断性能结果。
怎样验证跨节点访问是否造成实际影响
节点归属不一致是风险线索,不是性能结论。需要验证时,建议先在负载相近、配置不变的条件下比较:
- 记录设备的 PCI 地址、
numa_node、上游拓扑,以及进程的 CPU 和内存分布。 - 观察目标负载的指标,例如吞吐量、时延、CPU 使用率、设备利用率和节点间流量;指标应与设备类型和业务目标对应。
- 在维护窗口或可控测试环境中,使用应用自身的绑核、内存策略或设备队列配置进行对照测试。
- 多次运行并保持数据集、并发度、设备状态和测试时长一致,再比较结果。
例如,假设某项可重复的设备访问负载中,应用线程和内存主要在节点 1,而设备归属节点 0;调整测试条件后,让线程与内存尽量靠近设备,吞吐量稳定上升、时延下降,并且其他资源没有明显变化,这才构成跨节点访问可能造成影响的证据。若结果差异落在测试波动范围内,或设备已接近自身吞吐上限,则不能把性能表现归因于 NUMA。
单次运行、不同数据集对比,或只比较 CPU 占用率,都容易得出错误结论。修改线程亲和性和内存策略也可能影响业务进程,生产环境中应先评估影响范围,使用应用支持的配置并安排回退方案;不要为验证而直接改写系统拓扑或执行未经确认的设备配置命令。
判断边界:哪些现象不能单独证明性能问题
- PCIe 设备与进程节点编号不同:说明存在潜在的非局部访问,不能单独证明性能下降。
numa_node显示-1:说明节点信息不可用或未明确提供,不能解释为零成本访问。- PCIe 链路速率较高:描述的是链路能力,与设备、CPU、内存是否跨 NUMA 节点不是同一指标。
- 节点距离数值较高:表示相对拓扑成本较高,不等于应用一定达到某个固定延迟。
- 虚拟机中的 NUMA 信息:来宾系统看到的拓扑可能经过虚拟化或直通配置,未必完整反映宿主机的物理连接;应结合宿主机配置和虚拟设备分配方式核对。
实际判断可以归纳为:先用 PCI 地址定位设备,再读取 numa_node 并查看 PCIe 树;随后核对进程 CPU 与内存的节点分布;最后在可重复、可比较的负载下验证性能差异。只有设备归属、执行位置、数据位置和测试结果相互吻合时,才适合将跨节点访问列为性能原因之一。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5607.html



