物理服务器如何查看PCIe设备的NUMA归属?怎样判断跨节点访问影响

发布人:A5数据发布时间:2026-10-30 14:31阅读量:105

在 Linux 物理服务器上,判断 PCIe 设备属于哪个 NUMA 节点,优先查看设备对应的 sysfs 属性,而不是只看机箱上的插槽编号或 lspci 的总线地址。最直接的依据通常是 /sys/bus/pci/devices/<BDF>/numa_node,再结合 local_cpulist、主机 NUMA 拓扑和实际工作进程的 CPU、内存分布进行判断。

需要注意的是,“PCIe 设备属于 NUMA 节点 1”只表示操作系统认为它与节点 1 的 PCIe 根端口或 I/O 子系统更接近,并不等于所有访问都发生在节点 1。只有当工作线程所在 CPU、DMA 缓冲区所在内存节点、PCIe 设备的归属节点不一致时,才可能形成跨节点访问;是否造成明显性能影响,还要看访问方向、流量规模、队列与中断分布等条件。

先划清 PCIe 设备 NUMA 归属的边界

NUMA 节点不等于 CPU 插槽编号

NUMA 是处理器、内存和 I/O 设备之间的距离关系。双路服务器通常至少有两个 NUMA 节点,但“NUMA 节点 0”不一定永远等于物理 CPU 插槽 0:

  • 某些平台会把一个处理器对应为一个 NUMA 节点;
  • 部分新型平台会把一个处理器拆分为多个 NUMA 节点;
  • 一个 NUMA 节点可能包含多个 CPU 核、内存控制器和 PCIe 根端口;
  • BIOS 中的 SNC、NPS、节点拆分等设置可能改变节点数量和拓扑。

因此,不应仅凭 CPU0、Socket 0 或机箱标签推断 PCIe 设备归属。应先查看操作系统识别出的节点和 CPU 映射。

设备归属、工作线程和 DMA 内存是三个关系

判断跨节点影响时,至少要分别确认以下三项:

对象需要确认的内容典型查看方式
PCIe 设备设备被内核归属到哪个 NUMA 节点/sys/bus/pci/devices/<BDF>/numa_node
工作线程进程或线程运行在哪些 CPU、对应哪些节点taskset、ps、lscpu
DMA 缓冲区设备读写的内存主要位于哪个 NUMA 节点numastat、/proc/<PID>/numa_maps、驱动行为

理想状态通常是三者尽量一致。例如,网卡归属节点 1,收包线程运行在节点 1 的 CPU 上,接收缓冲区也从节点 1 分配。若网卡在节点 1,但线程固定在节点 0,数据包到达后的处理就可能需要跨节点访问。

不过,不同设备的关键路径并不完全相同:

  • 网卡更关注 DMA 缓冲区、收发队列、中断和软中断处理线程;
  • NVMe 更关注控制器、提交线程、完成中断和 I/O 缓冲区;
  • GPU 或加速卡还要考虑主机内存、设备显存和设备间 P2P 路径;
  • FPGA、采集卡等设备可能由专用驱动决定 DMA 内存节点。

PCIe 设备为什么会有 NUMA 归属

PCIe 根端口决定了设备的大致本地性

PCIe 设备并不是直接连接到所有 CPU,而是挂在某个 PCIe Root Complex、Root Port 或 PCIe Switch 后面。服务器主板上的每组 PCIe 插槽,通常由某个处理器或 I/O Die 提供。

PCIe 设备为什么会有 NUMA 归属配图

一个简化的路径可以表示为:

CPU NUMA Node 0 ─ 内存控制器 0
              └ PCIe Root Complex 0 ─ Root Port ─ PCIe 设备

CPU NUMA Node 1 ─ 内存控制器 1
              └ PCIe Root Complex 1 ─ Root Port ─ PCIe 设备

当设备位于节点 1 的 Root Complex 下时,Linux 通常会将其 numa_node 标记为 1。设备访问节点 1 的内存,或者节点 1 的 CPU 访问设备控制寄存器,路径通常更短;访问另一个节点的资源,则可能经过处理器之间的互连链路。

实际服务器中还可能存在 PCIe Switch、桥接芯片、重定时器或专用 I/O 芯片,因此物理插槽位置只能作为参考,不能代替系统拓扑信息。

numa_node 是内核的邻近关系标记

Linux 常见的 PCIe 设备目录如下:

/sys/bus/pci/devices/0000:3b:00.0/

其中:

  • 0000 是 PCI 域;
  • 3b 是总线号;
  • 00 是设备号;
  • .0 是功能号。

这个完整地址也称为 BDF。设备目录中的 numa_node 一般由固件提供的 ACPI 拓扑信息和内核解析结果形成。常见值包括:

0
1
-1

其中 0 和 1 表示节点编号,-1 表示系统没有提供明确的 NUMA 归属。-1 不一定说明设备性能异常,也可能是固件没有描述 I/O 邻近关系、内核无法解析,或者设备位于虚拟化或特殊桥接路径之后。

local_cpulist 则通常表示与该 PCIe 设备邻近的 CPU 列表。例如:

48-95

它可以帮助判断哪些 CPU 更适合承担该设备的中断和工作线程,但它同样是拓扑建议,不是强制调度规则。

哪些因素会放大跨节点访问影响

CPU 与 PCIe 设备不在同一节点

如果设备归属节点 1,而进程只运行在节点 0 的 CPU 上,常见影响包括:

  • CPU 访问设备 MMIO 寄存器的路径更远;
  • 中断或 MSI-X 完成通知可能落在远端 CPU;
  • CPU 处理设备写入的数据时,需要访问远端内存;
  • 设备驱动的队列管理和控制信息可能位于非本地内存。

对于低速管理流量,这些差异可能不明显。对于高包速网络、低延迟存储或大量小 I/O,额外的访问路径更容易体现为延迟抖动、CPU 占用上升或吞吐下降。

DMA 缓冲区与设备不在同一节点

设备进行 DMA 时,真正需要关注的是 DMA 目标或源内存位于哪个节点。例如:

PCIe 网卡:节点 1
接收缓冲区:节点 0

此时网卡写入数据时,数据需要从设备所在的 I/O 路径到达节点 0 的内存控制器。即使收包线程也运行在节点 0,设备到内存的路径仍然可能是跨节点的。

反过来,如果:

PCIe 网卡:节点 1
接收缓冲区:节点 1
收包线程:节点 0

设备 DMA 可能较为接近,但 CPU 处理数据时仍然要访问节点 1 的内存。这个场景不能简单归类为“完全本地”或“完全远端”,而应区分设备到内存、CPU 到内存两个方向。

中断和队列没有跟随设备节点

多队列网卡、NVMe 控制器和加速卡通常会产生多个 MSI-X 中断。即使设备和内存配置正确,如果中断被调度到远端 CPU,处理链路仍可能跨节点。

网卡的典型路径是:

哪些因素会放大跨节点访问影响配图

设备收包
  → DMA 写入接收缓冲区
  → MSI-X 中断或 NAPI 调度
  → 软中断处理
  → 应用线程读取数据

这条路径涉及设备、DMA 内存、中断 CPU 和应用 CPU 四个位置。只查看设备 numa_node,不能证明整个数据路径都是本地的。

PCIe 链路本身也可能是瓶颈

NUMA 不应成为所有 PCIe 性能问题的默认解释。设备协商到的链路宽度和速率同样重要。例如,设备原本应为 Width x16,但实际只协商到 Width x8,即使 NUMA 分布完全合理,也可能出现明显吞吐差异。

因此,判断时应同时留意:

  • PCIe 链路速率和宽度;
  • PCIe Switch 是否共享上行链路;
  • IOMMU 和 DMA 映射开销;
  • 驱动队列数量;
  • 中断分布;
  • CPU 利用率和内存带宽;
  • 设备是否支持或使用 P2P DMA。

用命令查看 PCIe 设备的 NUMA 节点

以下示例以 Linux 物理机上的 PCIe 设备 0000:3b:00.0 为例。命令主要是读取 sysfs、查看拓扑和读取统计信息,不会修改设备配置。

第一步:确认设备的 BDF

先列出 PCIe 设备:

lspci -Dnn

示例输出:

0000:3b:00.0 Ethernet controller [0200]: Example Network Adapter [1234:5678]
0000:5e:00.0 Non-Volatile memory controller [0108]: Example NVMe Controller [1abc:1001]
0000:af:00.0 VGA compatible controller [0300]: Example Accelerator [1def:2002]

使用完整 BDF 可以避免多 PCI 域或相同总线号导致的歧义:

BDF=0000:3b:00.0
lspci -Dnn -s "$BDF"

查看详细信息:

lspci -Dvv -s "$BDF"

在部分 pciutils 版本中,详细输出会包含类似内容:

NUMA node: 1
LnkCap: Port #0, Speed 32GT/s, Width x16
LnkSta: Speed 32GT/s, Width x16
Kernel driver in use: example_driver

lspci 是否显示 NUMA node 取决于版本和系统环境。没有显示时,不代表设备没有 NUMA 信息,应以 sysfs 为准。

第二步:直接读取 numa_node 和本地 CPU

BDF=0000:3b:00.0
DEV="/sys/bus/pci/devices/$BDF"

printf 'NUMA node: '
if [ -r "$DEV/numa_node" ]; then
    cat "$DEV/numa_node"
else
    echo "unavailable"
fi

printf 'Local CPUs: '
if [ -r "$DEV/local_cpulist" ]; then
    cat "$DEV/local_cpulist"
else
    echo "unavailable"
fi

printf 'Device path: '
readlink -f "$DEV"

典型示例:

NUMA node: 1
Local CPUs: 48-95
Device path: /sys/devices/pci0000:80/0000:80:02.0/0000:3b:00.0

这里可以得到三个重要信息:

  • NUMA node: 1:内核认为设备邻近节点 1;
  • Local CPUs: 48-95:这些 CPU 通常属于设备的本地 CPU 范围;
  • Device path:可以观察设备经过了哪个 PCIe 总线层级。

如果需要查看原始 CPU 位图,也可以读取:

cat "$DEV/local_cpus"

local_cpus 常以十六进制位图表示,人工阅读不如 local_cpulist 直观。

第三步:查看 PCIe 树和上游根端口

lspci -Dtv

示例:

-[0000:80]-+-00.0
           +-02.0-[3b]----00.0
           +-03.0-[5e]----00.0

在树形输出中,先找到目标设备,再向上观察它经过的桥和 Root Port。若设备位于复杂的 PCIe Switch 后面,可以同时查看相关上游桥的详细信息:

lspci -Dvv -s 0000:80:02.0
lspci -Dvv -s 0000:3b:00.0

上游桥和终端设备的 numa_node 通常应当具有一致的邻近关系。如果终端设备显示为 -1,但上游 Root Port 有明确节点,说明需要进一步结合固件、内核版本和设备驱动判断,不能直接把 Root Port 的节点强行当成设备节点。

查看服务器的 NUMA 拓扑

确认节点、CPU 和内存分布

numactl --hardware

示例输出:

available: 2 nodes (0-1)
node 0 cpus: 0-47
node 0 size: 257800 MB
node 0 free: 218400 MB
node 1 cpus: 48-95
node 1 size: 257900 MB
node 1 free: 221100 MB
node distances:
node   0   1
  0:  10  21
  1:  21  10

这里可以判断:

  • 节点 0 的 CPU 是 0-47;
  • 节点 1 的 CPU 是 48-95;
  • 本地距离通常小于远端距离;
  • 10、21 这类距离值是固件和内核使用的相对尺度,不应直接当作纳秒延迟。

也可以使用:

lscpu -e=CPU,NODE,SOCKET

示例:

CPU NODE SOCKET
  0    0      0
  1    0      0
...
 48    1      1
 49    1      1

若需要逐个查看节点距离:

for f in /sys/devices/system/node/node*/distance; do
    printf '%s: ' "$f"
    cat "$f"
done

对照设备节点和本地 CPU

设备节点为 1、本地 CPU 为 48-95,而工作进程被绑定在 0-47 时,可以明确判断为“设备与工作 CPU 存在跨 NUMA 节点关系”。

但这还不能直接等同于“性能一定下降”。还要继续确认进程内存和设备 DMA 缓冲区位置。

针对网卡和 NVMe 做设备级核对

网卡

先从接口名称反查 PCIe BDF:

IF=ens5f0

readlink -f "/sys/class/net/$IF/device"
cat "/sys/class/net/$IF/device/numa_node"
cat "/sys/class/net/$IF/device/local_cpulist"

示例:

/sys/devices/pci0000:80/0000:80:02.0/0000:3b:00.0
1
48-95

查看网卡队列和驱动信息:

ethtool -i "$IF"
ethtool -l "$IF"

查看中断落在哪些 CPU:

针对网卡和 NVMe 做设备级核对配图

grep -i "$IF" /proc/interrupts

示例:

  145:   12003455          0          0          0  IR-PCI-MSI  524288-edge  ens5f0-TxRx-0
  146:          0   11894521          0          0  IR-PCI-MSI  524289-edge  ens5f0-TxRx-1

再查看对应 IRQ 的 CPU 亲和性:

cat /proc/irq/145/smp_affinity_list
cat /proc/irq/146/smp_affinity_list

如果网卡节点为 1,但网卡主要中断位于 0-47,且收发线程也运行在节点 0,就存在较明确的跨节点处理路径。此时应结合包速率、软中断 CPU 占用、队列利用率和应用延迟观察实际影响。

NVMe

先确认控制器名称:

ls -l /sys/class/nvme/

读取控制器的 NUMA 属性:

CTRL=nvme0

readlink -f "/sys/class/nvme/$CTRL/device"
cat "/sys/class/nvme/$CTRL/device/numa_node"
cat "/sys/class/nvme/$CTRL/device/local_cpulist"

查看 NVMe 中断分布:

grep -i nvme /proc/interrupts

块设备层面的 I/O 统计可以使用:

iostat -x 1 5

如果 NVMe 控制器属于节点 1,而 I/O 提交线程固定在节点 0,或者 I/O 缓冲区主要位于节点 0,则需要进一步比较本地和远端绑定条件下的延迟、队列深度和 CPU 使用率。不能仅凭磁盘设备名或 /dev/nvme0n1 判断 NUMA 关系。

判断跨节点访问是否已经造成影响

先建立三者关系表

可以把核对结果整理成如下形式:

检查项示例结果判断
PCIe 设备节点1设备邻近节点 1
工作线程 CPU0-47工作线程位于节点 0
DMA 或应用内存0设备或 CPU 访问节点 0 内存
中断 CPU48-95中断位于节点 1
NUMA 距离10/21节点 0 与节点 1 存在明显相对距离

这个例子中,设备到内存可能较远,但中断处理 CPU 与设备同节点;最终影响取决于应用线程是否需要频繁读取 DMA 数据,以及数据缓冲区最终位于哪个节点。

查看进程 CPU 亲和性和内存分布

假设进程 PID 为 8421:

PID=8421

taskset -pc "$PID"
ps -o pid,psr,comm -p "$PID"
numastat -p "$PID"

taskset 显示的是允许使用的 CPU 范围,不一定代表进程此刻一直运行在这些 CPU 上。多线程程序还需要逐线程检查:

ls /proc/"$PID"/task

对具体线程查看:

TID=8450
taskset -pc "$TID"
ps -o pid,tid,psr,comm -p "$TID"

numastat -p 可显示进程内存按节点的分布。示例数据如下:

Per-node process memory usage (in MBs) for PID 8421
                           Node 0   Node 1   Total
Private                     812       34     846
Heap                        460       12     472
Stack                         8        0       8
Mapped                      340       22     362
Total                       820       34     854

这个结果表示进程大部分页面位于节点 0。若设备归属节点 1,则设备 DMA 到这些页面时可能产生跨节点访问。

还可以抽样查看页面分布:

grep -E '(^[0-9a-f]+-| N[0-9]+=)' "/proc/$PID/numa_maps" | head -n 20

numastat 和 numa_maps 反映的是页面分布,不是设备 DMA 字节数。它们可以帮助定位“内存放在哪里”,但不能单独证明某条 PCIe 链路已经成为瓶颈。

用受控绑定做对照测试

如果需要验证跨节点是否造成可观测影响,可以在同一台服务器、相同负载和相同数据规模下做本地与远端对照。以下示例只对测试进程生效:

判断跨节点访问是否已经造成影响配图

numactl --cpunodebind=1 --membind=1 ./workload

这表示将测试进程的 CPU 和内存都绑定到节点 1。如果 PCIe 设备也位于节点 1,可作为较接近本地的测试条件。

再进行远端对照:

numactl --cpunodebind=0 --membind=0 ./workload

比较时至少记录:

  • 请求或 I/O 平均延迟和尾延迟;
  • 吞吐量、包速率或 IOPS;
  • 进程 CPU 使用率;
  • 软中断或 I/O 完成线程所在 CPU;
  • numastat -p 显示的内存节点分布;
  • 设备队列、错误计数和 PCIe 链路状态。

如果只有 CPU 和内存节点发生变化,设备、驱动、数据集和并发度保持一致,并且多次测试都出现稳定差异,才能较有把握地将差异归因于 NUMA 路径。一次采样中的延迟波动,不能直接作为跨节点影响的证据。

测试绑定也有边界:对于网卡,仍需考虑 IRQ 和 NAPI 线程;对于 NVMe,需要考虑完成队列和工作线程;对于 GPU 或专用加速卡,还要检查设备驱动的内存分配策略。

典型判断结果与处理边界

可以认为存在较明确跨节点风险的情况

以下条件同时出现时,风险较明确:

  • PCIe 设备的 numa_node 为 1;
  • 应用线程或中断主要位于节点 0;
  • numastat -p 显示应用页面主要在节点 0;
  • 设备承担高频 DMA 或大量小包、小 I/O;
  • 本地和远端绑定测试出现可重复的延迟或吞吐差异。

这时应优先调整工作线程、IRQ、队列和内存分配,使它们尽量围绕设备所属节点布局。

不能直接判定为性能问题的情况

以下结果只能说明拓扑关系,不能单独证明性能已经受损:

  • 设备节点和 CPU 节点不同,但业务流量很低;
  • numa_node 不同,但应用大部分时间并不访问该设备;
  • numastat 显示内存跨节点,但设备 DMA 很少;
  • 进程允许使用多个节点,无法确认实际工作线程位置;
  • 只看到 NUMA 距离数值,没有延迟、吞吐或 CPU 对照结果。

NUMA 是性能分析的一个维度,不是所有 PCIe 问题的统一解释。链路降速、设备共享 Switch 上行、驱动队列不足、IOMMU 映射、锁竞争和应用本身的批处理策略,都可能产生类似现象。

numa_node=-1、虚拟机和特殊设备的限制

numa_node=-1 时不要强行推断

如果执行:

cat /sys/bus/pci/devices/0000:3b:00.0/numa_node

得到:

-1

应将结果标记为“NUMA 归属未知”,而不是默认归到节点 0。可以继续查看:

readlink -f /sys/bus/pci/devices/0000:3b:00.0
lspci -Dtv
lspci -Dvv -s 0000:3b:00.0

同时检查 BIOS 的 NUMA、I/O 资源和处理器拓扑设置,以及内核版本是否正确识别该平台。若上游 Root Port 有节点信息而终端设备没有,只能把上游信息作为参考,不能替代设备自身属性。

虚拟机中看到的节点可能不是物理节点

在虚拟机中,PCIe 设备可能是虚拟设备、直通设备或 SR-IOV VF。虚拟机内看到的:

  • BDF;
  • numa_node;
  • CPU 节点;
  • 内存节点;

不一定等同于物理宿主机的 PCIe 拓扑。直通设备还需要同时检查宿主机上的 PF、Root Port 和物理插槽关系。容器通常共享宿主机内核,但权限和可见的 sysfs 内容可能受到限制。

P2P 和设备显存场景需要额外分析

如果数据在 GPU、网卡、NVMe 或其他加速设备之间直接传输,CPU 内存的 NUMA 归属不一定代表完整数据路径。P2P DMA 可能受 PCIe Root Complex、ACS、IOMMU、设备驱动和硬件兼容性影响。

因此,针对这类场景,numa_node 只能回答“设备靠近哪个 NUMA 节点”,不能单独回答“两个设备之间是否能够本地直连”或“数据是否一定经过主机内存”。

判断物理服务器 PCIe 设备的 NUMA 归属,建议采用以下证据链:先用完整 BDF 定位设备,再读取 numa_node 和 local_cpulist,用 numactl --hardware 确认节点与 CPU 映射,最后把工作线程、中断和 DMA 内存位置放在同一张关系表中。只有在拓扑结果与可重复的本地、远端性能对照相互印证时,才能把跨节点访问认定为实际影响;遇到 -1、虚拟设备、PCIe Switch 或 P2P DMA 时,则应保留“拓扑未知或路径不完整”的判断边界。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖常规计算、AMD平台、GPU及存储型方案,可为数据库、网络服务和计算任务提供不同的硬件资源基础。部分产品搭配多核CPU、大容量内存与NVMe存储,香港和美国还提供GPU服务器,适用于AI推理及图像处理等负载。多地区产品的处理器、存储和网络配置各有不同,为不同部署地点与业务资源需求提供了可选方案。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6621.html

相关推荐