物理服务器网卡NUMA亲和性如何判断?跨NUMA访问会带来哪些影响
物理服务器网卡的 NUMA 亲和性,不能只看网卡名称或 lspci 的设备信息。准确判断至少要确认三个位置是否一致:网卡所在的 PCIe/NUMA 节点、网卡中断与接收队列使用的 CPU、业务进程及其内存所在的 NUMA 节点。只有这三者形成较短的数据路径,才能称为业务意义上的本地访问。
跨 NUMA 访问不一定会立刻造成吞吐下降,但可能增加数据包处理延迟、尾延迟和 CPU 消耗,尤其容易影响高并发、小包、高 PPS、低延迟网络服务。判断是否需要调整,不能只看“网卡和 CPU 是否跨节点”,还要结合 p99 延迟、有效吞吐、并发度、软中断占用、远端内存访问比例以及网卡丢包情况。
先确定测试目标:判断硬件位置还是验证业务路径
NUMA 亲和性有三个层次,排查时不要混为一谈。
- 硬件亲和性:网卡 PCIe 设备挂在哪个 NUMA 节点,通常由 PCIe 根端口和主板拓扑决定。
- 中断亲和性:网卡 RX/TX 队列的 IRQ 是否运行在网卡所在节点的 CPU 上。
- 进程与内存亲和性:网络服务线程和接收缓冲区是否优先使用网卡所在节点的 CPU 与内存。
例如,网卡位于 NUMA 0,但网卡中断被调度到 NUMA 1,业务进程又在 NUMA 1 分配内存。此时不能简单地说“业务在 NUMA 1,所以没有问题”。数据包仍然可能先由 NUMA 1 的 CPU 处理,再访问由网卡 DMA 写入的 NUMA 0 内存,或者经过跨节点的数据复制。

测试目标通常包括以下三项:
- 确认网卡的硬件 NUMA 节点,判断 PCIe 拓扑是否符合预期。
- 确认数据包处理路径,包括 IRQ、RSS 队列、RPS/XPS、业务线程和内存分配位置。
- 量化跨 NUMA 的代价,用本地与跨节点的对照测试观察性能变化,而不是凭拓扑图做结论。
如果服务器只有一个 NUMA 节点,CPU 和内存不存在跨 NUMA 访问问题;如果是双路或多路服务器,则需要进一步检查每个端口和每类业务的绑定关系。
判断网卡所在的 NUMA 节点
以 Linux 服务器上的 eth0 为例,可以先找到网卡对应的 PCI BDF 地址:
IFACE=eth0
DEV=$(readlink -f "/sys/class/net/${IFACE}/device")
BDF=${DEV##*/}
printf 'interface: %s\n' "$IFACE"
printf 'pci device: %s\n' "$BDF"
cat "/sys/bus/pci/devices/${BDF}/numa_node"
lspci -D -s "$BDF" -vv | grep -E 'NUMA|LnkCap|LnkSta'
numactl -H
numa_node 返回值通常有以下几种含义:
| 返回结果 | 含义 |
|---|---|
0、1 等 | 网卡被系统识别为对应 NUMA 节点的 PCIe 设备 |
-1 | 内核或固件没有提供明确的 NUMA 归属,不等于网卡一定没有物理亲和性 |
| 文件不存在或读取失败 | 设备路径、内核接口或权限需要进一步核对 |
如果返回 -1,不能直接按“跨 NUMA”处理。可以继续查看 lspci -tv 的 PCIe 树、主板说明和 BIOS 配置,并确认内核及固件是否正确识别了 NUMA 拓扑。numactl -H 可以查看节点数量、每个节点的 CPU 列表和内存容量,但 CPU socket 与 NUMA node 并非所有平台都严格一一对应,应以系统实际输出为准。
还可以查看 PCIe 设备的本地 CPU 列表,具体文件是否存在取决于内核版本和设备导出方式:
for f in numa_node local_cpulist local_cpus; do
path="/sys/bus/pci/devices/${BDF}/${f}"
if [ -f "$path" ]; then
printf '%s: ' "$f"
cat "$path"
fi
done
这里得到的只是硬件侧的“本地范围”。它不能证明业务进程一定使用了这些 CPU,也不能证明网卡接收的数据最终没有被搬运到其他节点。
需要观察的关键指标
判断 NUMA 影响时,指标不宜过多,但必须能够覆盖网络路径、CPU、内存和业务结果。
| 指标 | 主要回答的问题 | 重点观察方式 |
|---|---|---|
| p50、p99、p999 延迟 | 跨 NUMA 是否放大了尾延迟 | 优先看应用请求延迟,不只看 ping |
| 吞吐与 PPS | 处理能力是否下降 | 同时记录 Gb/s、请求数和 packets/s |
| 并发度 | 问题在什么负载下出现 | 逐步提高连接数或请求并发 |
| CPU 总占用与软中断 | 数据包处理是否消耗更多 CPU | 关注 softirq、ksoftirqd、单核热点 |
| NUMA 内存命中情况 | 业务是否频繁访问远端内存 | 使用 numastat 等工具对比本地与远端访问 |
| 网卡队列与丢包 | RX/TX 队列是否均衡,是否出现拥塞 | 查看 RSS、IRQ 分布和网卡统计 |
| 存储 I/O | 网络数据进入存储时是否又跨了一次节点 | 关注块设备 await、util、队列深度 |
延迟不能只看平均值
跨 NUMA 的影响通常先体现在尾延迟,而不是平均延迟。平均值可能只从 80 微秒升到 86 微秒,但 p99 可能从 120 微秒升到 180 微秒,最终表现为少量请求明显变慢。
网络服务应尽量使用业务请求的端到端延迟,覆盖接收、协议处理、业务逻辑和响应发送。ping 只适合观察基础网络连通性,无法反映网卡中断、内核协议栈、内存分配和应用线程之间的 NUMA 路径。
吞吐要同时看 Gb/s 和 PPS
Gb/s 反映传输速率,PPS 反映数据包处理压力。相同的 10 Gb/s 流量,在大报文和 64 字节小报文下,对 CPU 和网卡队列的压力可能完全不同。
单位也要区分:
- 10 Gb/s 是每秒 10,000 Mb,除以 8 后约为 1,250 MB/s,按十进制换算。
- 10 GB/s 是每秒 80 Gb,不能写成 10 Gb/s。
- 实际应用吞吐还会受到协议头、TLS、复制、存储和业务处理开销影响。
如果跨 NUMA 后 Gb/s 基本不变,但 CPU 占用和 p99 上升,说明链路带宽尚未成为瓶颈,性能代价主要表现为处理效率下降。如果 PPS 很高时吞吐明显下降,则应重点检查队列、IRQ 和远端内存访问。
CPU 指标要看单核和软中断
只看整机 CPU 使用率容易漏掉 NUMA 问题。双路服务器即使总 CPU 使用率只有 45%,某个 NUMA 节点上的少数核心也可能已经被网卡软中断压满。
可以结合以下命令观察:
mpstat -P ALL 1
vmstat 1
grep -i "$IFACE" /proc/interrupts
ethtool -l "$IFACE"
ethtool -x "$IFACE"
如果某些 RX 队列长期集中在少数远端核心,可能出现以下现象:
- 某几个核心的
si或软中断占用明显高于其他核心; - 应用线程所在核心没有满载,但网卡接收处理已经成为瓶颈;
- 增加并发后吞吐增长很小,p99 延迟快速上升;
ksoftirqd占用增加,且网卡统计出现接收队列不足或丢包。
内存指标要关注远端访问比例
numastat 可以查看节点级内存命中和远端访问情况。针对具体进程,可以使用:
PID=12345
numastat -p "$PID"
不同版本的字段名称可能略有差异,通常重点关注 numa_miss、numa_foreign、other_node 或同类远端访问字段。测试时应比较本地绑定和跨节点绑定下的变化,而不是只看某一次采样。
如果业务使用了内存池、共享内存或长期运行的服务,进程启动时的内存分配位置可能与当前 CPU 位置不同。Linux 自动 NUMA 平衡、页面迁移和内存回收也可能改变结果,因此需要在稳定运行一段时间后再记录数据。
影响结果的几个变量
数据包大小和每秒包数
大报文更容易受网卡带宽和 PCIe 带宽限制,小报文更容易受中断、协议栈、缓存和内存访问影响。高 PPS 场景下,每个数据包都可能经历更多队列查找、描述符读取和缓存访问,跨节点的额外路径更容易被放大。
因此,文件传输、备份等大块数据业务与数据库连接、RPC、日志采集等小包业务,不能使用同一套 NUMA 结论。
RSS、RPS、XPS 与 IRQ 位置
现代网卡通常通过 RSS 将不同流分配到多个接收队列,再由 IRQ 绑定到指定 CPU。RPS 可能在软件层面再次把数据包转发到其他 CPU,XPS 则影响发送路径。
可以先查看网卡队列和 IRQ 分布:
grep -i "$IFACE" /proc/interrupts
for irq in $(grep -i "$IFACE" /proc/interrupts | awk '{gsub(":","",$1); print $1}'); do
printf '%s: ' "$irq"
cat "/proc/irq/${irq}/effective_affinity_list" 2>/dev/null || true
done
for f in /sys/class/net/"${IFACE}"/queues/rx-*/rps_cpus; do
[ -f "$f" ] || continue
printf '%s: ' "$f"
cat "$f"
done
如果 IRQ 运行在 NUMA 1,而网卡位于 NUMA 0,不代表一定错误。有些业务会有意将网络处理和业务线程放在同一节点,也有些场景为了均衡 CPU 使用而跨节点分布。关键是要确认这种安排是否经过测试,并且没有造成尾延迟或 CPU 额外开销。
irqbalance、容器 CPU 绑定、服务管理器和手工设置都可能影响最终结果。采样时应记录当前策略,不能只在空闲状态下查看一次 IRQ 文件。
业务线程和内存分配时机
只将服务进程绑到网卡所在节点,并不一定能保证所有内存都是本地的。常见影响因素包括:
- 工作线程由其他节点创建,内存池在其他节点初始化;
- 服务启动时没有绑定,运行中才调整 CPU;
- 线程迁移后继续使用原节点的内存;
- 容器限制了 CPU,但没有同步设置内存 NUMA 策略;
- 多进程模型中,监听进程和工作进程的绑定方式不同。
因此,业务进程的 CPU 亲和性和内存亲和性需要一起验证。只看 taskset 或只看 NUMA 节点都不完整。
PCIe 拓扑和其他 I/O 设备
网卡本地不代表整个 I/O 路径都是本地的。网络数据可能继续写入远端存储、远端 NVMe 控制器或另一套内存池。如果网络服务同时承担分布式存储、数据库写入或日志落盘,还要检查存储控制器的 PCIe/NUMA 位置。
可以在网络压测期间同步观察:
iostat -xz 1
如果网卡已经与业务线程处于同一 NUMA 节点,但磁盘 await、设备利用率或 I/O 队列深度在跨节点方案中明显升高,问题可能出现在后续存储路径,而不是网卡亲和性本身。
用对照测试确认跨 NUMA 的实际代价
为了避免把频率变化、连接数变化或网卡配置差异误判为 NUMA 影响,应使用相同的报文大小、连接模型、队列数量、网卡卸载配置和测试时长。
在双节点服务器上,可以设置三组对照:
NIC_NODE=0
REMOTE_NODE=1
# CPU 和内存都放在网卡所在节点
numactl --cpunodebind="$NIC_NODE" \
--membind="$NIC_NODE" \
-- ./server --config ./server.conf
# CPU 在网卡节点,但内存强制分配到另一节点
numactl --cpunodebind="$NIC_NODE" \
--membind="$REMOTE_NODE" \
-- ./server --config ./server.conf
# CPU 和内存都放在另一节点
numactl --cpunodebind="$REMOTE_NODE" \
--membind="$REMOTE_NODE" \
-- ./server --config ./server.conf
这组命令适合用于有明确启动参数的测试服务。生产服务不要直接修改启动方式,尤其是服务包含共享内存、固定 CPU、设备直通或特殊内存分配策略时,应先在独立测试实例中验证。测试前还要确认节点编号、可用 CPU 数量和应用是否允许内存绑定。
三组结果可以这样理解:
- 本地 CPU + 本地内存:作为理想本地路径基线。
- 本地 CPU + 远端内存:主要用于观察内存访问本身的代价。
- 远端 CPU + 远端内存:用于模拟业务完全放在非网卡节点的情况。
- 本地 CPU + 远端内存比本地基线差很多:说明内存位置是主要因素。
- 两种内存位置差异不大,但远端 CPU 结果明显变差:说明 IRQ、缓存和 CPU 数据处理路径更关键。
测试时建议先预热,再以固定并发度运行多个周期。每个周期至少记录吞吐、P50、P99、P999、CPU、软中断、远端内存访问、网卡丢包和存储 I/O。不要只取最高吞吐值,应该记录稳定区间和延迟变化。
下面是一组用于解释方法的示例数据,不代表某种固定硬件的实测结果:

| 指标 | 本地 CPU/本地内存 | 本地 CPU/远端内存 | 远端 CPU/远端内存 |
|---|---|---|---|
| P99 延迟 | 78 微秒 | 96 微秒 | 112 微秒 |
| 有效吞吐 | 94 Gb/s | 92 Gb/s | 90 Gb/s |
| 业务 CPU 占用 | 62% | 69% | 76% |
| 软中断占用 | 38% | 47% | 56% |
| 远端内存访问比例 | 7% | 31% | 35% |
| 网卡接收丢包 | 0 | 0 | 0 |
这个例子中,吞吐只下降约 4.3%,但 P99 延迟从 78 微秒增加到 112 微秒,增幅约 43.6%,同时 CPU 消耗明显上升。对于吞吐优先的批量传输,影响可能可以接受;对于低延迟 RPC、交易撮合或实时推送,则可能已经超过业务边界。
另一种常见结果是大报文测试几乎跑满链路,跨 NUMA 前后吞吐差异很小,但小报文高并发测试中 p99 和 CPU 明显恶化。这说明带宽不是当前瓶颈,NUMA 额外开销主要体现在每包处理和缓存访问上。
结果解释与调整边界
可以采用以下条件作为工程上的初步判断,最终仍应以业务 SLO 和容量目标为准:
| 对照结果 | 判断 | 处理建议 |
|---|---|---|
| p99 增幅小于约 5%,吞吐下降小于约 3%,CPU 有充足余量且无丢包 | 跨 NUMA 影响较小 | 不必为了拓扑完全一致而增加复杂绑定 |
| p99 增幅约 5%至 15%,吞吐下降约 3%至 8%,软中断明显增加 | 已有可观影响 | 优先调整 IRQ、RSS 队列、业务线程和内存位置 |
| p99 增幅超过约 15%,或高并发时延迟陡增 | 可能影响业务 SLO | 重新设计节点绑定,并检查是否存在单核热点 |
| 吞吐下降不大但 CPU 接近饱和 | 当前容量被 CPU 而非链路限制 | 先解决处理路径,再判断是否需要升级网卡或增加实例 |
出现持续丢包、RX 队列不足或 ksoftirqd 长时间高占用 | 已达到运行风险边界 | 检查队列数量、IRQ 分布、CPU 配额和内存压力 |
这些数值适合做初筛,不应当当作所有服务器的硬性标准。若业务要求 P99 小于 1 毫秒,即使跨 NUMA 增加 100 微秒仍可能可以接受;若业务要求 P99 小于 100 微秒,增加 20 微秒也可能需要处理。
还要区分“亲和性不理想”和“亲和性不适用”。以下情况不一定需要强制本地化:
- 业务吞吐低、并发低,CPU 和内存仍有较大余量;
- 网卡端口主要承担大报文传输,延迟不是核心指标;
- 业务本身需要跨节点共享数据,强行绑定反而造成其他线程拥塞;
- 网卡位于某节点,但该节点没有足够的空闲核心;
- 多端口网卡、存储控制器和业务线程的整体拓扑要求做均衡,而不是单纯追求单端口本地化。
相反,以下情况通常值得优先调整:
- 网卡 IRQ 明显集中在非本地节点;
- 业务进程已经绑定本地 CPU,但内存长期从远端节点分配;
- 并发上升后 p99 增长速度明显高于本地基线;
- CPU 总利用率不高,但少数核心、软中断或
ksoftirqd已经饱和; - 网卡无明显带宽瓶颈,却出现吞吐下降和处理 CPU 增长;
- 网络数据还要进入远端存储,形成连续的跨节点 I/O 路径。
用容量复测决定是否长期绑定
完成一次 NUMA 对照测试后,不能把测试环境的绑定参数直接当成生产标准。以下变化都可能改变结论:
- BIOS、内核、网卡固件或驱动版本变化;
- 网卡队列数量、RSS 配置或 IRQ 管理策略变化;
- 业务线程数、连接数、报文大小和加密方式变化;
- CPU 频率策略、内存容量和内存条布局变化;
- 存储控制器、NVMe 设备或日志路径变化;
- 容器 CPU 配额、内存限制和调度策略变化。
更稳妥的容量判断方法是,先在目标业务的典型报文大小和峰值并发下建立本地基线,再逐步提高负载,记录每个负载点的 p99、吞吐、PPS、CPU、远端内存比例和丢包情况。可用容量应取以下边界中更严格的一项:
- p99 达到业务 SLO 的负载点;
- 吞吐不再随并发增长的负载点;
- 网卡开始持续丢包或出现接收队列不足的负载点;
- 软中断或关键 CPU 核心长期接近饱和的负载点;
- 远端内存访问随负载快速上升并造成延迟拐点的负载点。
在生产规划中,建议不要把上述边界当作常态运行点,而应预留 CPU、内存带宽和队列处理余量。只有当网卡节点、IRQ、业务线程、内存和后续存储路径都经过同一组负载条件验证后,才能判断跨 NUMA 是否真的影响当前业务,以及是否值得为本地化调整付出部署和运维复杂度。
A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,覆盖Xeon Gold、AMD EPYC及不同内存、存储和网络配置,可为网络服务、数据库及多任务负载提供部署资源。香港和美国等地的服务器系列也提供不同的带宽线路选择,便于围绕业务所在地区和网络路径规划硬件资源;部分方案配备NVMe存储,适合承载对存储性能有要求的业务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6447.html

