物理服务器网卡NUMA亲和性如何判断?跨NUMA访问会带来哪些影响

发布人:A5数据发布时间:2026-10-29 14:59阅读量:71

物理服务器网卡的 NUMA 亲和性,不能只看网卡名称或 lspci 的设备信息。准确判断至少要确认三个位置是否一致:网卡所在的 PCIe/NUMA 节点、网卡中断与接收队列使用的 CPU、业务进程及其内存所在的 NUMA 节点。只有这三者形成较短的数据路径,才能称为业务意义上的本地访问。

跨 NUMA 访问不一定会立刻造成吞吐下降,但可能增加数据包处理延迟、尾延迟和 CPU 消耗,尤其容易影响高并发、小包、高 PPS、低延迟网络服务。判断是否需要调整,不能只看“网卡和 CPU 是否跨节点”,还要结合 p99 延迟、有效吞吐、并发度、软中断占用、远端内存访问比例以及网卡丢包情况。

先确定测试目标:判断硬件位置还是验证业务路径

NUMA 亲和性有三个层次,排查时不要混为一谈。

  • 硬件亲和性:网卡 PCIe 设备挂在哪个 NUMA 节点,通常由 PCIe 根端口和主板拓扑决定。
  • 中断亲和性:网卡 RX/TX 队列的 IRQ 是否运行在网卡所在节点的 CPU 上。
  • 进程与内存亲和性:网络服务线程和接收缓冲区是否优先使用网卡所在节点的 CPU 与内存。

例如,网卡位于 NUMA 0,但网卡中断被调度到 NUMA 1,业务进程又在 NUMA 1 分配内存。此时不能简单地说“业务在 NUMA 1,所以没有问题”。数据包仍然可能先由 NUMA 1 的 CPU 处理,再访问由网卡 DMA 写入的 NUMA 0 内存,或者经过跨节点的数据复制。

先确定测试目标:判断硬件位置还是验证业务路径配图

测试目标通常包括以下三项:

  1. 确认网卡的硬件 NUMA 节点,判断 PCIe 拓扑是否符合预期。
  2. 确认数据包处理路径,包括 IRQ、RSS 队列、RPS/XPS、业务线程和内存分配位置。
  3. 量化跨 NUMA 的代价,用本地与跨节点的对照测试观察性能变化,而不是凭拓扑图做结论。

如果服务器只有一个 NUMA 节点,CPU 和内存不存在跨 NUMA 访问问题;如果是双路或多路服务器,则需要进一步检查每个端口和每类业务的绑定关系。

判断网卡所在的 NUMA 节点

以 Linux 服务器上的 eth0 为例,可以先找到网卡对应的 PCI BDF 地址:

IFACE=eth0
DEV=$(readlink -f "/sys/class/net/${IFACE}/device")
BDF=${DEV##*/}

printf 'interface: %s\n' "$IFACE"
printf 'pci device: %s\n' "$BDF"

cat "/sys/bus/pci/devices/${BDF}/numa_node"
lspci -D -s "$BDF" -vv | grep -E 'NUMA|LnkCap|LnkSta'
numactl -H

numa_node 返回值通常有以下几种含义:

返回结果含义
0、1 等网卡被系统识别为对应 NUMA 节点的 PCIe 设备
-1内核或固件没有提供明确的 NUMA 归属,不等于网卡一定没有物理亲和性
文件不存在或读取失败设备路径、内核接口或权限需要进一步核对

如果返回 -1,不能直接按“跨 NUMA”处理。可以继续查看 lspci -tv 的 PCIe 树、主板说明和 BIOS 配置,并确认内核及固件是否正确识别了 NUMA 拓扑。numactl -H 可以查看节点数量、每个节点的 CPU 列表和内存容量,但 CPU socket 与 NUMA node 并非所有平台都严格一一对应,应以系统实际输出为准。

还可以查看 PCIe 设备的本地 CPU 列表,具体文件是否存在取决于内核版本和设备导出方式:

for f in numa_node local_cpulist local_cpus; do
    path="/sys/bus/pci/devices/${BDF}/${f}"
    if [ -f "$path" ]; then
        printf '%s: ' "$f"
        cat "$path"
    fi
done

这里得到的只是硬件侧的“本地范围”。它不能证明业务进程一定使用了这些 CPU,也不能证明网卡接收的数据最终没有被搬运到其他节点。

需要观察的关键指标

判断 NUMA 影响时,指标不宜过多,但必须能够覆盖网络路径、CPU、内存和业务结果。

指标主要回答的问题重点观察方式
p50、p99、p999 延迟跨 NUMA 是否放大了尾延迟优先看应用请求延迟,不只看 ping
吞吐与 PPS处理能力是否下降同时记录 Gb/s、请求数和 packets/s
并发度问题在什么负载下出现逐步提高连接数或请求并发
CPU 总占用与软中断数据包处理是否消耗更多 CPU关注 softirq、ksoftirqd、单核热点
NUMA 内存命中情况业务是否频繁访问远端内存使用 numastat 等工具对比本地与远端访问
网卡队列与丢包RX/TX 队列是否均衡,是否出现拥塞查看 RSS、IRQ 分布和网卡统计
存储 I/O网络数据进入存储时是否又跨了一次节点关注块设备 await、util、队列深度

延迟不能只看平均值

跨 NUMA 的影响通常先体现在尾延迟,而不是平均延迟。平均值可能只从 80 微秒升到 86 微秒,但 p99 可能从 120 微秒升到 180 微秒,最终表现为少量请求明显变慢。

网络服务应尽量使用业务请求的端到端延迟,覆盖接收、协议处理、业务逻辑和响应发送。ping 只适合观察基础网络连通性,无法反映网卡中断、内核协议栈、内存分配和应用线程之间的 NUMA 路径。

吞吐要同时看 Gb/s 和 PPS

Gb/s 反映传输速率,PPS 反映数据包处理压力。相同的 10 Gb/s 流量,在大报文和 64 字节小报文下,对 CPU 和网卡队列的压力可能完全不同。

单位也要区分:

  • 10 Gb/s 是每秒 10,000 Mb,除以 8 后约为 1,250 MB/s,按十进制换算。
  • 10 GB/s 是每秒 80 Gb,不能写成 10 Gb/s。
  • 实际应用吞吐还会受到协议头、TLS、复制、存储和业务处理开销影响。

如果跨 NUMA 后 Gb/s 基本不变,但 CPU 占用和 p99 上升,说明链路带宽尚未成为瓶颈,性能代价主要表现为处理效率下降。如果 PPS 很高时吞吐明显下降,则应重点检查队列、IRQ 和远端内存访问。

CPU 指标要看单核和软中断

只看整机 CPU 使用率容易漏掉 NUMA 问题。双路服务器即使总 CPU 使用率只有 45%,某个 NUMA 节点上的少数核心也可能已经被网卡软中断压满。

可以结合以下命令观察:

mpstat -P ALL 1
vmstat 1
grep -i "$IFACE" /proc/interrupts
ethtool -l "$IFACE"
ethtool -x "$IFACE"

如果某些 RX 队列长期集中在少数远端核心,可能出现以下现象:

  • 某几个核心的 si 或软中断占用明显高于其他核心;
  • 应用线程所在核心没有满载,但网卡接收处理已经成为瓶颈;
  • 增加并发后吞吐增长很小,p99 延迟快速上升;
  • ksoftirqd 占用增加,且网卡统计出现接收队列不足或丢包。

内存指标要关注远端访问比例

numastat 可以查看节点级内存命中和远端访问情况。针对具体进程,可以使用:

PID=12345
numastat -p "$PID"

不同版本的字段名称可能略有差异,通常重点关注 numa_miss、numa_foreign、other_node 或同类远端访问字段。测试时应比较本地绑定和跨节点绑定下的变化,而不是只看某一次采样。

如果业务使用了内存池、共享内存或长期运行的服务,进程启动时的内存分配位置可能与当前 CPU 位置不同。Linux 自动 NUMA 平衡、页面迁移和内存回收也可能改变结果,因此需要在稳定运行一段时间后再记录数据。

影响结果的几个变量

数据包大小和每秒包数

大报文更容易受网卡带宽和 PCIe 带宽限制,小报文更容易受中断、协议栈、缓存和内存访问影响。高 PPS 场景下,每个数据包都可能经历更多队列查找、描述符读取和缓存访问,跨节点的额外路径更容易被放大。

因此,文件传输、备份等大块数据业务与数据库连接、RPC、日志采集等小包业务,不能使用同一套 NUMA 结论。

RSS、RPS、XPS 与 IRQ 位置

现代网卡通常通过 RSS 将不同流分配到多个接收队列,再由 IRQ 绑定到指定 CPU。RPS 可能在软件层面再次把数据包转发到其他 CPU,XPS 则影响发送路径。

可以先查看网卡队列和 IRQ 分布:

grep -i "$IFACE" /proc/interrupts

for irq in $(grep -i "$IFACE" /proc/interrupts | awk '{gsub(":","",$1); print $1}'); do
    printf '%s: ' "$irq"
    cat "/proc/irq/${irq}/effective_affinity_list" 2>/dev/null || true
done

for f in /sys/class/net/"${IFACE}"/queues/rx-*/rps_cpus; do
    [ -f "$f" ] || continue
    printf '%s: ' "$f"
    cat "$f"
done

如果 IRQ 运行在 NUMA 1,而网卡位于 NUMA 0,不代表一定错误。有些业务会有意将网络处理和业务线程放在同一节点,也有些场景为了均衡 CPU 使用而跨节点分布。关键是要确认这种安排是否经过测试,并且没有造成尾延迟或 CPU 额外开销。

irqbalance、容器 CPU 绑定、服务管理器和手工设置都可能影响最终结果。采样时应记录当前策略,不能只在空闲状态下查看一次 IRQ 文件。

业务线程和内存分配时机

只将服务进程绑到网卡所在节点,并不一定能保证所有内存都是本地的。常见影响因素包括:

  • 工作线程由其他节点创建,内存池在其他节点初始化;
  • 服务启动时没有绑定,运行中才调整 CPU;
  • 线程迁移后继续使用原节点的内存;
  • 容器限制了 CPU,但没有同步设置内存 NUMA 策略;
  • 多进程模型中,监听进程和工作进程的绑定方式不同。

因此,业务进程的 CPU 亲和性和内存亲和性需要一起验证。只看 taskset 或只看 NUMA 节点都不完整。

PCIe 拓扑和其他 I/O 设备

网卡本地不代表整个 I/O 路径都是本地的。网络数据可能继续写入远端存储、远端 NVMe 控制器或另一套内存池。如果网络服务同时承担分布式存储、数据库写入或日志落盘,还要检查存储控制器的 PCIe/NUMA 位置。

可以在网络压测期间同步观察:

iostat -xz 1

如果网卡已经与业务线程处于同一 NUMA 节点,但磁盘 await、设备利用率或 I/O 队列深度在跨节点方案中明显升高,问题可能出现在后续存储路径,而不是网卡亲和性本身。

用对照测试确认跨 NUMA 的实际代价

为了避免把频率变化、连接数变化或网卡配置差异误判为 NUMA 影响,应使用相同的报文大小、连接模型、队列数量、网卡卸载配置和测试时长。

在双节点服务器上,可以设置三组对照:

NIC_NODE=0
REMOTE_NODE=1

# CPU 和内存都放在网卡所在节点
numactl --cpunodebind="$NIC_NODE" \
        --membind="$NIC_NODE" \
        -- ./server --config ./server.conf

# CPU 在网卡节点,但内存强制分配到另一节点
numactl --cpunodebind="$NIC_NODE" \
        --membind="$REMOTE_NODE" \
        -- ./server --config ./server.conf

# CPU 和内存都放在另一节点
numactl --cpunodebind="$REMOTE_NODE" \
        --membind="$REMOTE_NODE" \
        -- ./server --config ./server.conf

这组命令适合用于有明确启动参数的测试服务。生产服务不要直接修改启动方式,尤其是服务包含共享内存、固定 CPU、设备直通或特殊内存分配策略时,应先在独立测试实例中验证。测试前还要确认节点编号、可用 CPU 数量和应用是否允许内存绑定。

三组结果可以这样理解:

  • 本地 CPU + 本地内存:作为理想本地路径基线。
  • 本地 CPU + 远端内存:主要用于观察内存访问本身的代价。
  • 远端 CPU + 远端内存:用于模拟业务完全放在非网卡节点的情况。
  • 本地 CPU + 远端内存比本地基线差很多:说明内存位置是主要因素。
  • 两种内存位置差异不大,但远端 CPU 结果明显变差:说明 IRQ、缓存和 CPU 数据处理路径更关键。

测试时建议先预热,再以固定并发度运行多个周期。每个周期至少记录吞吐、P50、P99、P999、CPU、软中断、远端内存访问、网卡丢包和存储 I/O。不要只取最高吞吐值,应该记录稳定区间和延迟变化。

下面是一组用于解释方法的示例数据,不代表某种固定硬件的实测结果:

用对照测试确认跨 NUMA 的实际代价配图

指标本地 CPU/本地内存本地 CPU/远端内存远端 CPU/远端内存
P99 延迟78 微秒96 微秒112 微秒
有效吞吐94 Gb/s92 Gb/s90 Gb/s
业务 CPU 占用62%69%76%
软中断占用38%47%56%
远端内存访问比例7%31%35%
网卡接收丢包000

这个例子中,吞吐只下降约 4.3%,但 P99 延迟从 78 微秒增加到 112 微秒,增幅约 43.6%,同时 CPU 消耗明显上升。对于吞吐优先的批量传输,影响可能可以接受;对于低延迟 RPC、交易撮合或实时推送,则可能已经超过业务边界。

另一种常见结果是大报文测试几乎跑满链路,跨 NUMA 前后吞吐差异很小,但小报文高并发测试中 p99 和 CPU 明显恶化。这说明带宽不是当前瓶颈,NUMA 额外开销主要体现在每包处理和缓存访问上。

结果解释与调整边界

可以采用以下条件作为工程上的初步判断,最终仍应以业务 SLO 和容量目标为准:

对照结果判断处理建议
p99 增幅小于约 5%,吞吐下降小于约 3%,CPU 有充足余量且无丢包跨 NUMA 影响较小不必为了拓扑完全一致而增加复杂绑定
p99 增幅约 5%至 15%,吞吐下降约 3%至 8%,软中断明显增加已有可观影响优先调整 IRQ、RSS 队列、业务线程和内存位置
p99 增幅超过约 15%,或高并发时延迟陡增可能影响业务 SLO重新设计节点绑定,并检查是否存在单核热点
吞吐下降不大但 CPU 接近饱和当前容量被 CPU 而非链路限制先解决处理路径,再判断是否需要升级网卡或增加实例
出现持续丢包、RX 队列不足或 ksoftirqd 长时间高占用已达到运行风险边界检查队列数量、IRQ 分布、CPU 配额和内存压力

这些数值适合做初筛,不应当当作所有服务器的硬性标准。若业务要求 P99 小于 1 毫秒,即使跨 NUMA 增加 100 微秒仍可能可以接受;若业务要求 P99 小于 100 微秒,增加 20 微秒也可能需要处理。

还要区分“亲和性不理想”和“亲和性不适用”。以下情况不一定需要强制本地化:

  • 业务吞吐低、并发低,CPU 和内存仍有较大余量;
  • 网卡端口主要承担大报文传输,延迟不是核心指标;
  • 业务本身需要跨节点共享数据,强行绑定反而造成其他线程拥塞;
  • 网卡位于某节点,但该节点没有足够的空闲核心;
  • 多端口网卡、存储控制器和业务线程的整体拓扑要求做均衡,而不是单纯追求单端口本地化。

相反,以下情况通常值得优先调整:

  • 网卡 IRQ 明显集中在非本地节点;
  • 业务进程已经绑定本地 CPU,但内存长期从远端节点分配;
  • 并发上升后 p99 增长速度明显高于本地基线;
  • CPU 总利用率不高,但少数核心、软中断或 ksoftirqd 已经饱和;
  • 网卡无明显带宽瓶颈,却出现吞吐下降和处理 CPU 增长;
  • 网络数据还要进入远端存储,形成连续的跨节点 I/O 路径。

用容量复测决定是否长期绑定

完成一次 NUMA 对照测试后,不能把测试环境的绑定参数直接当成生产标准。以下变化都可能改变结论:

  • BIOS、内核、网卡固件或驱动版本变化;
  • 网卡队列数量、RSS 配置或 IRQ 管理策略变化;
  • 业务线程数、连接数、报文大小和加密方式变化;
  • CPU 频率策略、内存容量和内存条布局变化;
  • 存储控制器、NVMe 设备或日志路径变化;
  • 容器 CPU 配额、内存限制和调度策略变化。

更稳妥的容量判断方法是,先在目标业务的典型报文大小和峰值并发下建立本地基线,再逐步提高负载,记录每个负载点的 p99、吞吐、PPS、CPU、远端内存比例和丢包情况。可用容量应取以下边界中更严格的一项:

  • p99 达到业务 SLO 的负载点;
  • 吞吐不再随并发增长的负载点;
  • 网卡开始持续丢包或出现接收队列不足的负载点;
  • 软中断或关键 CPU 核心长期接近饱和的负载点;
  • 远端内存访问随负载快速上升并造成延迟拐点的负载点。

在生产规划中,建议不要把上述边界当作常态运行点,而应预留 CPU、内存带宽和队列处理余量。只有当网卡节点、IRQ、业务线程、内存和后续存储路径都经过同一组负载条件验证后,才能判断跨 NUMA 是否真的影响当前业务,以及是否值得为本地化调整付出部署和运维复杂度。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,覆盖Xeon Gold、AMD EPYC及不同内存、存储和网络配置,可为网络服务、数据库及多任务负载提供部署资源。香港和美国等地的服务器系列也提供不同的带宽线路选择,便于围绕业务所在地区和网络路径规划硬件资源;部分方案配备NVMe存储,适合承载对存储性能有要求的业务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6447.html

相关推荐