如何验证物理服务器的网卡RSS多队列是否将接收流量分散到多个CPU核心?

发布人:A5数据发布时间:2026-11-17 14:52阅读量:1

物理服务器上看到网卡存在多个接收队列,并不等于接收流量已经由多个 CPU 核心共同处理。RSS(Receive Side Scaling)需要经过“网卡硬件分流、接收队列、队列中断、CPU 亲和性”几个环节,任何一环配置不一致,都可能出现队列数量很多、但实际流量集中在一个队列或一个 CPU 上的情况。

验证这件事不能只看一个参数。较可靠的判断方式是同时观察三类信息:网卡当前启用了多少接收队列,测试流量是否实际进入多个队列,以及这些队列对应的中断是否分布到多个 CPU。下面以 Linux 物理服务器为例,使用 ethtool、/proc/interrupts、sysfs 和 mpstat 完成只读验证。

RSS分流实际经过哪些环节

一个进入服务器的网络数据包,大致经过以下路径:

RSS分流实际经过哪些环节配图

网卡端口
  ↓
RSS哈希计算
  ↓
RSS间接表选择RX队列
  ↓
RX Ring接收描述符
  ↓
MSI-X队列中断和NAPI轮询
  ↓
CPU软中断处理
  ↓
内核协议栈和应用程序

RSS通常根据数据包的源地址、目的地址、源端口、目的端口和协议等字段计算哈希值,再通过间接表把哈希结果映射到某个接收队列。不同连接通常具有不同的四元组,因此有机会被分配到不同队列。

不过,同一个 TCP 连接的所有数据包通常会保持相同的 RSS 哈希结果,也就会持续进入同一个队列。这样做是为了保持数据包顺序,避免同一连接在多个 CPU 之间频繁迁移。因此:

  • 一个大流量 TCP 连接只占用一个 RX 队列,属于正常现象;
  • 多个并发连接才适合验证 RSS 是否可以把流量分散到多个队列;
  • “多个队列”不等于“一个连接被多个核心同时处理”。

接收队列被选中后,网卡一般通过 MSI-X 中断通知内核。每个队列可能拥有独立的中断向量,这些中断可以通过 IRQ 亲和性分配到不同 CPU。随后 Linux 的 NAPI 机制会在软中断上下文中批量处理数据包。

如果系统还启用了 RPS(Receive Packet Steering),数据包可能在进入内核后再次由软件转移到其他 CPU。此时观察到的 CPU 分散,可能同时受到 RSS、IRQ 亲和性和 RPS 的影响,不能简单地全部归因于网卡硬件 RSS。

先确认网卡和驱动身份

以下命令中的 ens3 只是示例接口名。实际环境中可能是 eth0、eno1、enp3s0f0、ens160 等,应先确认正在承载业务流量的接口。

IF=ens3

ip -br link show "$IF"
ethtool -i "$IF"

可能看到类似以下内容:

ens3             UP             10.0.10.20/24

driver: ice
version: 6.1.0
firmware-version: 4.20 0x80012345
expansion-rom-version:
bus-info: 0000:3b:00.0

这里重点关注:

  • driver:网卡使用的内核驱动;
  • firmware-version:部分 RSS、队列和硬件统计能力依赖固件;
  • bus-info:可以进一步与 PCIe 设备对应,确认接口是否为物理网卡端口;
  • ip -br link 中的接口状态:接口必须处于 UP,并且确实承载待验证的接收流量。

物理服务器不代表所有网络接口都一定是物理网卡。SR-IOV 虚拟功能、主机上的虚拟接口、网桥成员接口以及容器接口,都可能呈现为一个 Linux 网络设备。若 ethtool -i 显示的是 virtio_net 等虚拟化驱动,验证结果需要结合虚拟交换层和宿主机配置理解,不能直接套用物理端口的判断方式。

检查当前启用的接收队列

查看队列上限和当前值

使用 ethtool -l 查看网卡支持的最大通道数和当前通道设置:

ethtool -l "$IF"

示例输出如下:

Channel parameters for ens3:
Pre-set maximums:
RX:             16
TX:             16
Other:          1
Combined:       16

Current hardware settings:
RX:             8
TX:             8
Other:          1
Combined:       8

不同驱动的显示方式不完全相同,常见情况有以下几种:

  • RX 非零:表示存在独立的接收通道;
  • Combined 非零:表示接收和发送共用组合通道;
  • TX 主要描述发送方向,不能直接当成接收队列数量;
  • RX、TX、Combined 是不同通道表示方式,不能简单相加。

例如,当前 Combined: 8 通常意味着网卡当前使用 8 个组合队列,而不是 8 个接收队列再加 8 个发送队列。真正的接收队列数量还需要结合 sysfs 和驱动统计确认。

find /sys/class/net/"$IF"/queues -maxdepth 1 -type d -printf '%f\n' | sort

可能输出:

queues
rx-0
rx-1
rx-2
rx-3
rx-4
rx-5
rx-6
rx-7
tx-0
tx-1
tx-2
tx-3
tx-4
tx-5
tx-6
tx-7

这个结果说明 Linux 为该接口暴露了 8 个 RX 队列。它能够证明系统具备多个接收队列,但仍然不能证明当前流量已经实际分散到这些队列。

如果 ethtool -l 返回“不支持该操作”,也不能据此判定网卡没有 RSS。部分驱动不提供完整的通道查询接口,此时可以继续检查 /sys/class/net/$IF/queues、ethtool -S 和中断信息。

查看RSS间接表

RSS间接表决定哈希结果最终映射到哪个队列,可以使用以下命令查看:

ethtool -x "$IF"

示例输出:

RX flow hash indirection table for ens3 with 8 RX ring(s):
    0:      0   1   2   3   4   5   6   7
    8:      0   1   2   3   4   5   6   7
   16:      1   2   3   4   5   6   7   0
   24:      2   3   4   5   6   7   0   1
RSS hash key:
...

这里的数字是 RX 队列编号。判断时主要看两点:

  1. 间接表中是否出现多个不同的队列编号;
  2. 多个队列编号是否大致都有机会被选中。

如果整个间接表的值都是 0,即使网卡暴露了 8 个 RX 队列,RSS硬件分流也可能仍然集中在队列 0。若间接表包含 0 到 7 等多个编号,说明配置上具备分散到多个队列的条件,但这仍是静态配置结果,不代表当前业务流量已经使用了所有队列。

部分驱动或固件不支持 ethtool -x,或者输出格式不同。此时应以实际的 per-queue 统计和运行期间的中断增长情况为主要依据。

查看接收哈希能力

可以查看网卡功能开关:

ethtool -k "$IF" | grep -iE 'receive-hashing|rxhash|generic-receive-offload|large-receive-offload'

常见输出可能是:

receive-hashing: on
generic-receive-offload: on
large-receive-offload: off [fixed]

receive-hashing: on 表示驱动报告接收哈希功能处于启用状态。不同驱动支持的字段和名称可能不同,因此不能只依赖某一行输出。ethtool -x、RX 队列统计和中断统计结合起来,才能形成完整判断。

GRO 和 LRO 也值得记录。它们会在协议栈或网卡侧合并多个数据包,影响软件层看到的包数量,但通常不改变“数据包首先进入哪个硬件 RX 队列”这一事实。后面的统计分析需要注意硬件包计数和应用层读到的数据量并不是同一个口径。

检查RX队列是否真的在增长

ethtool -S 可以查看驱动提供的硬件和队列统计:

ethtool -S "$IF" | grep -iE 'rx|receive'

不同驱动的字段名称差异较大,可能出现以下形式:

rx_queue_0_packets: 1250000
rx_queue_0_bytes: 1840000000
rx_queue_1_packets: 1180000
rx_queue_1_bytes: 1720000000
rx_queue_2_packets: 1210000
rx_queue_2_bytes: 1790000000
rx_queue_3_packets: 1190000
rx_queue_3_bytes: 1760000000

也有驱动使用类似下面的命名:

rx-0.packets: 1250000
rx-1.packets: 1180000
queue_0_rx_packets: 1250000
queue_1_rx_packets: 1180000

这些计数器通常是从网卡或驱动加载以来不断累加的。验证时不能只看某个计数器的绝对值,而应该在流量测试前后比较增量。

例如,先执行一次:

ethtool -S "$IF" | grep -iE 'rx|receive'

记录各 RX 队列的值,运行并发流量测试后再次执行相同命令。若 rx_queue_0_packets、rx_queue_1_packets、rx_queue_2_packets 等多个字段都明显增长,说明测试流量确实被分配到了多个接收队列。

一个示例性的比较结果如下,数字仅用于说明判断方法:

检查RX队列是否真的在增长配图

RX队列测试前计数测试后计数增量
queue 01,250,0001,890,000640,000
queue 11,180,0001,760,000580,000
queue 21,210,0001,840,000630,000
queue 31,190,0001,230,00040,000

这个结果可以说明至少 0、1、2 号队列承担了明显接收流量,但不能据此要求所有队列必须完全平均。RSS是基于哈希分配的,流数量有限时可能发生哈希碰撞;不同连接的报文大小不同,也可能导致按字节统计和按数据包统计呈现不同的比例。

如果驱动没有提供 per-queue 数据包计数,可以退而观察 RX 队列对应的中断计数。但仅依赖中断计数的证明强度较弱,因为网卡通常使用中断抑制和 NAPI 批处理,一个中断可能对应多个数据包。

检查RX队列中断对应哪些CPU

查看网卡相关中断

先查看接口或驱动名称在 /proc/interrupts 中对应的行:

grep -i "ens3" /proc/interrupts

如果接口名称没有出现在中断名称中,再使用驱动名查询。例如驱动名为 ice:

grep -i "ice" /proc/interrupts

示例输出:

检查RX队列中断对应哪些CPU配图

 86:      12045      0      0      0      0      0      0      0   IR-PCI-MSI  524288-edge  ens3-rx-0
 87:          0  11890      0      0      0      0      0      0   IR-PCI-MSI  524289-edge  ens3-rx-1
 88:          0      0  12110      0      0      0      0      0   IR-PCI-MSI  524290-edge  ens3-rx-2
 89:          0      0      0  11980      0      0      0      0   IR-PCI-MSI  524291-edge  ens3-rx-3

在这个示例中:

  • 第一列是 IRQ 编号;
  • 中间连续的数字对应 CPU0、CPU1、CPU2 等逻辑 CPU 的中断计数;
  • 末尾是中断控制器类型和队列名称;
  • ens3-rx-0 到 ens3-rx-3 表示不同 RX 队列的中断。

如果各 RX 队列的中断计数主要集中在不同 CPU 列,并且在测试期间同步增长,可以初步判断队列中断已经分散到多个逻辑 CPU。

需要注意,/proc/interrupts 中的计数是累计值。验证运行时最好连续观察变化,而不是只看某一时刻的绝对数字:

watch -n 1 'grep -i "ens3" /proc/interrupts'

若接口名不在中断名称中,可以把 ens3 换成实际驱动名或中断行中的关键字。

查看IRQ亲和性

知道 IRQ 编号后,可以查看该 IRQ 被允许运行在哪些 CPU 上。以 IRQ 86 为例:

cat /proc/irq/86/smp_affinity_list

较新的内核还可以查看实际生效的亲和性:

cat /proc/irq/86/effective_affinity_list

可能的结果包括:

0

或者:

0,4

前者表示该 IRQ 主要允许在逻辑 CPU 0 上处理,后者表示允许在 CPU 0 和 CPU 4 上处理。effective_affinity_list 比配置文件更接近当前实际状态,特别是在启用托管中断、CPU 热插拔或系统进行 IRQ 调整时。

若需要批量查看,可以先根据中断行找到 IRQ 编号,再执行:

for IRQ in 86 87 88 89; do
    printf 'IRQ %s requested: ' "$IRQ"
    cat "/proc/irq/$IRQ/smp_affinity_list"

    if [ -r "/proc/irq/$IRQ/effective_affinity_list" ]; then
        printf 'IRQ %s effective: ' "$IRQ"
        cat "/proc/irq/$IRQ/effective_affinity_list"
    fi
done

示例结果:

IRQ 86 requested: 0
IRQ 86 effective: 0
IRQ 87 requested: 1
IRQ 87 effective: 1
IRQ 88 requested: 2
IRQ 88 effective: 2
IRQ 89 requested: 3
IRQ 89 effective: 3

这表示不同 RX 队列的中断分别落在 CPU0 到 CPU3。若所有队列的 IRQ 亲和性都是同一个 CPU,例如全部是 0,那么即使 RSS已经把流量分散到多个队列,实际中断和NAPI处理仍可能集中到一个 CPU。

系统若启用了 irqbalance,IRQ亲和性可能由服务动态调整。可以只读检查服务状态:

systemctl is-active irqbalance

如果没有 systemd,或者服务不存在,可忽略该命令。重要的是在流量测试的同一时间窗口内观察 IRQ 亲和性和中断增长情况,而不是只查看一次静态配置。

确认CPU是逻辑线程还是物理核心

Linux 的 CPU 编号通常是逻辑 CPU 编号。开启超线程后,两个逻辑 CPU 可能属于同一个物理核心。查看对应关系:

lscpu -e=CPU,CORE,SOCKET,NODE

示例:

CPU CORE SOCKET NODE
  0    0      0    0
  1    1      0    0
  2    0      0    0
  3    1      0    0
  4    2      1    1
  5    3      1    1

如果 RX 队列被分配到 CPU0 和 CPU2,它们可能只是同一个物理核心的两个逻辑线程,并不等于两个完整物理核心都获得了独立处理能力。因此,“分散到多个 CPU”至少有两个层次:

  • 分散到多个逻辑 CPU;
  • 分散到多个物理核心,甚至多个 NUMA 节点。

还可以查看网卡 PCIe 设备所在 NUMA 节点:

cat /sys/class/net/"$IF"/device/numa_node

输出为 0 或 1 时,表示设备通常与对应 NUMA 节点关联;输出为 -1 可能表示内核无法提供该信息。若网卡属于 NUMA 节点 0,而接收中断和应用线程主要运行在节点 1,虽然仍然可能看到多个 CPU 在工作,但内存访问和数据处理路径可能产生额外开销。

当物理服务器承载网站接口、业务后台或数据服务时,网络接收与CPU处理能力也是运行环境的一部分。A5idc数据提供香港、美国、日本等地区的物理服务器租用,覆盖Xeon和AMD EPYC等平台,并有SSD或NVMe存储及不同线路方案,可按业务区域、计算负载和数据需求配置相应资源。

用并发流量验证运行时分布

为什么不能只用一个连接测试

RSS通常保持同一连接的哈希结果稳定。使用一条 TCP 连接时,下面几种现象都很常见:

  • 只有一个 RX 队列计数明显增长;
  • 只有一个 RX 队列对应的 IRQ 计数增长较快;
  • 一个 CPU 的软中断占用明显高于其他 CPU。

这并不能证明 RSS失效。要验证多队列分散能力,应使用多个源端口或多个四元组不同的并发连接。

使用iperf3构造多条TCP流

在接收流量的服务器上启动 iperf3 服务端。以下地址仅为文档示例,应替换为服务器实际业务地址:

iperf3 -s -B 192.0.2.10

在另一台受控测试主机上发起 8 条并发 TCP 流:

iperf3 -c 192.0.2.10 -P 8 -t 30 -O 3

参数含义如下:

  • -P 8:建立 8 条并行 TCP 流;
  • -t 30:持续测试 30 秒;
  • -O 3:忽略开始阶段的 3 秒,减少连接建立和慢启动对观察结果的影响;
  • 客户端到服务端的方向是接收服务器的入方向,因此服务器上的网卡 RX 队列会承载测试数据。

测试会消耗网络带宽、CPU 和服务器连接资源。生产环境应选择低峰期、隔离网络或专用测试主机,并根据链路容量调整并发数和持续时间。不要为了验证 RSS而直接在生产接口上使用不受控的 UDP 大流量命令。

-P 8 也不意味着一定能得到 8 个活跃队列。RSS哈希可能让多个连接碰巧落到同一个队列,而且某些连接的流量大小并不相同。若网卡有 8 个接收队列,可以从 8 或 16 条 TCP 流开始观察;具体数量应以测试环境的链路速率、CPU能力和业务风险为准。

测试期间同时观察三类指标

在服务器上可以分别打开几个终端窗口。

观察队列中断:

watch -n 1 'grep -i "ens3" /proc/interrupts'

观察网卡队列统计:

watch -n 1 'ethtool -S ens3 | grep -iE "rx|receive"'

观察所有逻辑 CPU 的使用情况:

mpstat -P ALL 1

mpstat 来自 sysstat 软件包。如果系统未安装,可以使用发行版的软件包管理器安装,但安装动作本身不是 RSS验证的必要条件。mpstat 中较有参考价值的是各 CPU 的 %soft、%sys 和 %usr:

  • %soft 上升,通常说明软中断处理增加;
  • %sys 上升,说明内核态处理增加;
  • %usr 上升,可能主要是应用程序消耗 CPU;
  • 只有一个 CPU 的 %soft 明显增加,可能表示 RX处理集中在一个 CPU,也可能是 RPS、IRQ亲和性或业务模型导致。

还可以观察 NET_RX 软中断:

watch -n 1 'grep "NET_RX" /proc/softirqs'

这项数据能帮助确认网络接收软中断在哪些 CPU 上增长,但它不能单独证明这些数据来自 RSS。若启用了 RPS,NET_RX 可能在多个 CPU 上增长,即使硬件 RX 队列或 IRQ仍然集中在较少的 CPU 上。

检查RPS是否参与了CPU分流

查看每个 RX 队列的 RPS CPU 掩码:

for Q in /sys/class/net/"$IF"/queues/rx-*; do
    printf '%s: ' "$(basename "$Q")"
    cat "$Q/rps_cpus"
done

示例输出:

rx-0: 00000000
rx-1: 00000000
rx-2: 00000000
rx-3: 00000000

全零通常表示对应队列没有启用 RPS,数据包不会通过 RPS主动转移到其他 CPU。若看到非零掩码,例如:

rx-0: 0000000f
rx-1: 0000000f

说明软件层允许把接收处理分配到 CPU0 到 CPU3 的某些逻辑 CPU。此时如果 NET_RX 在多个 CPU 上增长,不能把这种分布全部归因于硬件 RSS。

RPS和RSS的区别可以这样理解:

机制发生位置主要作用验证重点
RSS网卡硬件或驱动接收入口把不同流量映射到不同RX队列RSS间接表、队列计数
IRQ亲和性内核中断层决定队列中断在哪些CPU上处理/proc/irq/*/smp_affinity_list
NAPI内核网络接收层批量处理队列中的数据包IRQ、软中断和CPU占用
RPS内核软件层将接收处理进一步转移到其他CPUrps_cpus、NET_RX
RFS内核软件层尝试让接收处理靠近目标应用线程应用线程、socket和软中断关系

如果目标是验证“网卡 RSS 是否把流量分散到多个 CPU 核心”,应优先确认硬件队列和队列 IRQ 的分布,再单独说明 RPS是否提供了额外的 CPU 分流。

如何根据观察结果下判断

可以按照“配置、队列、CPU”三个层次判断,而不是用单个命令直接下结论。

观察结果可以得出的判断
当前存在多个RX队列,RSS间接表包含多个队列编号网卡具备把哈希流量映射到多个队列的配置条件
多并发流量下多个RX队列计数明显增加测试流量实际进入了多个接收队列
多个RX队列对应的IRQ计数分别在不同CPU列增长队列中断已经分布到多个逻辑CPU
多个队列计数增加,但所有IRQ都集中在同一个CPURSS分流可能已生效,但队列中断或NAPI处理没有实现CPU级分散
NET_RX在多个CPU增长,同时RPS掩码非零CPU分流可能包含RPS,不应全部归因于RSS
只有单条连接时一个队列增长通常属于RSS保持单流有序的正常现象
多条并发连接下仍只有一个队列增长需要继续检查RSS功能、间接表、实际流量方向、驱动统计和测试流数量
网卡队列分布正常,但应用线程只有一个CPU繁忙可能是应用单线程、线程绑定、锁竞争或协议栈后续阶段的瓶颈

一个完整的示例判断过程可能是:

  1. ethtool -l ens3 显示当前有 8 个组合队列;
  2. ethtool -x ens3 显示间接表包含 0 到 7 号队列;
  3. 使用 8 条 TCP 流测试时,rx_queue_0_packets 到 rx_queue_5_packets 均明显增长;
  4. /proc/interrupts 中对应的 ens3-rx-0 到 ens3-rx-5 分别在 CPU0、CPU1、CPU2、CPU3、CPU4、CPU5 的列上增长;
  5. rps_cpus 全部为零,说明没有明显的软件二次分流。

在这种情况下,可以较有把握地说:RSS已经把多流接收流量分配到了多个 RX 队列,并且这些队列的接收中断分布到了多个逻辑 CPU。至于应用程序是否真正获得相同数量的有效计算能力,还需要继续观察应用线程、CPU拓扑、NUMA位置和锁竞争。

常见的误判和适用边界

队列数量多不代表负载平均

RSS使用哈希分布,不是按 CPU 使用率实时调度。若只有少量连接,某些连接可能发生哈希碰撞;若一条连接占据绝大部分带宽,流量仍可能集中在一个队列。

IRQ计数不等于数据包数量

中断合并、NAPI轮询和网卡批处理都会改变中断触发频率。因此某个 RX 队列的 IRQ 增量较小,并不能直接说明该队列没有收到数据。应优先结合 ethtool -S 的 per-queue 数据包或字节计数。

数据包分布和字节分布可能不同

RSS通常以流为单位分配队列。即使各队列收到的数据包数量相近,如果不同连接使用了不同大小的数据包,各队列的字节数也可能不均衡。判断时应明确是在看 packets 还是 bytes。

GRO、LRO会影响协议栈观察结果

网卡硬件统计、内核软中断统计、socket读取量和应用吞吐量处于不同层次。开启 GRO 或 LRO 后,内核可能以合并后的大包处理数据,不能把应用看到的包数量与网卡硬件计数直接相加比较。

逻辑CPU不一定等于物理核心

需要通过 lscpu -e=CPU,CORE,SOCKET,NODE 判断 CPU 拓扑。两个逻辑 CPU 可能属于同一个物理核心;多个 IRQ 分散到逻辑 CPU,并不一定带来同等数量的物理执行资源。

复杂封装可能改变哈希行为

VLAN、VXLAN、Geneve、隧道、IPsec以及其他封装流量,是否使用内层地址和端口参与 RSS,取决于网卡、驱动和固件能力。普通 TCP 流测试正常,不代表所有封装业务也会以相同方式分散。

虚拟接口、网桥和用户态网络路径需要单独判断

如果业务流量经过 SR-IOV 虚拟功能、Linux bridge、bond、DPDK、XDP或其他用户态路径,传统的 /proc/interrupts 和内核协议栈指标可能只反映其中一部分。此时应确认正在观察的是实际收包的接口和处理路径。

不要为了验证而直接修改生产队列

ethtool -L、修改 /proc/irq/*/smp_affinity 或写入 rps_cpus 都属于配置变更,可能触发网卡队列重建、短暂中断业务或改变系统整体 CPU 调度。单纯验证 RSS时,优先使用 ethtool -l、ethtool -x、ethtool -S、/proc/interrupts 和 sysfs 查询,不需要先修改任何配置。

一条可复用的验证路径

在实际检查中,可以按下面顺序执行:

一条可复用的验证路径配图

  1. 使用 ip -br link 和 ethtool -i 确认接口、驱动和物理设备身份。
  2. 使用 ethtool -l 和 /sys/class/net/$IF/queues/rx-* 确认当前 RX 队列数量。
  3. 使用 ethtool -x 检查 RSS间接表是否包含多个队列编号。
  4. 使用 ethtool -S 找到各 RX 队列的累计数据包或字节计数。
  5. 使用 /proc/interrupts 找到 RX 队列对应的 IRQ,并查看 IRQ亲和性和实际生效 CPU。
  6. 在受控环境中用多条并发 TCP 流产生接收流量,同时观察队列计数、IRQ计数和 mpstat -P ALL 1。
  7. 检查 rps_cpus,区分硬件 RSS分流与软件 RPS分流。
  8. 根据“多个队列是否增长、多个 IRQ 是否在不同 CPU 增长、RPS是否参与”三个问题给出结论。

最终判断至少需要覆盖两个事实:测试流量是否进入了多个 RX 队列,以及这些队列的处理是否实际分布到多个 CPU。只看到队列配置、只看到 RSS开关为 on,或者只看到一条连接的吞吐量,都不足以单独证明物理服务器的网卡 RSS多队列已经将接收流量分散到多个 CPU 核心。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9989.html

相关推荐