独立服务器网卡RSS多队列没有生效时,怎样检查队列与CPU分配

发布人:A5数据发布时间:2026-10-25 08:51阅读量:169

网卡显示支持多队列,业务流量也不小,但独立服务器上仍只有一个 CPU 的软中断占用明显升高,这不一定是 RSS 配置“没打开”。队列数量、流量能否被哈希分散、队列中断分配到哪些 CPU,是三个不同问题;只看 ethtool -l 的输出,无法判断多队列是否真正承担了接收流量。

排查时应先确认流量从哪个物理网口进入,再依次看接收队列、RSS 分流规则、各队列中断增量和 CPU 分配。若多个接收队列都在工作,只是中断集中到少数 CPU,重点是中断亲和性;若只有一个队列有明显增量,则还要检查流量的连接组成和 RSS 哈希条件,不能直接把队列数调大当作修复。

对于需要关注网卡队列、中断与CPU协同的入站业务,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备不同带宽线路与SSD、NVMe存储,可为网站、业务后台、数据库、接口服务及多任务负载提供独立硬件基础,便于结合实际访问区域和网络需求构建服务器环境。

先分清“有队列”和“流量进入多个队列”

RSS(Receive Side Scaling)处理的是入站报文如何分配到接收队列。网卡根据报文中可用于哈希的字段计算结果,再通过重定向表选择接收队列。同一连接通常会稳定落在同一个队列,避免因跨队列处理增加乱序风险。因此,一条持续占满带宽的 TCP 连接,通常不会仅因为开了 8 个接收队列就由 8 个 CPU 平分。

先分清“有队列”和“流量进入多个队列”配图

接收队列处理报文与 CPU 执行中断、后续网络协议栈处理也不是一回事。一个可用于排错的划分是:

检查对象要回答的问题常用观察位置
接收队列数量网卡当前启用了多少个 RX 或 combined 队列ethtool -l
RSS 分流哈希和重定向表是否允许流量落到不同队列ethtool -x、流量连接组成
队列活动哪些队列确实收到了报文驱动队列统计、/proc/interrupts 增量
CPU 分配活跃队列的中断允许在哪些 CPU 上运行/proc/irq/ 下的亲和性文件
实际效果网络负载是否仍集中,以及是否出现丢包等问题CPU、软中断及网卡统计

其中 combined 通常表示驱动以收发组合通道呈现队列,不能不看字段含义就把 RX、TX、Combined 三个数字相加。Pre-set maximums 是设备和驱动报告的上限,Current hardware settings 才是当前配置;报告支持更多队列,不等于系统已经启用。

流量为什么可能集中在一个 CPU

以 8 个接收队列为例,RSS 并不是按每个 CPU 当前忙闲程度实时分配报文,而是依据哈希结果选队列。如果测试只建立一条连接,它可能始终进入队列 3。此时队列 3 对应的中断计数上升、某个 CPU 较忙,是符合机制的现象,不能据此认定其余 7 个队列故障。

即便有许多连接,也可能出现另一种集中:多个队列都有报文,但它们的中断亲和性覆盖的 CPU 范围很窄,或者被设置到同一个 CPU。网卡完成了分流,CPU 分配却没有随之分散。此外,驱动支持的哈希字段、网卡硬件能力、队列重定向表、CPU 拓扑,以及业务是否由少数大流主导,都会影响观察结果。

还需区分 RSS 与其他机制。RPS 是内核在软件层面将接收处理分散到 CPU 的机制;看到多个 CPU 处理网络软中断,并不能反推硬件 RSS 已将报文送入多个接收队列。发送方向的队列选择也不能拿来证明接收方向的 RSS 状态。本次排查应以入站流量和接收侧证据为准。

排查前先固定观察条件

以下命令以 Linux 独立服务器、待查网口为 eno1 为例。实际操作前先用 ip -br link、业务监听地址与网卡计数确认网口名称。双网口、绑定网卡或上层虚拟接口环境中,不能仅凭公网 IP 推断物理收包网口;应沿实际承载流量的接口向下核对。命令需要在能够查看物理网卡和主机中断信息的系统环境执行,容器内看到的接口与 CPU 信息可能不足以判断宿主机 RSS。

首先记录系统和网卡的只读信息:

ip -br link
ethtool -i eno1
ethtool -l eno1
ethtool -x eno1
lscpu -e=CPU,ONLINE,NODE
cat /sys/class/net/eno1/device/numa_node

ethtool -i 用于确认驱动名称和版本,便于解释后续统计字段。部分网卡或驱动不支持 ethtool -x,命令失败只能说明无法通过该接口读取 RSS 重定向表,不能单独证明 RSS 未工作。NUMA 节点文件若返回 -1,表示此处未提供可用的节点信息,不应自行推断网卡属于某个节点。

观察时尽量使用稳定、可重复的入站业务负载,并记录连接数量与来源。没有可比流量的前后两次计数,即使数值不同,也难以归因于配置。

按队列、CPU、流量顺序验证

1. 核对当前队列,而不是只看可支持上限

执行 ethtool -l eno1,分别读出最大值和当前值。例如输出显示最大 Combined: 16、当前 Combined: 4,只能确认当前配置为 4 个组合通道;还不能确认 4 个接收队列都收到了业务报文。

如果当前仅有 1 个接收通道,应进一步确认驱动是否支持调整、系统是否对该接口施加了限制,以及该网口是否为预期的物理接口。不要在这一步直接更改队列数:调整通道可能重建队列及中断,影响现有连接的时延或造成短暂抖动。

2. 看队列活动和中断增量

先取得驱动统计和中断信息,再在相同负载下间隔数秒重复一次:

按队列、CPU、流量顺序验证配图

ethtool -S eno1
grep -iE 'eno1|rx|txrx' /proc/interrupts

ethtool -S 中接收队列字段没有统一命名规则,可能包含 rx_queue_0_packets 一类名称,也可能采用驱动自己的缩写。先结合 ethtool -i 确认驱动,再辨认与接收队列对应的计数器。/proc/interrupts 每行展示一个中断在各 CPU 上的累计次数;应比较同一行前后两次的增量,而不是比较开机以来的累计总数。中断也可能经过合并处理,其次数不等于报文数。

如果多个队列的接收计数都有增量,而对应中断主要在同一 CPU 列增加,应转向检查中断亲和性。如果只有一个队列明显增长,先核对业务是不是由一条或少数几条连接构成,再检查 RSS 表;不要仅凭单次中断快照判定分流失败。如果业务流量确实进入 eno1,但上述计数均无相应增量,则需重新确认统计字段、中断名称和观察网口。

3. 将活跃中断映射到允许使用的 CPU

从 /proc/interrupts 找到与网卡接收队列相关的 IRQ 编号后,逐个读取对应文件。例如某队列对应 IRQ 123:

cat /proc/irq/123/smp_affinity_list
cat /proc/irq/123/effective_affinity_list
ps -ef | grep '[i]rqbalance'

将 123 换成实际编号,不要把其他设备或发送队列的中断误认为接收队列。smp_affinity_list 表示设置的 CPU 范围;如果系统提供 effective_affinity_list,还应查看实际生效范围。不同队列若都被限制在 CPU 2,即使 RSS 已经将报文分到多个队列,也可能继续看到 CPU 2 偏忙。

同时检查 irqbalance 是否在运行。它可能动态调整中断分配,所以一次写入亲和性后读到的值,不一定能长期保持。若多个 CPU 原本就都在允许范围内,也不能仅凭亲和性文件判断负载一定均匀;还要回到中断增量及 CPU 使用情况验证。

4. 再判断 RSS 表和连接组成

若 ethtool -x eno1 可以读取结果,重点看重定向表是否指向多个有效接收队列,而不是只看表的长度。表覆盖多个队列,说明具备分流配置,但仍需要足够多、哈希结果有差异的入站连接才能观察到多队列活动。

一个适合区分问题的验证方式,是对照两类负载:单条持续连接,以及多个并发、源或目标端口存在差异的连接。若单连接主要落在一个队列,而多连接使多个队列计数增长,这更符合 RSS 的工作方式。若多连接仍只进入一个队列,则继续检查网卡支持的哈希类型、业务协议与报文特征,并结合驱动统计判断;部分驱动可通过 ethtool -n eno1 rx-flow-hash tcp4 等命令查看指定流类型的哈希字段,但不支持该查询时,不应猜测设备配置。

按队列、CPU、流量顺序验证配图

5. 对照 CPU 处理与丢包,而非只追求平均

可在同一观察窗口读取以下信息:

grep NET_RX /proc/softirqs
cat /proc/net/softnet_stat
ip -s link show dev eno1

NET_RX 能帮助观察各 CPU 的接收软中断处理趋势,但其计数不是逐网卡、逐队列的报文统计。softnet_stat 是按 CPU 记录的十六进制计数,字段解释需结合运行内核版本,不能直接把原始数值当成网卡丢包数。ip -s link 可提供接口收发与丢包的整体线索,必要时再结合驱动专有统计定位队列问题。

判断修复是否有效,至少应同时满足两点:预期的多个接收队列确实产生增量,CPU 侧的集中程度在可比流量下有所改善;还应确认丢包、错误及业务时延没有因调整而恶化。队列增量完全平均不是验收要求,业务连接大小和哈希结果本来就可能不均匀。

需要修改配置时,先明确影响和回退

只有观察证据指向配置问题时,才考虑改动。若当前队列数小于可支持上限,且存在足够多的并发入站连接,可以评估增加通道;若多队列已活跃但中断集中,可评估 CPU 亲和性。两类改动作用不同,不能相互替代。

变更前记录 ethtool -l 当前值、相关 IRQ 编号及亲和性、irqbalance 状态,并保留同一负载下的队列和 CPU 基线。队列调整建议放在维护窗口执行,例如当前 Combined: 4、设备报告支持至少 8 个组合通道时,才评估以下操作:

sudo ethtool -L eno1 combined 8
ethtool -l eno1

这条命令可能重建通道,使 IRQ 编号变化,也可能造成业务短暂波动;驱动不支持时会报错,不能以最大值显示 8 就认定必然可改。若验证结果变差,在确认仍支持原设置后,以记录的原值回退,例如:

sudo ethtool -L eno1 combined 4
ethtool -l eno1

回退后应重新查找 IRQ 并复测业务,不要沿用调整前的 IRQ 编号。运行时修改也未必在重启或网卡重新初始化后保留;是否需要持久化,应按该服务器实际使用的网络管理方式核对。

修改 IRQ 亲和性同样需要先备份原值,并确认目标 CPU 在线、符合业务 CPU 隔离和 NUMA 安排。若 irqbalance 正在管理这些 IRQ,手工设置可能被再次改写;应先确定由哪种方式负责长期管理,而不是让两套策略互相覆盖。回退时把每个 IRQ 原来的亲和性写回,并复查实际生效范围及业务指标。

用什么结果界定“没有生效”

“RSS 没有生效”应有比“某个 CPU 很忙”更明确的证据:业务入站流量确认经过目标网卡,有足够多可区分的连接,当前启用了多个接收通道,但在可比负载下始终只有一个接收队列增长;此时才值得继续调查哈希规则、重定向表、驱动和网卡能力。

相反,多队列都有接收增量却集中到少数 CPU,是队列到 CPU 的分配问题;单条大流只使用一个队列,通常是 RSS 按连接稳定分流的正常边界;CPU 已分散而吞吐未提高,也可能受单连接处理、应用、协议栈或链路等其他环节限制。按“确认网口和流量 → 比较队列增量 → 对照 IRQ 与 CPU → 变更后用相同负载复测”的顺序检查,才能把队列未启用、分流条件不足与 CPU 分配冲突分别定位。

用什么结果界定“没有生效”配图

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5586.html