物理服务器启用网卡RSS多队列后吞吐未提升,该看哪些CPU与网卡指标?

发布人:A5数据发布时间:2026-10-23 14:41阅读量:91

网卡吞吐没有随着RSS队列数增加而上升,不能只看“CPU总使用率”就判断多队列无效。总使用率可能只有30%,但负责收包的一个核心已经接近满载;也可能各核心的网络处理负载确实分散了,吞吐却被单连接、应用处理能力或链路上限挡住。

判断的关键是把同一观察窗口内的网卡吞吐与包速率、各核心的中断和软中断负载、队列分布、丢包及重传、应用响应时间放在一起看。先确认RSS是否把接收处理分散到多个队列及CPU,再看分散后瓶颈是否转移。RSS主要解决接收路径的并行处理问题,不承诺开启后业务吞吐必然增加。

先建立可比较的观察窗口

“启用前跑了一次测试,启用后又跑了一次”,只有在两次流量可比时才有判断价值。至少记录相同长度的稳定负载窗口,并固定测试方向、并发连接数、请求大小、目标地址、应用版本及链路条件。开始加压的瞬间和停止前的回落阶段应单独标出,不要与稳定阶段求一个平均值。

每个窗口建议同时记录以下几组数据:

观察对象同时看的指标要回答的问题
流量接收/发送字节每秒、包每秒、连接数、报文大小分布吞吐未变时,流量形态是否也未变
CPU每核心%irq、%soft、%sys、%usr、空闲比例,业务进程CPU网络处理是否集中在少数核心,或瓶颈已转到应用线程
网卡与内核队列中断增量、各队列收包增量、丢弃/错误计数增量、软中断积压RSS队列是否实际参与工作,接收路径有无处理不过来的迹象
业务结果吞吐、P95/P99响应时间、超时与错误率、待处理请求数吞吐不变是正常达到上限,还是以排队和错误为代价
下游资源内存压力、磁盘时延与队列、数据库耗时及连接池等待网络处理改善后,瓶颈是否转移

计数器要比较窗口内的增量或速率。例如,网卡累计丢弃数为一万,并不能说明刚才的一分钟仍在丢包;需要看这一分钟增加了多少,以及增加时响应时间和重传是否同步变化。

吞吐还要明确统计口径。应用记录的有效载荷、操作系统统计的接口字节数、交换机端口流量并不相等。若按十进制单位,应用接收650 MB/s约为5.2 Gb/s(650 × 8 ÷ 1000);它不能直接与链路标称速率当作同一层的数据比较。多网卡或链路聚合场景,还应确认观察的是实际承载流量的端口。

先看CPU:总量下降,不等于接收路径已分散

RSS通过报文头计算哈希,把符合条件的接收流量分配到不同接收队列;不同队列可以由不同CPU处理。它能否缓解瓶颈,取决于流量是否能分散、队列是否启用,以及中断和后续处理是否真的落在不同核心上。

先对照启用前后的逐核心曲线,而不是只对照整机CPU平均值:

  • 一个核心的%soft长期很高,其他核心空闲:接收处理可能仍集中在少数CPU。继续核对活跃队列数、队列收包量、中断分布和业务连接数。
  • 多个核心的%soft上升,原热点核心回落,吞吐仍不变:RSS很可能已经分散了部分接收工作。此时应查应用、发送方向或下游资源,而不是继续增加接收队列。
  • %usr或业务进程CPU随负载升高,网络软中断并不紧张:应用计算、编解码、加解密或单线程处理能力更值得检查。
  • 整机CPU很忙,但网络中断相关负载不高:不能把所有CPU占用都归因于网卡。系统调用、应用线程及其他后台任务需要分开看。

%irq反映硬中断处理占用,%soft更有助于观察网络软中断负载,但它们都不是“RSS是否生效”的单独证明。高包速率的小包流量通常比同样Gb/s的大包流量需要更多逐包处理;若启用前后报文大小发生变化,单凭CPU百分比比较效率也容易失真。

单条TCP连接尤其需要单独看待。为维持同一流的处理顺序,RSS通常按流分配队列,增加接收队列不会把一条连接均匀拆到所有核心。若单连接测试不变,而多连接测试中多个队列和核心开始工作,两者并不矛盾。反过来,若业务已有大量连接却仍高度集中,应检查流量哈希分布、队列映射和中断亲和性;“配置了多个队列”不等于“多个队列正在均衡收包”。

先看CPU:总量下降,不等于接收路径已分散配图

再看网卡:队列、丢包与重传是否同步变化

CPU曲线指出处理位置,网卡和协议栈指标则帮助判断是否存在接收积压。观察顺序可以从“配置了什么”走到“实际发生了什么”。

首先确认当前接收队列数量,而不只看设备支持的最大值。随后观察RSS间接表、各队列收包计数和队列对应的中断计数。部分网卡或驱动不支持查询所有项目,统计项名称也并不统一;读取前应以当前驱动实际返回的字段为准。

接着比较同一窗口里的错误与丢弃增量。驱动层接收丢弃、内核网络处理积压、TCP重传分别位于不同环节,不能把任意一个计数都解释成“网卡队列太少”。例如:

  • 多队列分担了收包,相关丢弃增量下降,P99响应时间改善,但Gb/s基本不变:RSS可能改善了高负载时的处理余量和尾延迟,而非峰值吞吐。
  • 多个队列都有收包,接收丢弃仍随包速率升高,软中断负载也持续升高:接收路径仍值得进一步分析,但应结合驱动、报文大小和CPU分布定位。
  • 接收队列没有明显丢弃,TCP重传与响应时间却一起上升:还需要查看发送方向、链路质量、对端及拥塞情况,不能直接认定接收RSS失效。
  • 吞吐稳定、错误率正常、队列无持续积压,而接口速率接近可用链路能力:继续增加RSS队列通常难以突破链路边界。

RSS针对接收侧。若业务吞吐主要受发送路径约束,仅观察接收队列会找错方向。此时应分别记录RX和TX吞吐、发送丢弃、各CPU的发送处理负载,并核对实际链路速率、对端接收能力。发送队列调度机制与RSS不是同一项设置,不宜把两者的效果混为一谈。

用联动曲线排除“RSS无效”的替代解释

下面是一组用于说明判断方法的示例窗口,数字不代表特定服务器的实测结果。测试采用相同的多连接请求和相近的包速率:

指标启用前稳定窗口启用后稳定窗口
应用有效载荷吞吐约650 MB/s约660 MB/s
最忙核心的%soft约88%约38%
明显参与网络处理的核心1个4个
P99响应时间约42 ms约40 ms
接收丢弃、业务错误无持续增长无持续增长
应用待处理请求持续存在持续存在

若只看吞吐,会得出“开启RSS没有效果”;把CPU和队列一起看,结论更准确:接收工作已经分散,热点核心负载明显下降,但当前吞吐受其他环节限制。应用待处理请求持续存在,下一步应结合业务进程CPU、线程池排队、磁盘和数据库等待时间,找出请求停留在哪里。不能仅凭“有待处理请求”断定数据库就是瓶颈。

同样的吞吐平台,也可能由不同指标组合构成:

同一时间窗口内的联动现象更值得验证的方向
单核心网络软中断繁忙,活跃队列很少,多连接下接收丢弃增长RSS队列、哈希分布、中断及CPU映射
多队列均有流量,网络CPU有余量,单个业务线程满载应用并行度或单连接处理路径
多队列均有流量,磁盘读写时延和I/O等待同步上升存储处理能力,而非继续加接收队列
网络CPU有余量,数据库连接池等待和查询耗时同步上升数据库及连接池排队
接口流量接近可用链路能力,CPU及下游均有余量链路、交换机端口、对端能力及统计口径
吞吐不升且P99、超时率同步恶化查新增排队位置;不能将吞吐平台视为正常上限

内存也需要放进同一时间轴:若换页活动、内存回收压力与响应时间同时上升,应用可能在等待内存管理;仅凭“内存使用率高”却没有压力或等待迹象,不足以解释吞吐平台。磁盘同理,应看操作时延、设备忙碌情况及业务请求是否确实依赖磁盘,而不是只看MB/s。

在物理服务器上怎样核对,才不把配置当成结果

Linux环境可先使用只读查询建立快照。以下示例中的eno1必须替换为实际承载测试流量的接口;mpstat通常由sysstat提供,部分ethtool查询受网卡、驱动或权限限制,返回不支持时不要臆测其配置。

ip -br link
ethtool -l eno1
ethtool -x eno1
ethtool -S eno1
grep -i eno1 /proc/interrupts
mpstat -P ALL 1 5

ethtool -l用来区分当前与最大通道数,ethtool -x用于查看驱动支持时的RSS哈希映射;两者说明的是配置状态。ethtool -S中每队列收包、丢弃等字段应取前后两次快照计算增量。/proc/interrupts也要比较增量,并核对中断名称是否确实对应目标接口;mpstat用于观察各核心在负载窗口中的变化。这些查询不能单独证明某个业务流被哪个队列处理,应与连接数、队列计数和负载变化一起解释。

若发现队列集中,不要立即同时修改队列数、中断亲和性、合并参数和应用并发。一次改变多个变量,即使吞吐变化也无法归因。先确认网卡驱动、固件和内核支持的能力,再选择一个变量验证;生产环境调整前应保留原配置、明确影响的网卡和业务窗口,并准备恢复原参数的方法。队列增加还会带来中断调度和CPU缓存开销,并非越多越好;跨NUMA节点处理流量时,还应留意网卡所在NUMA节点与处理它的CPU、应用线程和内存位置是否匹配。

复测时,以瓶颈是否移动作为验收点

复测应尽量重现原来的连接数、包大小和持续时间,并同时保留单连接与多连接结果。单连接可帮助识别单流上限,多连接才更容易观察RSS分流;两者不能相互替代。对于业务请求,还应使用响应时间和错误率约束吞吐:如果吞吐略升,却伴随明显超时或P99恶化,不能仅凭Gb/s判定改善。

一次有解释力的复测,至少能回答三个问题:启用后各接收队列的收包增量是否分散?原先繁忙核心的负载、接收丢弃或排队是否变化?若这些改善而吞吐未升,新的等待位置在哪里?当指标指向应用、磁盘、数据库或链路时,就应停止围绕RSS队列数反复试探。

下一次观察建议固定同一个稳定窗口,同时抓取RX/TX吞吐与包速率、活跃连接数、逐核心%soft/%irq、各队列收包及丢弃增量、TCP重传、P95/P99与错误率、应用排队时间;再按业务路径补上磁盘时延、内存压力或数据库等待。只有这些曲线在时间上能够对齐,才能区分“RSS没有分散流量”与“RSS已分散流量,但吞吐瓶颈不在接收CPU”。

面向关注物理服务器CPU负载、网卡队列与网络吞吐的业务场景,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器租用服务,覆盖Xeon与AMD EPYC平台,并配备NVMe存储及不同带宽、线路和IP资源,可为网站、数据库、接口服务、容器和多任务计算提供与访问地区及网络需求相匹配的硬件基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5349.html

相关推荐