物理服务器启用网卡硬件卸载后,如何判断CPU占用和吞吐是否改善

发布人:A5数据发布时间:2026-10-25 10:37阅读量:101

网卡硬件卸载是否有效,不能只看启用后某一次 CPU 百分比或测速结果。可执行的判断标准是:在链路、报文、并发数、CPU 调度和测试时长基本一致的条件下,启用一个卸载项后,单位吞吐消耗的 CPU 是否下降,或者在 CPU 占用相近时,接收端有效吞吐是否提高。

如果吞吐没有下降、重传和丢包没有增加,同时主机总忙碌率或 system、softirq、irq 占用明显降低,可以认为 CPU 效率改善;如果吞吐提高但 CPU 不变,也属于有效改善。反之,只看到 CPU 降低,却伴随吞吐下降、单核打满或错误计数上升,不能算作硬件卸载带来了正向结果。

先确定要比较的指标

一次验证不需要采集几十个指标。围绕“CPU 占用和吞吐是否改善”,建议固定观察以下几项:

指标观察内容判断意义
有效吞吐iperf3 接收端速率或业务实际处理速率判断链路和应用是否真正传输了更多数据
主机总忙碌率100% - idle判断整体 CPU 压力是否下降
内核网络开销system、softirq、irq判断协议栈、中断和软中断处理是否减少
单核峰值多个 CPU 中持续占用最高的核心避免总 CPU 降低但某个网络处理核心打满
重传、丢包和错误TCP Retrans、接口 drops、errors、missed排除“以错误换吞吐”
单位吞吐 CPU 成本每 Gbps 消耗的 CPU 百分点比单独看 CPU 或吞吐更适合横向比较

其中,“CPU 占用降低”不是唯一目标。服务器已经跑到网卡线速时,硬件卸载通常很难再让吞吐明显增加,但可能让 CPU 从 70% 降到 45%。这类结果仍然有价值,因为释放出的 CPU 可以用于业务进程。

相反,服务器在启用卸载前只达到 4 Gbps,启用后达到 8 Gbps,但 CPU 从 45% 上升到 70%,也不能简单称为 CPU 改善,而应记录为吞吐提升、CPU 成本上升。

两个基本计算方式

吞吐使用十进制单位时,可以按下面的方式计算:

吞吐 Mbps = 传输字节数 × 8 ÷ 传输秒数 ÷ 1,000,000

例如,60 秒内传输 10 GB,且这里的 GB 按十进制计算:

10 × 8 × 1000 ÷ 60 = 1333.3 Mbps

不要把 GB、GiB、Gbps 和 GB/s 混为一谈。Gbps 是每秒十亿比特,GB/s 是每秒十亿字节,二者相差约 8 倍。

为了比较 CPU 成本,可以使用:

单位吞吐 CPU 成本 = CPU 忙碌率 ÷ 吞吐 Gbps

例如,测试 A 为 72% CPU、6 Gbps,单位成本为 12 个 CPU 百分点/Gbps;测试 B 为 60% CPU、6 Gbps,单位成本为 10 个 CPU 百分点/Gbps。后者虽然吞吐没有增加,但处理效率更高。

建立可重复的基线

以下以 Linux 物理服务器为例。测试前先确认实际使用的接口名称,不要直接假设是 eth0。可以先执行:

ip -br link
ip route get 192.0.2.10

将示例中的 ens3 替换成实际承载测试流量的接口。记录网卡驱动、链路速率、卸载状态和接口计数器:

IF=ens3

sudo ethtool -i "$IF"
sudo ethtool "$IF"
sudo ethtool -k "$IF"
ip -s link show dev "$IF"

重点保存以下信息:

  • 网卡驱动名称和版本;
  • 当前协商速率、双工状态;
  • MTU;
  • rx、tx、tso、gso、gro、lro、校验和卸载的当前状态;
  • 接口的接收、发送、丢包和错误计数;
  • 网卡支持的队列数量和中断分布。

网卡统计项通常由驱动自行命名,可以使用下面的方式筛查:

sudo ethtool -S "$IF" | grep -Ei 'drop|discard|error|miss|crc|timeout|reset'

并非所有驱动都提供相同的字段。某些网卡没有标准的 rx_dropped 或 tx_errors 名称,因此应在测试前后保存完整输出,而不是只关注某一个字段。

使用固定的流量工具

为了验证网络处理能力,可以使用两台物理服务器:一台作为发送端,另一台作为接收端。不要用本机回环测试代替网卡路径,因为回环流量不会经过完整的物理网卡和链路。

建立可重复的基线配图

接收端启动 iperf3:

iperf3 -s

发送端使用固定的并发数和测试时长:

iperf3 -c 192.0.2.20 -P 4 -t 60 -O 10 -f g

这里的参数含义是:

  • -P 4:固定使用 4 条 TCP 流,避免单连接窗口成为瓶颈;
  • -t 60:正式测试持续 60 秒;
  • -O 10:忽略前 10 秒预热阶段;
  • -f g:以 Gbit/s 形式显示结果。

反向测试必须单独进行:

iperf3 -c 192.0.2.20 -P 4 -t 60 -O 10 -R -f g

正向测试主要观察发送方向的卸载效果,反向测试主要观察接收方向的聚合、校验和处理以及中断分布。两者不能合并成一个结论。

测试期间,在被观察的服务器上采集 CPU:

mpstat -P ALL 1 70

如果系统安装了 sysstat,还可以观察接口流量:

sar -n DEV 1 70

mpstat 中的 %idle 用于计算整体忙碌率;%sys、%soft 和 %irq 可用于观察内核、中断和软中断开销。不要只看某个业务进程的 CPU,因为网卡中断和软中断可能由内核线程处理,并不完全计入 iperf3 进程。

只选择一个卸载变量

网卡硬件卸载不是单一开关,而是一组功能。常见项目的处理方向和含义并不相同:

功能主要方向作用是否等同于纯硬件处理
RX/TX checksum offload接收/发送由网卡辅助校验和计算通常涉及硬件,但具体由驱动和网卡实现决定
TSO发送网卡把较大的 TCP 数据段切分成多个报文通常依赖网卡分段能力
GSO发送内核允许协议栈处理大段数据,必要时再分段主要是通用的软件机制
GRO接收内核将多个小报文合并后交给上层主要是内核接收路径优化
LRO接收网卡或驱动进行大报文聚合依赖网卡和驱动实现
RSS接收将不同流量分散到多个接收队列和 CPU属于队列和中断分布机制,不是传统意义上的卸载

因此,ethtool -k 显示某项为 on,只能说明该功能处于启用状态,不能单独证明所有工作都在网卡硬件中完成。还需要结合驱动、网卡型号、队列计数、CPU 软中断和最终吞吐判断。

单变量验证时,应保持其他状态不变。例如只验证 TSO:

sudo ethtool -k ens3 | tee /var/tmp/ens3-offload.before.txt
sudo ethtool -K ens3 tso off

完成基线测试后,只打开 TSO:

sudo ethtool -K ens3 tso on

再次测试时,不要同时执行下面这种组合修改:

# 不建议将多个变量混在同一次验证中
sudo ethtool -K ens3 tso on gso on gro on rx on tx on

这种方式即使结果变好,也无法判断究竟是哪一个设置产生了影响。更可靠的顺序是:

只选择一个卸载变量配图

  1. 保留当前全部设置,完成一次基线;
  2. 只关闭一个功能,测试三次;
  3. 恢复该功能,确认结果回到原状态;
  4. 只改变下一个功能,再测试三次;
  5. 比较每组测试的中位数和波动范围。

如果某个设置显示为 on [fixed],通常表示驱动不允许动态修改。此时不要强行改动,应把它作为固定条件记录下来。若 ethtool -K 返回不支持或无效,也应保留原状态,不能把“命令执行失败”解释成“卸载无效”。

变更前保存状态,测试后按原值回退

改变活动接口的卸载功能可能影响正在传输的连接,部分驱动还可能触发队列重新初始化。生产环境应选择维护窗口或测试接口,并先保存原始状态:

IF=ens3
sudo ethtool -k "$IF" > "/var/tmp/${IF}-offload.before.txt"

回退时必须使用变更前的实际值。例如,变更前 TSO 为 on,测试后关闭,则应执行:

sudo ethtool -K ens3 tso on

不能把所有项目都简单恢复为 on,因为原配置可能包含驱动默认值、off [fixed] 或特定的兼容性设置。回退后重新检查:

sudo ethtool -k ens3
ip -s link show dev ens3

控制会干扰结果的条件

单变量实验的关键不是命令本身,而是让两次测试只有一个变化。以下条件应尽量固定:

  • 发送端和接收端不更换;
  • 使用同一块网卡、同一个端口和同一条链路;
  • MTU、VLAN、Bond、桥接关系保持一致;
  • TCP 流数量、测试时长和预热时间保持一致;
  • 正向和反向流量分开测试;
  • CPU 频率策略、虚拟化配置和后台任务保持一致;
  • 不同时修改网卡队列数、IRQ 亲和性、环形缓冲区和防火墙规则;
  • 测试期间不运行大规模备份、压缩、磁盘扫描或软件更新;
  • 每个条件至少测试三次,优先比较中位数。

如果测试的是 1 Gbps 小包转发,结果会明显受每秒报文数影响;测试 10 Gbps 大文件传输,则更容易体现 TSO、GSO、GRO 等功能的价值。报文大小本身也是变量,所以应先选定一种代表性业务,再进行卸载对照。

以近似的 1500 字节报文为例,1 Gbps 流量的报文速率约为:

1,000,000,000 ÷ 8 ÷ 1500 ≈ 83,333 个报文/秒

如果报文有效载荷只有约 64 字节,报文速率会接近 1,953,125 个/秒。后者需要更多中断、队列和协议栈处理,即使链路速率相同,硬件卸载带来的 CPU 差异也可能更明显。

观察结果时不要只看平均吞吐

先看吞吐是否处于同一条件

iperf3 的发送端速率和接收端速率不一定完全相同。判断时优先使用接收端有效速率,并同时查看重传和接口错误。

可以将每次测试记录成类似下面的表格:

观察结果时不要只看平均吞吐配图

条件接收端吞吐主机忙碌率system+softirq+irq单核最高占用重传/丢包
TSO 关闭7.18 Gbit/s79%41%96%34 / 0
TSO 开启9.06 Gbit/s64%26%84%31 / 0

这是一组用于说明判断方法的示例数据,不代表某种固定网卡或驱动的实测结果。根据这组数据,TSO 开启后吞吐约提高 26%,主机忙碌率下降约 19%,网络相关内核开销也下降,同时重传和丢包没有恶化。若三次测试结果相近,可以认为该工作负载下 TSO 带来了明确改善。

再看是否存在单核瓶颈

总 CPU 从 80% 降到 60%,不一定意味着网络处理已经没有瓶颈。如果一个核心长期 100%,其他核心较空闲,吞吐仍可能被单个接收队列、IRQ 或 ksoftirqd 限制。

再看是否存在单核瓶颈配图

可以查看中断分布:

grep -E 'ens3|mlx|ixgbe|i40e|ice|virtio' /proc/interrupts

不同驱动的中断名称不同,实际匹配结果可能为空。也可以结合:

sudo ethtool -l ens3
sudo ethtool -x ens3

前者查看通道和队列能力,后者在驱动支持时查看 RSS 哈希配置。这里的 RSS 不是单独的硬件卸载开关,但它会直接影响卸载效果。如果所有接收流量集中到一个队列,开启 GRO 后总 CPU 可能下降有限,且吞吐仍被单核限制。

判断单核问题时,应同时关注:

  • mpstat -P ALL 中持续最高的核心;
  • /proc/interrupts 中网卡中断是否集中;
  • softirq 是否集中在少数 CPU;
  • 接收队列是否与 CPU 数量匹配;
  • 多流测试是否比单流测试明显更快。

如果在 TSO、GRO 等功能都保持不变的情况下,仅调整 RSS 或队列数,已经属于另一个实验,不应把结果归因于网卡硬件卸载。

检查错误计数和业务结果

部分卸载设置可能带来兼容性问题,尤其是在特定驱动、虚拟化链路、桥接、抓包或防火墙路径下。对照测试前后应保存:

ip -s link show dev ens3
sudo ethtool -S ens3 > /var/tmp/ens3-stats.after.txt
nstat -az

关注的不是单个计数器绝对值,而是单位测试时长内的增量。常见异常包括:

  • rx_missed_errors 或同类接收丢失计数增加;
  • rx_errors、CRC 错误或超时增加;
  • TCP 重传率上升;
  • iperf3 速率短时冲高但平均值下降;
  • 业务请求延迟增加;
  • 网卡队列出现持续积压。

抓包时还要注意校验和显示问题。某些 Linux 网卡在数据包交给抓包程序时尚未完成发送方向的校验和,抓包工具可能显示“bad checksum”,但线上实际报文并不一定错误。因此不能仅凭抓包中的校验和提示判定 checksum offload 失败,应结合接收端错误、TCP 重传和业务结果。

用统一标准判断是否改善

在测试噪声较小的环境中,可以设置一个内部验收标准。例如:

  • 吞吐中位数提高 5% 以上,且重传、丢包和错误没有明显增加;
  • 或者吞吐保持在原结果的 98% 以上,主机忙碌率下降 10 个百分点以上;
  • system、softirq、irq 之和下降,同时最高 CPU 核心没有从 80% 附近升到长期 100%;
  • 三次测试结果的波动小于配置变化带来的差异。

“5%”和“10 个百分点”是便于实验决策的参考阈值,不是所有业务都必须遵守的硬性标准。低延迟交易、存储复制、包转发和大文件传输对指标的优先级不同。对延迟敏感的业务,即使吞吐提高,也要补充观察 P95、P99 延迟;对大文件传输,吞吐和 CPU 成本通常更重要。

可以按下面的方式解释常见结果:

吞吐变化CPU 变化错误和延迟判断
提高降低无明显恶化卸载对当前负载有明确收益
基本不变降低无明显恶化主要改善 CPU 效率,链路可能已接近上限
提高基本不变或略升无明显恶化吞吐改善,但不能称为 CPU 占用改善
基本不变基本不变无明显恶化当前负载下没有可观察收益
降低降低重传、丢包或延迟上升可能是以性能质量换取 CPU 下降
提高降低单核长期打满总体改善,但仍存在队列或中断瓶颈
正向改善、反向无变化方向相关另一方向正常应分别归因于 TX 或 RX 路径

不同卸载项应分别看待

校验和卸载通常对 CPU 有帮助,但在已经由应用、内核或虚拟化层承担其他开销的场景中,吞吐变化可能很小。验证时应重点看 system、softirq 和重传,不要只看链路速率。

TSO 更容易在大块 TCP 发送场景中体现效果。服务器向外发送大文件、备份流或存储数据时,如果关闭 TSO 后发送端 CPU 明显升高,可以认为分段工作对处理器造成了压力。但小包转发、UDP 或单连接窗口受限时,TSO 的变化可能不明显。

GRO 主要影响接收路径。服务器接收大流量 TCP 数据时,开启 GRO 后常见表现是软中断减少、接收端 CPU 降低;但某些需要逐包处理的安全、监控或转发路径,报文聚合可能改变上层看到的处理粒度,需要用真实业务验证。

LRO 的兼容性取决于网卡和驱动。即使吞吐提高,也要确认不会影响防火墙、抓包、桥接或其他依赖原始报文边界的功能。不能因为某个测试中 CPU 降低,就把 LRO 作为所有业务的默认启用项。

GSO 是内核通用机制,不能直接当作网卡硬件卸载。若实验只想验证“网卡是否替主机完成分段”,应把 TSO 作为主要变量,同时记录 GSO 状态,避免把软件分段优化误算为硬件收益。

用业务流量做第二次确认

iperf3 适合建立网络能力基线,但它不包含实际业务中的 TLS、压缩、存储读写、连接建立和应用排队。如果 iperf3 显示卸载有效,还需要在不改变其他条件的情况下使用业务回放或固定请求集复测。

业务复测至少记录:

  • 每秒请求数或业务吞吐;
  • 业务进程 CPU;
  • 主机 system、softirq 和单核峰值;
  • P95、P99 延迟;
  • TCP 重传、接口丢包和错误;
  • 磁盘、内存和应用线程是否成为新的瓶颈。

如果网络基准测试中 CPU 下降,但业务测试没有变化,说明真实业务的主要瓶颈可能不在网卡路径,而在应用、加密、磁盘或连接管理。此时不能把基准测试结果直接推广到业务整体。

复测条件和结论边界

一次测试只能说明一个特定组合下的结果:某台物理服务器、某个网卡和驱动、某种 MTU、某个方向、固定报文规模、固定并发数以及固定内核和业务条件。更换网卡型号、驱动版本、内核版本、链路速率或流量方向后,都应重新建立基线。

最终记录建议至少包含:原始卸载状态、唯一改变的变量、测试方向、TCP 流数量、测试时长、吞吐中位数、主机忙碌率、网络相关 CPU 开销、单核峰值、重传和接口错误。只有当复测结果在相同条件下重复出现,并且错误和延迟没有恶化,才能把“CPU 占用下降”或“吞吐改善”写成可执行的配置结论;否则应保留为当前测试负载下的观察结果,而不是适用于所有物理服务器和业务的通用结论。

物理服务器的网卡卸载表现与CPU平台、网络线路及业务负载密切相关。A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖Xeon与AMD EPYC等平台,并提供不同存储和线路方案,可为网站、数据库、接口服务及跨境业务提供部署资源。香港和美国另有GPU服务器,日本等地区也有不同网络线路与存储配置,便于围绕不同计算和网络场景选择相应的服务器资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5678.html

相关推荐