Linux用iperf3测试吞吐时,怎样控制并发连接并避免把单次结果当作带宽上限?

发布人:A5数据发布时间:2026-10-26 17:45阅读量:119

控制 iperf3 并发连接,应该把客户端的 -P 作为唯一主动变化项:先用 -P 1 建立单流基线,再在方向、时长、协议、测试端点和系统配置都不变的情况下,依次测试 -P 2、-P 4、-P 8。-P 8表示一次测试包含8条并行数据流,不代表有8个真实用户,也不意味着带宽会变成单流结果的8倍。

单次输出中的吞吐量,只说明某个时间点、某条路径、某种协议、某个并发数和某个测试时长下的观测值。要判断是否接近测试条件下的吞吐平台,需要重复采样、排除启动阶段,结合接收端速率、每流分布、TCP重传、RTT、CPU和网卡计数器一起分析。某一次出现的高值不能直接当作线路、云主机或网络产品的带宽上限。

先分清 -P、端口和带宽上限

Linux上的 iperf3 主要通过客户端参数控制并行流数量。以TCP为例,-P 4通常会建立4条并行数据流,同时还可能存在用于控制测试的控制连接。它测试的是同一客户端到同一服务端之间的多流吞吐,不等同于4个独立用户、4台客户端或4个应用进程。

几个容易混淆的参数可以先分开理解:

选项或结果实际控制或观察的对象不能直接推出的结论
-P n一次测试中的并行数据流数量真实用户数、应用连接数或带宽的 n 倍
-p 5201服务端监听的端口并发连接数量
-t 30单次测试持续时间长时间稳定性
-R让服务端向客户端发送数据双向同时传输能力
--bidir同时进行两个方向的传输,需确认版本支持正向、反向两个单独测试的简单相加
-bUDP的目标发送速率接收端实际可持续吞吐
-f g以 Gbit/s 等比特单位显示与 GB/s、Gbit/s 可以不经换算直接比较

因此,-P适合用来验证“单流是否受限”“增加并行流后能否填满路径”“多流是否导致端点资源耗尽”等问题,而不是用来制造一个看起来更高的峰值。

建立基线:先跑一条稳定的 TCP 流

正式改变并发数之前,先确认服务端、客户端、IP版本和端口都能正常工作。服务端可以使用:

iperf3 --version
iperf3 -s -p 5201

客户端以IPv4为例,执行一条并发数为1的基线测试:

iperf3 --version
iperf3 -4 -c 198.51.100.20 -p 5201 -P 1 \
  -t 30 -O 5 -i 1 -f g -J > baseline-p1.json

示例地址需要替换成实际的测试端点。命令中的参数含义如下:

  • -4固定使用IPv4;使用IPv6时应改为-6,两种协议不要混在同一组数据里比较。
  • -P 1只建立一条并行数据流。
  • -t 30将单次测试设为30秒。链路波动明显时,可以统一改为60秒。
  • -O 5忽略开始阶段的5秒,避免TCP慢启动和连接建立过程过度影响汇总值。
  • -i 1每秒输出一次区间数据,便于观察速率是否在中途下降。
  • -f g使用Gbit/s显示。小写g表示比特单位,大写格式通常用于字节单位,具体可用当前版本的帮助信息确认。
  • -J保存JSON结果,便于保留原始记录。

基线阶段不要急着调大窗口、修改拥塞控制或绑定CPU。先记录以下信息:

  • iperf3版本、Linux发行版、内核版本和网卡名称;
  • 客户端和服务端的CPU规格、虚拟CPU数量以及测试时的CPU负载;
  • IPv4或IPv6、目标IP、路由、MTU和是否经过公网或共享网络;
  • TCP拥塞控制算法、是否使用自定义-w、-M、-A、-Z等参数;
  • 服务端和客户端是否存在其他大流量任务。

默认正向测试中,客户端通常是发送端,服务端是接收端;使用-R后角色会反过来。判断有效吞吐时,优先关注接收端的汇总速率,同时保留发送端速率和重传信息。发送端显示得更高,不代表接收端已经稳定收到同样的数据量。

选择变量:只改变并发流数

基线稳定后,可以按照阶梯方式改变-P:

server_ip=198.51.100.20

for p in 1 2 4 8 16; do
  iperf3 -4 -c "$server_ip" -p 5201 -P "$p" \
    -t 30 -O 5 -i 1 -f g -J > "iperf3-p${p}.json"
  sleep 5
done

这段命令只改变-P,其他参数保持一致。-P 16不一定需要执行,如果在-P 4或-P 8时吞吐已经进入平台区,并且继续增加并发只会增加CPU占用和重传,就没有必要为了追求更高的瞬时值继续加压。

固定顺序运行1、2、4、8、16比较容易受到时间变化影响。例如第一组测试发生在网络空闲时,最后一组发生在共享链路繁忙时,差异就不能全部归因于并发数。更稳妥的做法是每个并发档位重复多次,并使用交错顺序,例如:

  • 第一轮:1、4、2、8
  • 第二轮:8、2、4、1
  • 第三轮:再次打乱顺序,但保证每个档位的次数相同

这里的交错不是为了改变测试目标,而是减少时间顺序对结果的干扰。每个档位至少保留5次记录,先计算中位数、最小值和最大值;样本数量更多时,再计算P95等分位数。

正向、反向和UDP要分开测试

默认的TCP测试是客户端到服务端的方向。服务端到客户端的反向测试应使用另一组完全独立的矩阵:

iperf3 -4 -c 198.51.100.20 -p 5201 -P 4 \
  -R -t 30 -O 5 -i 1 -f g -J > reverse-p4.json

不要拿正向-P 1的结果和反向-P 8的结果直接比较。上传和下载可能受到不同的出口策略、路由、队列或主机资源限制。

如果目标是验证两个方向同时传输,可以使用当前版本支持的--bidir,但这属于另一类测试。先执行iperf3 --help确认选项,再在所有并发档位中保持一致。双向同时发送会改变CPU、队列和带宽竞争关系,不能与单方向结果混为一谈。

UDP测试也应单独建立矩阵。UDP至少要固定-u、-b和必要时的-l。其中-b是发送目标速率,不是接收端已经证明的吞吐上限。不同版本和并行流配置下,-b的计量口径可能按流体现,因此不要把-b 500M -P 4未经确认就理解为总目标速率只有500M。应查看当前版本帮助信息,并以接收速率、抖动、丢包率和乱序数量作为判断依据。

控制条件:让并发数成为唯一解释

固定测试端点和路径

比较多个云主机、服务器或网络产品时,尽量使用同一台测试客户端,避免客户端硬件、CPU频率和网卡差异影响结果。每个产品都应使用相同的并发档位、测试时长、预热时间和重复次数。

需要注意,跨不同地域或不同网络服务商时,路径本身就是测试结果的一部分。即使客户端完全相同,目标端点的路由、互联线路和共享情况仍可能不同。报告中应写清楚“从某测试客户端到某端点”的范围,而不能把一次路径的结果扩展成整个产品或整个地域的普遍能力。

可以用只读命令检查路由和系统参数:

ip route get 198.51.100.20
sysctl net.ipv4.tcp_congestion_control

如果使用域名,测试期间应确认解析到的地址没有发生变化。更严格的对比可以直接使用固定IP,并明确记录IPv4或IPv6。

固定iperf3和内核参数

在并发数对照中,不要同时改变以下参数:

  • -R或--bidir,因为它们会改变传输方向;
  • -u、-b和-l,因为它们会改变协议和发送模型;
  • -C,因为拥塞控制算法不同会影响单流增长速度和丢包后的恢复;
  • -w、-M,因为套接字缓冲区和MSS会影响窗口、分段和吞吐;
  • -A和-Z,因为CPU亲和性和零拷贝会改变端点处理能力。

如果确实要研究窗口大小、拥塞控制或CPU绑定,应在完成并发数矩阵后另建一组实验,并且每次只修改其中一个参数。否则即使吞吐发生变化,也无法判断是并发流数还是其他设置造成的。

固定时长并核算流量

30秒适合观察多数短时TCP吞吐,60秒更适合发现速率逐渐下降、CPU升频或共享链路波动。无论选择哪一个时长,所有并发档位都要保持一致。

测试流量可能很大,尤其是高带宽产品。按十进制单位估算,传输量可以用“速率乘以秒数再除以8”计算。例如目标速率为9.3 Gbit/s、测试30秒:

9.3 × 30 ÷ 8 = 34.875 GB

这里按1 GB等于十亿字节计算。1 GB/s等于8 Gbit/s,不能把GB、Gb、MB和Mb混用。若服务商按出站流量计费,测试前还应估算流量额度,并避开生产业务高峰或使用隔离的测试网络。

观察结果:不只看最后一行

TCP需要同时看吞吐和限制因素

可以从以下几个维度采集数据:

指标观察方式判断用途
汇总接收速率iperf3的receiver或JSON中的接收汇总判断接收端实际得到的有效吞吐
每流速率iperf3各数据流的区间和最终结果判断是否由少数流贡献了大部分吞吐
重传数TCP结果中的Retr或JSON字段判断增加并发后是否带来丢包、拥塞或端点压力
RTT、拥塞窗口JSON结果或测试期间的ss -tin观察窗口增长、队列和路径延迟变化
CPU与软中断客户端和服务端的CPU、softirq区分网络瓶颈与端点处理能力不足
网卡错误和丢弃ip -s link、驱动支持时使用ethtool -S发现网卡、队列或驱动层面的异常

测试期间可以在两端分别采集系统状态:

mpstat -P ALL 1
sar -n DEV 1
ss -tin
ip -s link show dev eth0

其中eth0需要替换成实际网卡名称。ip -s link中的计数器是累计值,最好在测试前后各记录一次;ss -tin和CPU采样则应在测试运行期间观察。sar和mpstat由sysstat提供,如果系统没有安装,应使用现有监控工具,不要为了测试临时改变系统配置。

如果并发数增加后总吞吐上升,但某一条流几乎没有数据,说明“总量变高”并不一定代表每条连接都获得了均衡服务。对于需要评估多连接应用的场景,应该同时报告每流的最小值、最大值和分布。

用重复结果判断是否进入平台区

下面是一组用于说明判断方法的模拟记录,假设测试路径的名义链路为10GbE,每个并发档位运行5次,每次30秒。数据不是某条真实线路的实测值。

观察结果:不只看最后一行|用重复结果判断是否进入平台区配图

并发数 -P吞吐中位数(Gbit/s)五次结果范围(Gbit/s)TCP重传中位数客户端CPU峰值
16.866.72–6.94018%
28.918.76–9.02131%
49.379.28–9.42349%
89.399.30–9.43772%
169.389.20–9.451493%

这组数据可以作出几层判断:

  1. -P 1到-P 4增长明显,说明单流不能在当前条件下完全填满路径。它不表示线路上限只有6.86 Gbit/s。
  2. -P 4到-P 8的中位数增益约为(9.39 - 9.37) ÷ 9.37 × 100%,约为0.21%。在项目预先设定3%或5%的变化阈值时,可以把这里视为进入平台区的信号。
  3. -P 16没有带来额外吞吐,CPU峰值却接近满载,重传也增加。因此不能把-P 16的结果作为更有价值的带宽结论。
  4. 即使多个并发档位都稳定在9.3至9.4 Gbit/s,也只能说明在这台客户端、这台服务端、这个方向和这个时间段内,TCP有效吞吐接近该范围。它不能单独证明物理端口、服务商策略或整个产品的绝对上限。

“平台区”最好同时满足三个条件:继续增加并发后中位数变化很小;重复结果的范围相互重叠;CPU、重传、网卡丢弃等限制因素没有明显恶化。如果只有吞吐看起来不再上升,但CPU已经饱和,平台可能是端点瓶颈,而不是链路瓶颈。

根据结果模式安排下一步验证

观察到的模式优先考虑的原因下一步只改变一个变量
-P 1较低,增加到-P 4后上升并趋稳,CPU有余量单流窗口、RTT或拥塞控制限制检查RTT和拥塞窗口,另建窗口或算法对照
并发增加后CPU或softirq接近满载客户端、服务端、虚拟化层或网卡处理能力不足更换端点规格或固定CPU条件重新测试
并发增加后总吞吐下降,重传和网卡丢弃增加路径拥塞、队列压力或端点队列不足降低并发或更换时间段,保持其他参数不变
同一档位五次结果差异很大共享链路、后台任务、CPU频率或路由变化增加采样并记录测试时段和系统负载
正向和反向差距明显路径或服务策略存在方向差异分别建立正向、反向报告,不合并成一个数字

这些都是排查方向,不是单凭一项指标就能确认的根因。尤其是TCP重传数较低,并不等于链路没有任何丢包;它只能说明在这次测试中,重传没有明显影响汇总结果。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖常规建站、AMD计算、存储、多IP和不同带宽线路方案。依托Xeon、AMD EPYC平台及SSD、NVMe存储资源,可为网站、数据库、接口服务和多任务业务提供不同硬件基础;结合各地区的CN2、国际及其他线路选项,也能承载面向不同访问区域的网络吞吐评测场景。

产品评测时分开报告单流和多流

如果评估的是服务器、云主机或带宽产品,建议至少保留三类结果:

  • 单流能力:固定-P 1,反映单个TCP连接在该路径上的表现。
  • 典型多流能力:选择固定的-P 4或-P 8,但应说明选择依据,不能每个产品都挑自己的峰值并直接比较。
  • 并发曲线:完整记录-P 1/2/4/8,必要时增加-P 16,观察吞吐平台、重传和CPU代价。

比较多个产品时,不能给产品A使用-P 4、给产品B使用-P 16,然后只比较两者的峰值。更公平的做法是使用相同的并发档位,或者公开完整曲线。若某个产品在-P 4已经进入平台,而另一个产品需要-P 8才能接近平台,两者的单流体验和多流体验就应分别描述。

还要明确iperf3的边界。它主要进行内存到内存的网络传输,不包含磁盘读写、文件系统、HTTP请求、应用层加密和业务处理。因此,iperf3测得的有效吞吐不能直接等同于文件下载速度或某个网站的并发请求能力。如果要评估文件服务或应用服务,应另建应用层测试,不能把两类结果混在同一张表里。

同样,单台客户端中的-P 8也不能代表多台客户端同时访问时的总容量。若要研究共享出口、多人并发或多租户场景,需要使用多个独立流量源,并把它作为新的实验范围记录。

复测条件与适用边界

复测时,应尽量保持以下条件不变:

  • 测试客户端、服务端、目标IP和IP版本;
  • iperf3版本、Linux内核、CPU规格、网卡和MTU;
  • -P档位、-t时长、-O预热时间和输出单位;
  • TCP或UDP协议、正向或反向方向,以及-b等协议参数;
  • 测试次数、轮次顺序、间隔和测试时段;
  • 两端后台流量、CPU负载、路由和服务商限速状态。

可复核的报告写法应包含条件和范围,例如:“在固定客户端到指定IPv4端点的TCP路径上,测试时长30秒、预热5秒,每个并发档位重复5次。-P 4到-P 8的吞吐中位数变化小于预设阈值,但-P 16使客户端CPU明显升高,因此本批数据支持‘该条件下多流吞吐已接近平台区’,不支持‘某次峰值就是产品或线路的绝对带宽上限’。”

当客户端、服务端、时间段、路由、协议或系统负载发生变化时,应视为新的测试批次。只有在这些条件被重新记录并复测后,才适合更新原有判断。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5934.html

相关推荐