独享带宽跑不满时,如何排查海外服务器的TCP参数、拥塞控制与网卡队列?
独享带宽没有跑满,不一定是服务器网卡或线路故障。单连接测速受 RTT、丢包、TCP 窗口、拥塞控制和对端能力影响;多连接能跑满而单连接偏低,通常要优先检查 TCP 与路径质量。若多个测试端、多个连接都达不到预期,则应进一步核对带宽方向与计量口径、网卡队列、CPU软中断,以及应用和磁盘是否成为瓶颈。
排查时不要先把系统参数调大。先确认“跑不满”指入站还是出站、单连接还是总吞吐,并用多种测试交叉验证;再从线路和主机资源向TCP参数、网卡队列逐层收窄范围。每次只改一个变量,记录原值和测试结果,避免把偶然波动误判为修复。
面向跨地区部署与网络性能排查场景,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用资源,覆盖CN2、国际及区域线路方案,并配备不同规格的Xeon、AMD EPYC、内存与SSD/NVMe存储。针对网站、接口、数据库、跨境业务及多任务计算,可形成从线路、带宽到主机算力和存储的基础资源组合。
一、先把现象和测试口径确认清楚
“独享带宽”通常描述的是服务器端口或线路的带宽分配方式,并不等于任意一个客户端、任意一条TCP连接都能持续达到标称速率。实际结果还取决于测试端带宽、两端路由、跨境链路拥塞、往返时延(RTT)、丢包、服务器负载和测试工具的连接数。
先明确以下信息:
- 方向:客户端上传到服务器,还是服务器向客户端发送。入站和出站可能经过不同路由,也可能受不同的线路策略影响。
- 速率口径:套餐或端口标注的是Mbps还是MB/s。网络速率通常按十进制计算,1Gbps理论上相当于125MB/s,实际应用吞吐会因协议开销、磁盘和测试方式而更低。
- 连接数:单条TCP连接的结果,还是多条并发连接的总和。测速工具增加并发流后,总速率可能上升,但这不代表单连接参数已解决。
- 测试对端:对端是否有足够带宽、CPU和可用资源;两台服务器若位置或网络路径不同,结果不能直接互相替代。
- 测试时间与持续时长:短测可能受启动、缓存或瞬时调度影响。可重复测试数次,并记录每次结果,不要只取最高值。
- 带宽计量方式:确认服务的带宽限制是按端口、方向还是其他规则配置,是否存在计量周期或突发策略。相关配置需要向服务提供方核实,不能仅凭主机内的网卡速率判断。
若以下载文件作为测试,磁盘读写、文件系统缓存和Web服务处理能力都可能介入。排查网络本身时,优先使用内存缓冲的网络测试工具,并确保测试端也具备相应性能。
二、由外到内:先排除路径和测试端问题
1. 使用可控的两端做单连接与多连接对比
可在两台自己管理、带宽和资源足够的Linux服务器之间使用 iperf3。先确认两端已安装该工具,并选择合规、允许进行测试的主机。服务端在测试窗口内监听指定端口:
iperf3 -s -p 5201
客户端分别测试服务器接收和发送方向。假设客户端连接到服务端地址 SERVER_IP,以下命令中的地址和端口要替换成实际值:
iperf3 -c SERVER_IP -p 5201 -t 30
iperf3 -c SERVER_IP -p 5201 -t 30 -P 4
iperf3 -c SERVER_IP -p 5201 -t 30 -R
iperf3 -c SERVER_IP -p 5201 -t 30 -P 4 -R
其中,不带 -R 的测试由客户端向服务端发送数据;加 -R 后由服务端向客户端发送。-P 4 表示使用4条并发流。端口需要允许两端通信,但不建议为测试而长期开放不必要的公网入口。测试结束后停止服务端进程,并关闭测试期间临时开放的规则。

结果可按以下方式解读:
| 测试表现 | 优先排查方向 |
|---|---|
| 单连接偏低,多连接显著提升 | RTT、丢包、TCP窗口、拥塞控制,或单流受限 |
| 单连接和多连接都低,且仅一个测试端异常 | 测试端资源、对端带宽或特定路由 |
| 上传正常、下载偏低,或反过来 | 方向性路由、对端能力、网卡收发队列、服务商限速策略 |
| 多个测试端和方向都偏低 | 服务器负载、主机网络配置、端口限速或线路侧问题 |
| 测试速率先高后下降 | CPU或软中断过载、突发策略、拥塞、热降频,或对端持续处理能力不足 |
并发测试会增加两端CPU和网络负载。若服务器承载生产业务,应在低峰期测试,控制时长和并发数,并观察业务监控。不要在不掌握影响范围时用大量并发流持续压测。
2. 对比不同路径,检查时延和丢包
从服务器到测试端查看路由路径和丢包分布:
ping -c 20 TEST_IP
traceroute -n TEST_IP
系统若没有 traceroute,可使用发行版提供的同类工具;先通过系统包管理器查询安装方式,不要直接执行不明来源的安装脚本。ping只能帮助观察往返时延与丢包,不能单独证明TCP路径是否存在拥塞;路由中间节点不响应探测也不一定意味着转发故障。
若有 mtr,可做较长时间的路径观察:
mtr -rwzc 100 TEST_IP
重点看最终目的地址的持续丢包和时延变化。只有中间某一跳显示丢包、而后续各跳和终点正常时,常见原因是该跳限制了探测报文响应,不能据此判定业务数据丢失。对海外链路尤其要比较多个目的地和多个时段;单一路由上的瞬时结果不足以作为调参依据。
3. 观察测试时的主机资源
测试期间在服务器执行:
top
free -h
iostat -xz 1
iostat 通常由 sysstat 软件包提供;若命令不存在,应先核对系统发行版和软件包来源。也可查看网络、CPU和软中断的实时情况:
mpstat -P ALL 1
sar -n DEV 1
判断时不要只看总CPU使用率。单个核心接近满载而其他核心较空,仍可能限制单队列或单流吞吐;%steal持续偏高可能表示虚拟化宿主机争用资源。内存“已用”较高并不自动代表内存瓶颈,Linux会使用空闲内存做缓存,应结合可用内存、交换活动和应用情况判断。磁盘等待偏高时,基于文件传输的测试可能被存储限制,但纯 iperf3 测试通常不依赖磁盘。
如需确认链路速率和接口状态,先找到实际接口名:
ip -br link
ip -s link
接口名称可能是 ens3、enp1s0 等,不应照抄示例。然后查询网卡协商速率:
ethtool INTERFACE
虚拟网卡可能不提供真实物理链路速率,显示结果也未必代表服务商端口带宽。应把它作为接口状态信息,而不是套餐带宽的唯一依据。
三、从TCP窗口和拥塞控制判断单流瓶颈
1. 用RTT估算单连接需要的在途数据量
TCP单连接的吞吐与带宽时延积有关。可用“目标速率 × RTT”估算需要同时在途的数据量。以十进制单位举例,若目标是1Gbps,往返时延为80毫秒:
1Gbps = 125MB/s; 125MB/s × 0.08s = 10MB。
这表示单连接要维持接近该目标速率,路径上大约需要10MB数据处于在途状态。它不是应直接写入系统的TCP窗口值:实际结果还受接收端通告窗口、拥塞窗口、内核缓冲区自动调节、应用读取速度和丢包影响。

跨洲或跨区域连接的RTT可能明显高于同城连接,因此单流低于接口带宽并不必然代表网卡故障。若多流合计接近目标,而单流明显偏低,先看RTT、丢包和TCP统计,再考虑是否适合调整拥塞控制或应用并发。
2. 查看当前TCP和内核缓冲设置
先保存当前设置,再确认内核实际值:
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control
sysctl net.core.rmem_max
sysctl net.core.wmem_max
sysctl net.ipv4.tcp_rmem
sysctl net.ipv4.tcp_wmem
sysctl net.ipv4.tcp_moderate_rcvbuf
在Linux中,tcp_rmem和tcp_wmem通常分别包含最小值、默认值和最大值;tcp_moderate_rcvbuf用于接收缓冲区自动调节。不同内核版本、发行版和云平台提供的虚拟化环境可能有所不同,应以当前系统查询结果为准。
如果使用自动调节,单纯提高 rmem_max 或 wmem_max 不一定提高吞吐。它们是上限相关设置,调得过大还会增加大量连接下的潜在内存占用。多连接服务器需要评估并发规模,而不能只按单条压测连接设置极大缓冲值。
可以查看TCP统计计数器:
nstat -az | grep -E 'TcpRetransSegs|TcpExtTCPTimeouts|TcpExtTCPLoss'
ss -ti
ss -ti可在有活动连接时观察拥塞控制算法、RTT、重传和拥塞窗口等信息;输出字段随内核版本变化。若重传持续增加,优先回查丢包、链路质量和接口错误计数,不应把扩大缓冲区当作丢包修复方案。
3. 判断拥塞控制是否值得调整
先看当前算法和内核可用算法。常见情况是系统使用 CUBIC;部分内核还提供 BBR,但是否可用取决于内核构建和发行版配置。不要因“BBR速度更快”之类的泛化说法直接切换:算法效果取决于路径、丢包形态、队列管理、对端和内核实现,且不能修复线路拥塞或物理错误。
在维护窗口中,可对照当前算法和候选算法,使用相同的测试端、方向、时长、连接数进行A/B测试。若测试结果不稳定,先重复多轮并记录中位数、RTT和重传变化。仅在算法确实可用且经过验证后,才考虑持久化变更。
临时切换的风险低于直接改持久配置,但仍会影响该主机新建的TCP连接。执行前记录原值:
sysctl net.ipv4.tcp_congestion_control
若已确认候选算法可用,可临时设置,例如:
sudo sysctl -w net.ipv4.tcp_congestion_control=bbr
上例仅在 tcp_available_congestion_control 明确列出 bbr 时适用。若出现连接表现恶化、CPU负载异常或业务指标变差,应立即恢复此前记录的算法,例如:
sudo sysctl -w net.ipv4.tcp_congestion_control=cubic
这里的 cubic只是示例,回滚值必须使用本机原值。临时修改通常不会跨重启保留。不要未经评估就写入 /etc/sysctl.conf 或新增配置文件;持久化前备份将修改的文件,核实发行版的sysctl加载方式,并准备恢复备份及重新加载配置的步骤。
4. 区分“窗口不足”与“路径受损”
单连接低、多连接明显提升,且服务器CPU未饱和时,可结合 ss -ti观察窗口与重传。如果在途窗口较小、重传不明显,且接收端读写能力正常,才进一步调查自动缓冲和应用是否持续供数。若重传明显或RTT波动大,先处理路径和丢包;如果发送端CPU单核打满,则先解决CPU或队列调度问题。
还要确认应用没有主动设置较小的套接字缓冲区或使用限制性参数。系统级TCP自动调节无法绕过应用自身设定。文件传输、数据库复制和HTTP服务使用的并发与缓冲方式不同,建议从具体应用日志、连接数和线程状态验证,避免把所有业务都套用同一个网络参数方案。
四、检查网卡队列、软中断与丢包计数
1. 先读队列和接口统计,不急着改
确认接口名后,查看网卡支持的通道数、当前通道数和队列统计:
ethtool -l INTERFACE
ethtool -g INTERFACE
ethtool -S INTERFACE
ip -s link show dev INTERFACE
并非所有虚拟网卡都支持这些查询;某些驱动的统计项名称也不同。重点关注是否有持续增长的 rx_dropped、tx_dropped、错误、丢弃或队列满相关计数。单次读取到非零累计值,不能说明当前仍在丢包,应间隔一段测试时间再次读取并比较增量。
如果测试吞吐上升时某个CPU核心的软中断持续很高,或接口丢弃计数同步增长,网卡队列、RSS分流、IRQ亲和性和虚拟化宿主机资源都值得继续检查。相反,队列计数正常、CPU有余量、单流受限且多流可扩展时,更应回到TCP和路径分析。
2. 查看内核网络积压与中断分布
运行一段时间观察软中断和网卡中断:
cat /proc/net/softnet_stat
grep -E 'NET_RX|NET_TX' /proc/softirqs
grep -iE 'eth|ens|enp|virtio' /proc/interrupts
/proc/net/softnet_stat以十六进制字段呈现内核软中断处理情况,不同内核字段含义和布局需结合对应内核文档解读。不要把某一列的非零值直接当成当前故障;应比较前后值是否持续增长,并与测试时段、丢包计数、CPU负载对应起来。/proc/interrupts中的中断分布若长期集中在单核,可进一步核实RSS和IRQ调度,但云平台可能由宿主机控制部分设置,来宾系统未必有权修改。

查询RSS相关设置:
ethtool -x INTERFACE
若驱动不支持,该命令可能返回不支持信息,这不等于网卡故障。irqbalance服务是否运行也要先查询:
systemctl status irqbalance
不要为“均匀分配中断”而盲目停用 irqbalance 或手动绑定中断。错误的CPU亲和性可能让网络处理集中到少数核心,或与业务线程争抢CPU。若确需调整,应先记录原配置、在低峰期改变一项设置,并通过吞吐、丢包、CPU分布和业务延迟确认效果;回滚时恢复原服务状态或原亲和性配置。
3. 队列数量、队列长度和卸载功能的调整边界
只有在驱动报告支持、CPU核心资源匹配且有明确的队列分配问题时,才考虑调整多队列数。ethtool -L会修改通道数,可能影响网络性能或在个别驱动上引发短暂中断;变更前应确认带外管理或控制台可用,避免失去远程连接。虚拟机中若设备由平台管理,优先咨询服务提供方,不要强行设置。
网卡环形缓冲区可通过 ethtool -g查看。若接收丢弃确实与缓冲耗尽相关,且驱动允许,才评估扩大 ring;设置过大会增加排队时延和内存占用。修改前记录原值,使用驱动支持的范围,不要复制其他网卡型号的数值。若修改后延迟或丢弃变差,应按原值恢复。
TSO、GSO、GRO、LRO等卸载能力用于减少逐包处理开销。它们通常不应作为“带宽跑不满”的第一调整项。关闭卸载可能显著增加CPU负担;只有在怀疑驱动兼容或特定数据路径问题、并且能进行对照测试时,才短时验证。变更前用 ethtool -k INTERFACE记录状态,测试后恢复原状态。不要在生产环境中一次性关闭多项卸载功能。
五、排除CPU、内存、磁盘、应用和数据库瓶颈
网络测试结果并不总是网络本身造成的。按指标判断,避免只看一个“服务器负载”数值:
| 观察项 | 可能的瓶颈信号 | 下一步核验 |
|---|---|---|
| CPU | 单核接近满载、软中断偏高、测试吞吐随并发变化明显 | mpstat -P ALL 1,区分用户态、系统态、软中断和steal |
| 内存 | 可用内存持续不足、交换活动增加、进程被回收或终止 | free -h、vmstat 1,结合应用进程内存趋势 |
| 磁盘 | 文件测试时等待时间升高、吞吐与磁盘读写同步受限 | iostat -xz 1,与纯内存网络测试对照 |
| 应用 | 进程线程池耗尽、连接池限制、单线程处理能力不足 | 查应用日志、线程和请求队列,做静态文件与应用接口对照 |
| 数据库 | 查询延迟、连接耗尽、锁等待或磁盘IO升高 | 查看数据库指标与慢查询,确认网络测试是否实际经过数据库 |
| 网络接口 | 收发错误或丢弃持续增长,软中断/队列出现集中拥塞 | 比较 ip -s link、ethtool -S与软中断前后计数 |
vmstat 1可以辅助观察运行队列、交换、阻塞和CPU情况:
vmstat 1
若 si、so持续非零且伴随可用内存不足,应先处理内存压力;偶发值不能单独判定内存故障。iostat中的利用率和等待指标也要结合设备类型、云盘性能上限和业务读写模式解释,不能机械套用单一阈值。
若纯 iperf3 能接近预期而文件下载偏低,应重点查磁盘、文件服务、TLS处理、应用并发和客户端写盘能力。若应用接口远低于静态数据传输,进一步检查应用线程池、数据库连接池、慢查询和后端调用。数据库瓶颈不宜通过提高网络队列或扩大TCP缓冲区来“补救”,应从查询耗时、锁等待、连接数和数据库IO验证。
六、按结果选择下一步,而不是同时改一组参数
单连接低,多连接接近目标
优先确认长RTT、丢包与重传,再查看 ss -ti的拥塞窗口和接收窗口。若路径稳定、CPU不紧张、系统自动调节正常,可对不同拥塞控制算法做受控对比;若应用单连接自身设置了缓冲或串行处理,则应由应用侧评估并发方式。多连接能跑满只是定位线索,不意味着所有业务都适合增加连接数。
入站和出站差异明显
在相同测试端、时段和连接数下重复测试,确认差异具有持续性。再检查反向测试路径、接口收发计数和方向性策略。某些环境的进出方向计量或限速方式不同,主机内无法完整验证,应将测试时间、目的地址、方向和结果提供给服务商核对线路与端口策略。
多个对端、多个方向都偏低
确认CPU、软中断、接口错误和系统限速后,排查网卡队列与宿主机资源。如果接口统计正常但性能仍明显异常,且实例为虚拟机,来宾系统不一定能看到物理网卡队列或宿主机拥塞,需要服务提供方核实底层端口、宿主机和线路状态。
网络工具正常,业务传输仍慢
把问题转向应用链路:比较静态文件与动态请求、服务器本机访问与远程访问、缓存命中与未命中,并观察磁盘和数据库。若只有特定业务慢,TCP全局参数通常不是首要矛盾;应从应用日志、依赖服务延迟、连接池和业务并发限制入手。
丢包或错误计数持续增长
先保留接口、路由、测试时段和计数器前后值,避免立即改队列或关闭卸载掩盖症状。若错误出现在接口层,需结合驱动统计和虚拟化环境确认是否为来宾接口、宿主机或物理链路问题。若接口计数不变但端到端重传增加,则重点检查路径与对端。两类情况都应以连续观测而非累计总数判断。
七、变更和复测:每次只验证一个假设
调参前记录系统版本、内核、接口名、原始sysctl值、队列状态、测试端和测试结果。变更顺序建议从低风险开始:先换测试端和时段,确认方向及对端能力;再查看资源和计数器;之后才考虑短时调整拥塞控制、队列或缓冲相关设置。涉及持久配置时先备份文件,并确保有控制台或带外管理能力。
复测使用相同测试条件,至少记录:
- 单流和多流的吞吐,以及发送、接收方向;
- 测试前后RTT、丢包和TCP重传变化;
- CPU各核心使用率、软中断和steal;
- 网卡错误、丢弃计数增量;
- 业务延迟、错误率和连接数。
一次结果提升但延迟、CPU或丢包恶化,不应视为有效修复。若参数改变后收益不稳定,恢复原值再复测,避免保留未经验证的配置。确认有效的变更,也应在不同时间段和实际业务负载下持续观察;带宽问题最终要由端到端吞吐、主机资源、网络计数和业务表现共同判断,而不是由单个TCP参数或测速峰值决定。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/2866.html