Linux tc流量整形如何按带宽与延迟目标设计规则并验证效果

发布人:A5数据发布时间:2026-10-27 10:13阅读量:140

把出口限制到 90 Mbit/s 后,业务延迟仍可能从 20 ms 升到几百毫秒;反过来,空载时 ping 很低,也不代表大流量传输期间的交互请求不会卡顿。这两种现象通常不是 tc 失效,而是把“带宽上限”“队列延迟”和“端到端 RTT”混成了同一个指标。

设计 Linux 流量整形规则时,真正需要同时确认的是:规则作用在哪个方向、整形速率低于哪个瓶颈、满载时新增队列延迟能否接受,以及规则统计是否确实覆盖了目标流量。HTB 等层级调度器负责控制速率,fq_codel 等队列管理算法负责抑制排队延迟,最后还要用空载与满载对比验证结果。

概念边界:带宽、队列延迟和 RTT 不是一回事

带宽目标控制的是发送速率

tc 主要通过网卡上的排队规则控制数据包发送节奏。配置中的 90mbit 表示目标发送速率约为 90 Mbit/s,而不是:

  • 网卡协商速率;
  • 运营商线路标称速率;
  • 单个 TCP 连接必然达到的吞吐量;
  • 应用层最终看到的文件下载速度。

例如,90 Mbit/s 的理想应用层速率约为:

  • 90 Mbit/s ÷ 8 = 11.25 MB/s;
  • 传输 1 GB 十进制数据的理论时间为:1 GB × 8 × 1000 ÷ 90 Mbit/s ≈ 88.9 秒。

实际时间还会受到 TCP、TLS、协议头、磁盘、远端服务器和线路抖动影响。这里的 MB 是十进制字节,Mbit 是十进制比特,不能直接把 90 Mbit/s 当成 90 MB/s。

延迟目标通常指“满载时新增的排队延迟”

延迟至少要分成两个状态观察:

  • 空载 RTT:没有大流量传输时的往返延迟;
  • 满载 RTT:带宽接近目标上限时的往返延迟。

可以用下面的差值粗略观察队列影响:

新增排队延迟 ≈ 满载 RTT - 空载 RTT

这个值不是严格的单向队列时延,因为 ping 的请求和响应可能经过不同方向的队列,也可能受到中间链路变化影响,但适合作为第一层判断。

例如:

指标示例结果含义
空载 RTT 平均值18 ms路径基础延迟
满载 RTT 平均值31 ms满载时总体延迟
满载 RTT p9547 ms高分位请求的延迟
粗略新增延迟13 ms本机及路径上的排队影响线索

fq_codel 中的 target 5ms 也不能理解为“端到端 RTT 必须是 5 ms”。它描述的是队列管理器希望控制的队列等待时间,实际应用延迟还包括物理距离、路由设备、远端服务和返回方向的时间。

判断结果至少需要五个指标

指标需要回答的问题
整形速率是否限制在预期的 Mbit/s 范围
实际吞吐规则下业务能否接近目标速率
空载 RTT路径的基础延迟是多少
满载 RTT 的平均值及 p95/p99大流量期间交互请求是否恶化
丢包、重传、队列统计延迟升高是排队、链路问题还是规则未命中

只看平均吞吐量,无法判断流量整形是否改善了交互体验;只看一次 ping,也无法判断大流量下的队列行为。

工作机制:用调度器控制速率,用队列管理器控制排队

Linux tc 作用在具体网络方向和设备上

最常见的出口整形路径是:

工作机制:用调度器控制速率,用队列管理器控制排队配图

应用或容器
    ↓
Linux 网络协议栈
    ↓
网卡出口 qdisc
    ↓
物理链路或虚拟链路

因此,在 eth0 上配置出口规则,通常只影响从该接口发出的流量。它不会自动限制从 eth0 收到的下载流量。

在容器、虚拟机或多网络命名空间环境中,还要确认规则到底位于:

  • 宿主机物理网卡;
  • 容器的虚拟接口;
  • 虚拟机的虚拟网卡;
  • 网桥;
  • 云平台提供的虚拟网络设备。

规则配在错误的命名空间或错误的接口上时,tc -s 可能有统计,但目标业务并没有经过这条规则。

HTB 负责聚合速率限制

HTB 可以构造父类和子类,控制不同业务或租户的速率。只有一组业务需要统一限速时,可以先使用一个默认类,避免在还没有明确分类需求时增加过滤器复杂度。

下面是一个出口整形示例。它假定:

  • 接口名为 eth0;
  • 需要把该接口全部出口流量控制在约 90 Mbit/s;
  • 所有流量共享一个类;
  • 使用 fq_codel 管理该类内部的排队。
DEV=eth0

sudo tc qdisc replace dev "$DEV" root handle 1: htb default 10
sudo tc class replace dev "$DEV" parent 1: classid 1:10 htb rate 90mbit ceil 90mbit
sudo tc qdisc replace dev "$DEV" parent 1:10 handle 10: fq_codel target 5ms interval 100ms

这里的关键关系是:

  • rate 90mbit:该类的基础速率;
  • ceil 90mbit:允许使用的最高速率;
  • default 10:没有额外过滤分类的流量进入 1:10;
  • fq_codel:在该类内部按流调度,并主动控制持续增长的队列。

在只有一个类的情况下,rate 和 ceil 设置为相同值,表达的是硬上限。如果需要为管理流量、业务流量和备份流量分别分配带宽,则应建立多个子类,再使用 u32、flower 或其他过滤器把流量送入对应类。不能仅凭创建多个类就认为业务已经完成分类。

仅使用 HTB 可能仍然出现长队列

速率限制器会在发送速度超过目标时暂存数据包。如果队列只增长、不主动控制,带宽虽然符合要求,但延迟可能不断上升,这就是常见的缓冲膨胀现象。

因此,常见的组合是:

工作机制:用调度器控制速率,用队列管理器控制排队配图

HTB:控制总带宽
    ↓
fq_codel:控制类内队列和流间调度

fq_codel 不能替代准确的总带宽限制。若它直接挂在物理接口上,而上游瓶颈位于运营商设备或云平台出口,Linux 主机可能已经把数据全部交给了更快的下一级链路,真正的队列仍然在主机之外。要让本机队列承担整形作用,通常需要把本机速率设置在实际瓶颈之前。

影响因素:先确定整形点,再确定数值

整形速率应低于可控瓶颈

如果线路标称为 100 Mbit/s,直接把 tc 设置为 100 Mbit/s,实际效果可能不稳定。协议开销、PPPoE、VLAN、云网络封装和运营商调度都会使有效吞吐低于标称值。

一个可执行的起点是:

  • 先取得线路在多个时段的稳定吞吐;
  • 将整形速率设置为稳定吞吐的约 85%~95%;
  • 观察满载 RTT 和实际吞吐;
  • 在延迟仍可接受的前提下逐步提高。

例如,稳定可用吞吐约为 100 Mbit/s,可以先尝试 90~95 Mbit/s,而不是直接设置 100 Mbit/s。这个范围只是调参起点,不是所有线路都适用。若整形点不在真正瓶颈之前,即使改动速率,端到端延迟也可能没有明显变化。

用带宽时延积检查队列量级

带宽时延积可以帮助判断链路在一个 RTT 内能够传输多少数据:

BDP = 带宽 × RTT ÷ 8

以 100 Mbit/s、20 ms RTT 为例:

100,000,000 bit/s × 0.020 s ÷ 8
= 250,000 bytes
≈ 244 KiB

这说明链路在一个 20 ms RTT 内大约能传输 250,000 字节。BDP 可以帮助判断 TCP 窗口和链路容量是否匹配,但不能直接把它当成 fq_codel 的 limit 或 target。队列还要考虑突发流量、并发连接、包大小和设备调度粒度。

单流、并发流和业务优先级会改变结果

一个 TCP 连接跑不满 90 Mbit/s,不一定表示整形规则只能提供更低带宽。可能原因包括:

  • 远端服务器发送能力有限;
  • TCP 窗口或拥塞控制还未建立;
  • 路径丢包导致拥塞窗口下降;
  • 单流经过的应用或存储链路较慢。

验证聚合带宽时,可以使用多个并行流;判断单个业务体验时,则要单独测试该业务。两者不能互相替代。

如果所有流量都进入同一个 HTB 类,那么备份任务和交互请求仍然共享总带宽。fq_codel 可以改善流间排队,但不能自动保证某个业务获得固定带宽。需要优先级或配额时,应分别建类并验证过滤器命中情况。

网卡卸载和虚拟化会影响观测

TSO、GSO、GRO 等卸载功能可能让内核看到的包形态与物理线上看到的包形态不同。高吞吐虚拟网卡还可能存在多队列、vCPU 调度和宿主机整形。

排查时可以先记录环境,而不是直接关闭所有卸载功能:

DEV=eth0

ip -br link show "$DEV"
tc -V
sudo tc qdisc show dev "$DEV"
sudo ethtool -k "$DEV"

关闭卸载功能可能改变 CPU 消耗和吞吐,属于额外的实验变量。除非测试目的明确,否则不建议在生产环境中一次性修改多个网卡参数。

入口流量需要另一种整形位置

出口流量可以在数据包离开网卡前排队,因此比较容易控制。入口流量已经到达网卡后,主机无法让它“在进入之前”减速。常见做法是:

影响因素:先确定整形点,再确定数值配图

  • 在上游发送端进行整形;
  • 将入口流量重定向到 IFB 虚拟接口,再在 IFB 的出口方向配置 qdisc;
  • 在交换机、路由器或云平台侧配置限速。

如果只在本机物理网卡配置出口 HTB,再用 iperf3 -R 测试下载方向,看到的高吞吐并不说明规则失败,而是说明该测试方向没有经过本机出口整形。

验证方法:用空载、满载和规则统计交叉判断

应用规则前先保存现场

替换根 qdisc 会影响该接口上符合条件的全部出口流量,包括 SSH、监控和业务连接。远程服务器操作前,应准备控制台或带外访问,并记录现有规则:

DEV=eth0

ip -br link show "$DEV"
sudo tc -s qdisc show dev "$DEV" | tee /var/tmp/tc-qdisc-before.txt
sudo tc -s class show dev "$DEV" | tee /var/tmp/tc-class-before.txt
sudo tc filter show dev "$DEV" | tee /var/tmp/tc-filter-before.txt

上面的规则示例会覆盖原有根 qdisc。若需要回滚,优先使用已经保存的原配置重新加载。若原先没有自定义规则,可以删除根 qdisc,让系统恢复默认队列:

DEV=eth0
sudo tc qdisc del dev "$DEV" root

这条命令不会恢复之前的自定义 HTB、过滤器或多队列配置,因此不能把它当成通用回滚方案。

先测空载 RTT,再在同一路径上施加负载

测试目标应尽量与业务实际路径一致。只 ping 本地网关,无法代表跨运营商、跨机房或跨云区域的业务延迟。

空载测试示例:

ping -c 100 -i 0.2 <target-ip>

吞吐测试可以使用运行在对端的 iperf3 服务端:

iperf3 -c <iperf3-server> -t 30 -P 4

其中:

  • -t 30 表示持续 30 秒;
  • -P 4 表示使用 4 个并行流;
  • <iperf3-server> 应替换为实际测试服务端地址。

在另一个终端持续 ping 同一目标,观察满载延迟:

ping -c 150 -i 0.2 <target-ip>

再在测试结束后查看 qdisc 和类统计:

DEV=eth0

sudo tc -s qdisc show dev "$DEV"
sudo tc -s class show dev "$DEV"

需要比较测试前后的计数增量,而不是只看某一次的绝对值。也可以在负载期间周期性观察:

watch -n 1 'tc -s qdisc show dev eth0; tc -s class show dev eth0'

如果测试入口方向,还可以执行反向吞吐测试:

iperf3 -c <iperf3-server> -t 30 -P 4 -R

但在只有本机出口整形的配置下,-R 的大部分数据是从对端进入本机,不能拿它直接验证本机出口限速。

重点查看速率、延迟和队列计数

一个可执行的验收表可以包含以下项目:

验收项目示例目标判断方式
聚合吞吐约 85~90 Mbit/s多流测试是否接近整形上限
空载 RTT 平均值18 ms作为基础值
满载 RTT 平均值不高于 35 ms观察平均交互延迟
满载 RTT p95不高于 50 ms观察尾部延迟
丢包率接近 0区分路径丢包和队列问题
qdisc backlog不持续增长判断队列是否长期积压
drops、requeues、ECN 标记不持续增加判断是否存在拥塞或队列压力

例如,一组示例记录可能是:

验证方法:用空载、满载和规则统计交叉判断配图

指标空载90 Mbit/s 负载下
吞吐—88.5 Mbit/s
RTT 平均值18 ms31 ms
RTT p9523 ms47 ms
ping 丢包0%0%
fq_codel 丢包—0
HTB 类速率—接近 90 Mbit/s

这组结果可以支持“带宽基本达到目标、满载延迟仍在示例边界内”的判断,但不能据此推导其他线路也会得到相同数值。真正的验收阈值应来自业务要求,例如接口要求 p99 小于 80 ms,就不能只看平均 RTT。

用结果组合定位规则是否有效

观察结果更可能的解释
吞吐接近目标,满载 RTT只小幅增加整形点和队列管理基本符合预期
吞吐接近目标,但 RTT持续数百毫秒上升上游仍有更大队列,或本机队列未被正确控制
吞吐明显低于目标,qdisc 无积压远端、TCP、CPU、磁盘或其他链路是瓶颈
tc 计数不增长,但业务流量明显存在接口、命名空间或方向判断错误
-R 方向不受限制目标是入口流量,而规则只配置在出口
只有单流达不到目标,多流可以接近单流受 TCP 窗口、远端服务或路径状态影响
drops 持续增加且 RTT、重传上升队列过载、速率设置过低、线路丢包或设备资源不足

不要把 qdisc 的 drops=0 单独当成成功标准。队列可能在上游设备丢包,或者流量根本没有经过这条 qdisc;也不要把偶发一个丢包直接判定为规则错误,应结合测试持续时间、路径质量和计数增长速度判断。

适用限制与判断边界

tc 适合在 Linux 主机可控制的网络出口上做带宽整形和队列管理,但它不能改变物理传播延迟,也不能消除线路中其他设备已经形成的队列。若真正瓶颈在云平台出口、运营商接入设备或远端服务器,本机规则只能改善本机这一段。

对于入口流量,必须确认 IFB、上游设备或发送端是否承担了整形职责;对于多租户或多业务场景,必须分别验证过滤器、类速率和优先级,不能用一条总带宽规则代替业务隔离;对于高速、多队列网卡,还要额外观察 CPU、软中断和虚拟化调度。

最终判断应建立在同一测试路径上的三组数据之上:空载 RTT、满载吞吐与 RTT、tc -s 规则计数。只有当实际吞吐接近目标、满载 p95/p99 延迟满足业务阈值、队列没有持续积压,并且统计确认流量经过预期接口时,才能认为这组 Linux 流量整形规则达到了设定的带宽与延迟目标。

围绕 Linux 出口整形与业务部署,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,产品涵盖不同带宽线路、CPU平台与存储配置。企业网站、业务后台、数据库及跨境服务可结合目标用户所在区域和流量需求,选择相应网络与计算资源;部分方案配备NVMe存储,也适用于对数据读写和多任务运行有需求的业务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6003.html

相关推荐