Linux tc流量整形如何按带宽与延迟目标设计规则并验证效果
把出口限制到 90 Mbit/s 后,业务延迟仍可能从 20 ms 升到几百毫秒;反过来,空载时 ping 很低,也不代表大流量传输期间的交互请求不会卡顿。这两种现象通常不是 tc 失效,而是把“带宽上限”“队列延迟”和“端到端 RTT”混成了同一个指标。
设计 Linux 流量整形规则时,真正需要同时确认的是:规则作用在哪个方向、整形速率低于哪个瓶颈、满载时新增队列延迟能否接受,以及规则统计是否确实覆盖了目标流量。HTB 等层级调度器负责控制速率,fq_codel 等队列管理算法负责抑制排队延迟,最后还要用空载与满载对比验证结果。
概念边界:带宽、队列延迟和 RTT 不是一回事
带宽目标控制的是发送速率
tc 主要通过网卡上的排队规则控制数据包发送节奏。配置中的 90mbit 表示目标发送速率约为 90 Mbit/s,而不是:
- 网卡协商速率;
- 运营商线路标称速率;
- 单个 TCP 连接必然达到的吞吐量;
- 应用层最终看到的文件下载速度。
例如,90 Mbit/s 的理想应用层速率约为:
- 90 Mbit/s ÷ 8 = 11.25 MB/s;
- 传输 1 GB 十进制数据的理论时间为:1 GB × 8 × 1000 ÷ 90 Mbit/s ≈ 88.9 秒。
实际时间还会受到 TCP、TLS、协议头、磁盘、远端服务器和线路抖动影响。这里的 MB 是十进制字节,Mbit 是十进制比特,不能直接把 90 Mbit/s 当成 90 MB/s。
延迟目标通常指“满载时新增的排队延迟”
延迟至少要分成两个状态观察:
- 空载 RTT:没有大流量传输时的往返延迟;
- 满载 RTT:带宽接近目标上限时的往返延迟。
可以用下面的差值粗略观察队列影响:
新增排队延迟 ≈ 满载 RTT - 空载 RTT
这个值不是严格的单向队列时延,因为 ping 的请求和响应可能经过不同方向的队列,也可能受到中间链路变化影响,但适合作为第一层判断。
例如:
| 指标 | 示例结果 | 含义 |
|---|---|---|
| 空载 RTT 平均值 | 18 ms | 路径基础延迟 |
| 满载 RTT 平均值 | 31 ms | 满载时总体延迟 |
| 满载 RTT p95 | 47 ms | 高分位请求的延迟 |
| 粗略新增延迟 | 13 ms | 本机及路径上的排队影响线索 |
fq_codel 中的 target 5ms 也不能理解为“端到端 RTT 必须是 5 ms”。它描述的是队列管理器希望控制的队列等待时间,实际应用延迟还包括物理距离、路由设备、远端服务和返回方向的时间。
判断结果至少需要五个指标
| 指标 | 需要回答的问题 |
|---|---|
| 整形速率 | 是否限制在预期的 Mbit/s 范围 |
| 实际吞吐 | 规则下业务能否接近目标速率 |
| 空载 RTT | 路径的基础延迟是多少 |
| 满载 RTT 的平均值及 p95/p99 | 大流量期间交互请求是否恶化 |
| 丢包、重传、队列统计 | 延迟升高是排队、链路问题还是规则未命中 |
只看平均吞吐量,无法判断流量整形是否改善了交互体验;只看一次 ping,也无法判断大流量下的队列行为。
工作机制:用调度器控制速率,用队列管理器控制排队
Linux tc 作用在具体网络方向和设备上
最常见的出口整形路径是:

应用或容器
↓
Linux 网络协议栈
↓
网卡出口 qdisc
↓
物理链路或虚拟链路
因此,在 eth0 上配置出口规则,通常只影响从该接口发出的流量。它不会自动限制从 eth0 收到的下载流量。
在容器、虚拟机或多网络命名空间环境中,还要确认规则到底位于:
- 宿主机物理网卡;
- 容器的虚拟接口;
- 虚拟机的虚拟网卡;
- 网桥;
- 云平台提供的虚拟网络设备。
规则配在错误的命名空间或错误的接口上时,tc -s 可能有统计,但目标业务并没有经过这条规则。
HTB 负责聚合速率限制
HTB 可以构造父类和子类,控制不同业务或租户的速率。只有一组业务需要统一限速时,可以先使用一个默认类,避免在还没有明确分类需求时增加过滤器复杂度。
下面是一个出口整形示例。它假定:
- 接口名为
eth0; - 需要把该接口全部出口流量控制在约 90 Mbit/s;
- 所有流量共享一个类;
- 使用
fq_codel管理该类内部的排队。
DEV=eth0
sudo tc qdisc replace dev "$DEV" root handle 1: htb default 10
sudo tc class replace dev "$DEV" parent 1: classid 1:10 htb rate 90mbit ceil 90mbit
sudo tc qdisc replace dev "$DEV" parent 1:10 handle 10: fq_codel target 5ms interval 100ms
这里的关键关系是:
rate 90mbit:该类的基础速率;ceil 90mbit:允许使用的最高速率;default 10:没有额外过滤分类的流量进入1:10;fq_codel:在该类内部按流调度,并主动控制持续增长的队列。
在只有一个类的情况下,rate 和 ceil 设置为相同值,表达的是硬上限。如果需要为管理流量、业务流量和备份流量分别分配带宽,则应建立多个子类,再使用 u32、flower 或其他过滤器把流量送入对应类。不能仅凭创建多个类就认为业务已经完成分类。
仅使用 HTB 可能仍然出现长队列
速率限制器会在发送速度超过目标时暂存数据包。如果队列只增长、不主动控制,带宽虽然符合要求,但延迟可能不断上升,这就是常见的缓冲膨胀现象。
因此,常见的组合是:

HTB:控制总带宽
↓
fq_codel:控制类内队列和流间调度
fq_codel 不能替代准确的总带宽限制。若它直接挂在物理接口上,而上游瓶颈位于运营商设备或云平台出口,Linux 主机可能已经把数据全部交给了更快的下一级链路,真正的队列仍然在主机之外。要让本机队列承担整形作用,通常需要把本机速率设置在实际瓶颈之前。
影响因素:先确定整形点,再确定数值
整形速率应低于可控瓶颈
如果线路标称为 100 Mbit/s,直接把 tc 设置为 100 Mbit/s,实际效果可能不稳定。协议开销、PPPoE、VLAN、云网络封装和运营商调度都会使有效吞吐低于标称值。
一个可执行的起点是:
- 先取得线路在多个时段的稳定吞吐;
- 将整形速率设置为稳定吞吐的约 85%~95%;
- 观察满载 RTT 和实际吞吐;
- 在延迟仍可接受的前提下逐步提高。
例如,稳定可用吞吐约为 100 Mbit/s,可以先尝试 90~95 Mbit/s,而不是直接设置 100 Mbit/s。这个范围只是调参起点,不是所有线路都适用。若整形点不在真正瓶颈之前,即使改动速率,端到端延迟也可能没有明显变化。
用带宽时延积检查队列量级
带宽时延积可以帮助判断链路在一个 RTT 内能够传输多少数据:
BDP = 带宽 × RTT ÷ 8
以 100 Mbit/s、20 ms RTT 为例:
100,000,000 bit/s × 0.020 s ÷ 8
= 250,000 bytes
≈ 244 KiB
这说明链路在一个 20 ms RTT 内大约能传输 250,000 字节。BDP 可以帮助判断 TCP 窗口和链路容量是否匹配,但不能直接把它当成 fq_codel 的 limit 或 target。队列还要考虑突发流量、并发连接、包大小和设备调度粒度。
单流、并发流和业务优先级会改变结果
一个 TCP 连接跑不满 90 Mbit/s,不一定表示整形规则只能提供更低带宽。可能原因包括:
- 远端服务器发送能力有限;
- TCP 窗口或拥塞控制还未建立;
- 路径丢包导致拥塞窗口下降;
- 单流经过的应用或存储链路较慢。
验证聚合带宽时,可以使用多个并行流;判断单个业务体验时,则要单独测试该业务。两者不能互相替代。
如果所有流量都进入同一个 HTB 类,那么备份任务和交互请求仍然共享总带宽。fq_codel 可以改善流间排队,但不能自动保证某个业务获得固定带宽。需要优先级或配额时,应分别建类并验证过滤器命中情况。
网卡卸载和虚拟化会影响观测
TSO、GSO、GRO 等卸载功能可能让内核看到的包形态与物理线上看到的包形态不同。高吞吐虚拟网卡还可能存在多队列、vCPU 调度和宿主机整形。
排查时可以先记录环境,而不是直接关闭所有卸载功能:
DEV=eth0
ip -br link show "$DEV"
tc -V
sudo tc qdisc show dev "$DEV"
sudo ethtool -k "$DEV"
关闭卸载功能可能改变 CPU 消耗和吞吐,属于额外的实验变量。除非测试目的明确,否则不建议在生产环境中一次性修改多个网卡参数。
入口流量需要另一种整形位置
出口流量可以在数据包离开网卡前排队,因此比较容易控制。入口流量已经到达网卡后,主机无法让它“在进入之前”减速。常见做法是:

- 在上游发送端进行整形;
- 将入口流量重定向到 IFB 虚拟接口,再在 IFB 的出口方向配置 qdisc;
- 在交换机、路由器或云平台侧配置限速。
如果只在本机物理网卡配置出口 HTB,再用 iperf3 -R 测试下载方向,看到的高吞吐并不说明规则失败,而是说明该测试方向没有经过本机出口整形。
验证方法:用空载、满载和规则统计交叉判断
应用规则前先保存现场
替换根 qdisc 会影响该接口上符合条件的全部出口流量,包括 SSH、监控和业务连接。远程服务器操作前,应准备控制台或带外访问,并记录现有规则:
DEV=eth0
ip -br link show "$DEV"
sudo tc -s qdisc show dev "$DEV" | tee /var/tmp/tc-qdisc-before.txt
sudo tc -s class show dev "$DEV" | tee /var/tmp/tc-class-before.txt
sudo tc filter show dev "$DEV" | tee /var/tmp/tc-filter-before.txt
上面的规则示例会覆盖原有根 qdisc。若需要回滚,优先使用已经保存的原配置重新加载。若原先没有自定义规则,可以删除根 qdisc,让系统恢复默认队列:
DEV=eth0
sudo tc qdisc del dev "$DEV" root
这条命令不会恢复之前的自定义 HTB、过滤器或多队列配置,因此不能把它当成通用回滚方案。
先测空载 RTT,再在同一路径上施加负载
测试目标应尽量与业务实际路径一致。只 ping 本地网关,无法代表跨运营商、跨机房或跨云区域的业务延迟。
空载测试示例:
ping -c 100 -i 0.2 <target-ip>
吞吐测试可以使用运行在对端的 iperf3 服务端:
iperf3 -c <iperf3-server> -t 30 -P 4
其中:
-t 30表示持续 30 秒;-P 4表示使用 4 个并行流;<iperf3-server>应替换为实际测试服务端地址。
在另一个终端持续 ping 同一目标,观察满载延迟:
ping -c 150 -i 0.2 <target-ip>
再在测试结束后查看 qdisc 和类统计:
DEV=eth0
sudo tc -s qdisc show dev "$DEV"
sudo tc -s class show dev "$DEV"
需要比较测试前后的计数增量,而不是只看某一次的绝对值。也可以在负载期间周期性观察:
watch -n 1 'tc -s qdisc show dev eth0; tc -s class show dev eth0'
如果测试入口方向,还可以执行反向吞吐测试:
iperf3 -c <iperf3-server> -t 30 -P 4 -R
但在只有本机出口整形的配置下,-R 的大部分数据是从对端进入本机,不能拿它直接验证本机出口限速。
重点查看速率、延迟和队列计数
一个可执行的验收表可以包含以下项目:
| 验收项目 | 示例目标 | 判断方式 |
|---|---|---|
| 聚合吞吐 | 约 85~90 Mbit/s | 多流测试是否接近整形上限 |
| 空载 RTT 平均值 | 18 ms | 作为基础值 |
| 满载 RTT 平均值 | 不高于 35 ms | 观察平均交互延迟 |
| 满载 RTT p95 | 不高于 50 ms | 观察尾部延迟 |
| 丢包率 | 接近 0 | 区分路径丢包和队列问题 |
| qdisc backlog | 不持续增长 | 判断队列是否长期积压 |
| drops、requeues、ECN 标记 | 不持续增加 | 判断是否存在拥塞或队列压力 |
例如,一组示例记录可能是:

| 指标 | 空载 | 90 Mbit/s 负载下 |
|---|---|---|
| 吞吐 | — | 88.5 Mbit/s |
| RTT 平均值 | 18 ms | 31 ms |
| RTT p95 | 23 ms | 47 ms |
| ping 丢包 | 0% | 0% |
| fq_codel 丢包 | — | 0 |
| HTB 类速率 | — | 接近 90 Mbit/s |
这组结果可以支持“带宽基本达到目标、满载延迟仍在示例边界内”的判断,但不能据此推导其他线路也会得到相同数值。真正的验收阈值应来自业务要求,例如接口要求 p99 小于 80 ms,就不能只看平均 RTT。
用结果组合定位规则是否有效
| 观察结果 | 更可能的解释 |
|---|---|
| 吞吐接近目标,满载 RTT只小幅增加 | 整形点和队列管理基本符合预期 |
| 吞吐接近目标,但 RTT持续数百毫秒上升 | 上游仍有更大队列,或本机队列未被正确控制 |
| 吞吐明显低于目标,qdisc 无积压 | 远端、TCP、CPU、磁盘或其他链路是瓶颈 |
tc 计数不增长,但业务流量明显存在 | 接口、命名空间或方向判断错误 |
-R 方向不受限制 | 目标是入口流量,而规则只配置在出口 |
| 只有单流达不到目标,多流可以接近 | 单流受 TCP 窗口、远端服务或路径状态影响 |
| drops 持续增加且 RTT、重传上升 | 队列过载、速率设置过低、线路丢包或设备资源不足 |
不要把 qdisc 的 drops=0 单独当成成功标准。队列可能在上游设备丢包,或者流量根本没有经过这条 qdisc;也不要把偶发一个丢包直接判定为规则错误,应结合测试持续时间、路径质量和计数增长速度判断。
适用限制与判断边界
tc 适合在 Linux 主机可控制的网络出口上做带宽整形和队列管理,但它不能改变物理传播延迟,也不能消除线路中其他设备已经形成的队列。若真正瓶颈在云平台出口、运营商接入设备或远端服务器,本机规则只能改善本机这一段。
对于入口流量,必须确认 IFB、上游设备或发送端是否承担了整形职责;对于多租户或多业务场景,必须分别验证过滤器、类速率和优先级,不能用一条总带宽规则代替业务隔离;对于高速、多队列网卡,还要额外观察 CPU、软中断和虚拟化调度。
最终判断应建立在同一测试路径上的三组数据之上:空载 RTT、满载吞吐与 RTT、tc -s 规则计数。只有当实际吞吐接近目标、满载 p95/p99 延迟满足业务阈值、队列没有持续积压,并且统计确认流量经过预期接口时,才能认为这组 Linux 流量整形规则达到了设定的带宽与延迟目标。
围绕 Linux 出口整形与业务部署,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,产品涵盖不同带宽线路、CPU平台与存储配置。企业网站、业务后台、数据库及跨境服务可结合目标用户所在区域和流量需求,选择相应网络与计算资源;部分方案配备NVMe存储,也适用于对数据读写和多任务运行有需求的业务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6003.html



