Linux TCP重传率升高意味着什么?怎样结合丢包与延迟判断原因?
Linux TCP重传率升高,首先说明发送端发现部分TCP报文段没有在预期时间内得到确认,但它不等同于“链路一定丢包”。真实原因可能是链路丢包、设备或队列溢出、网络拥塞、ACK丢失、报文乱序,也可能是主机处理不及时造成的连锁反应。
判断时不能只看一个百分比。应把同一时间窗口内的TCP重传率、TCP RTT、接口或队列丢包、带宽利用率、CPU与I/O、应用响应时间、错误率和连接队列放在一起观察。重传率与RTT、网络丢包同时上升,通常更接近网络路径或拥塞问题;只有应用延迟升高而TCP RTT和重传基本稳定,则更应优先检查服务端处理能力。
先建立可比较的观察窗口
重传相关指标大多是累计计数器,例如Linux中的 TcpRetransSegs 和 TcpOutSegs。单次读取只能看到累计值,不能直接代表当前重传率。应在同一主机、同一网络命名空间、同一方向上连续采样,再用相邻采样值计算变化量。
常用的近似计算方式是:
重传率 ≈ 采样窗口内新增的 TcpRetransSegs ÷ 采样窗口内新增的 TcpOutSegs × 100%
这个结果是运维判断指标,不是严格意义上的物理链路丢包率。不同内核、采集器和指标导出器对分母的统计口径可能略有差异,尤其要注意是否包含重传段、是否按网络命名空间分别统计。
建议同时保留以下几组数据:
| 指标组 | 重点指标 | 主要用途 |
|---|---|---|
| TCP发送状态 | 重传段、发送段、快速重传、RTO超时 | 确认重传是否持续、属于快速重传还是超时重传 |
| TCP链路状态 | RTT、RTO、拥塞窗口、发送速率、接收窗口 | 判断延迟、拥塞和流控变化 |
| 网络设备状态 | RX/TX errors、drop、qdisc drop、带宽利用率 | 判断主机网卡、驱动、出口队列是否丢包或拥塞 |
| 主机资源 | CPU、softirq、运行队列、内存压力、I/O wait | 排除主机处理能力不足 |
| 应用表现 | p50/p95/p99响应时间、超时、5xx、连接失败 | 判断用户可感知影响以及问题是否在应用层 |
排查突发问题时,可以用10秒或30秒采样观察波动,再按1分钟或5分钟窗口聚合,避免瞬时尖峰被平均值掩盖。若要判断长期趋势,则应与同一业务在正常时段的基线比较,而不是直接套用一个所有业务通用的百分比阈值。
Linux主机上可以先读取相关计数器和连接状态。以下命令只做查看,不会修改系统配置;不同发行版或内核版本可能缺少部分字段,遇到字段不存在时,应先查看完整输出确认实际名称。
nstat -az | grep -E 'TcpRetransSegs|TcpOutSegs|TCPFastRetrans|TCPTimeouts|TCPLostRetransmit'
ss -tin state established
ip -s link
tc -s qdisc show
sar -n DEV 1 5
vmstat 1 5
iostat -xz 1 5
ss -tin适合查看单条或部分TCP连接的 rtt、rto、cwnd、retrans、delivery_rate 等信息。ip -s link主要反映本机接口层统计,tc -s qdisc show可以观察本机出口队列是否出现丢弃。sar和iostat通常由系统统计工具提供,具体可用性取决于发行版安装情况。
一个时间窗口示例
下面数据用于说明判断过程,是模拟监控数据,不代表某台实际服务器的监控结果。
| 时间窗口 | 新增发送段 | 新增重传段 | 近似重传率 | TCP RTT p95 | 应用响应p95 | 出口队列丢弃 |
|---|---|---|---|---|---|---|
| 10:00—10:05 | 12,000,000 | 24,000 | 0.20% | 24 ms | 180 ms | 0 |
| 10:05—10:10 | 12,500,000 | 37,500 | 0.30% | 27 ms | 190 ms | 0 |
| 10:10—10:15 | 12,200,000 | 244,000 | 2.00% | 86 ms | 720 ms | 3,100 |
| 10:15—10:20 | 8,000,000 | 200,000 | 2.50% | 128 ms | 1,400 ms | 18,000 |
如果只看最后两行,可能只能得出“重传率超过2%”。但把指标放在同一时间线上后,可以看到RTT、应用延迟和出口队列丢弃同时恶化,且发送量下降。这更像出口拥塞或队列溢出,而不是单纯的应用代码变慢。

先看重传率变化,再确认重传类型
TCP重传通常有两类观察线索:快速重传和RTO超时重传。
快速重传一般由重复ACK或SACK信息触发,说明发送端较快地判断出某些报文段可能缺失。它可能对应实际丢包,也可能是路径中报文乱序严重,导致接收端提前发送重复ACK。
RTO超时重传则是在一段时间内没有收到有效确认后触发,通常会带来更明显的等待时间、拥塞窗口收缩和应用延迟上升。如果同时看到 TCPTimeouts、连接超时、RTO或backoff增加,问题的影响通常比零星快速重传更明显。
这两个类型不能简单理解为“快速重传轻微、超时重传严重”,仍然需要结合RTT和业务流量判断。例如:
- RTT突然升高后出现大量RTO,可能是队列排队时间变长或路径发生丢包。
- RTT基本稳定,但快速重传短时升高,可能是少量丢包或报文乱序。
- 只有一条长连接出现重传,系统整体计数变化不明显,可能是特定目的地址、端口或路径的问题。
- 发送量很小时,即使只有少量重传,百分比也可能非常高,必须同时查看重传段的绝对数量。
ss -tin显示的是连接级状态,而nstat通常反映主机或网络命名空间级累计数据。两者的统计范围不同,不能直接把一条连接的结果与整机计数器机械相除。
把丢包与延迟放在同一时间线上
1. 重传、RTT和网络丢弃同时升高
这是最支持“网络路径或队列问题”的组合,但还要确认丢弃发生在哪里。
本机出口队列丢弃增加,通常说明发送方向存在排队压力,可能与带宽接近上限、突发流量、限速策略或虚拟网卡队列有关。本机接口的TX error或TX drop增加,则应进一步检查网卡、驱动、虚拟化层和上游设备。
如果本机统计平稳,但端到端TCP RTT和重传仍明显增加,丢包可能发生在本机之外,例如交换设备、云网络路径、对端入口队列或中间链路。此时不能因为 ip -s link 没有丢包就排除网络问题。
2. RTT先升高,随后重传增加
这类顺序更接近拥塞或排队延迟增加。报文没有立即丢失,但在队列中等待时间变长,随后部分报文或ACK因队列溢出而丢失,发送端开始重传。
应同时观察:
- 网卡发送速率是否接近链路上限;
- qdisc的backlog、drop是否增加;
- TCP拥塞窗口是否收缩;
- 应用端是否出现连接池排队或响应p95、p99升高;
- 出口流量是否存在突发,而不是只有平均带宽升高。
平均带宽没有达到上限,并不能完全排除拥塞。短时突发、单个队列拥塞、虚拟化宿主机共享带宽,都可能在平均值不高时造成瞬时丢包。
3. 重传升高但RTT基本稳定
这种现象不能直接判定为网络正常,也不能直接判定为严重丢包。可以重点排查以下情况:
- 重传数量很少,但发送段基数更少,造成百分比被放大;
- 快速重传增加,路径出现报文乱序;
- ACK丢失而数据报文实际到达;
- 只有某个目标地址、服务端口或连接类型受到影响;
- 统计窗口过短,刚好捕捉到一次瞬时抖动。
如果快速重传增加、RTT稳定、接口和队列没有明显丢弃,应检查路径是否发生变化、是否经过不同负载均衡节点,以及不同目的地址的结果是否一致。必要时可以对受影响连接进行短时抓包,但应限制抓包时长、文件大小和访问权限,避免把业务数据长期写入磁盘。
4. 应用响应变慢,但TCP RTT和重传不变
这时网络通常不是首要嫌疑。应用响应时间包含排队、线程调度、业务计算、数据库访问、磁盘I/O等环节,不能用TCP RTT替代。
例如:
- CPU user占用和运行队列升高,说明业务线程可能排队;
- system或softirq占用升高,可能是网络包处理压力或内核处理延迟;
- I/O wait、磁盘await和util升高,可能是日志、数据库或文件访问变慢;
- 内存压力、回收或交换活动增加,可能导致应用停顿;
- 应用工作队列、连接池等待数和线程池队列长度增加,说明请求在服务端内部等待;
- 应用p99和5xx升高,但TCP RTT稳定,问题更可能位于服务处理链路。
需要注意,主机过载有时也会间接导致TCP重传。例如CPU被耗尽后,网络软中断处理不及时,接收队列或出口队列溢出,最终在TCP层表现为重传。因此判断主机问题时,不能只看CPU总利用率,还要看softirq、运行队列、内核丢包和TCP RTT是否同步变化。
排除几个容易混淆的替代解释
接收端处理慢不等于链路丢包
接收端应用读取数据不及时,可能导致接收窗口缩小、发送端出现rwnd受限或发送队列增长。此时应用响应会变慢,但不一定伴随网络丢包。
如果ss -tin中能看到接收窗口受限、发送端长期等待窗口开放,而接口drop、qdisc drop和RTT没有同步升高,应优先检查接收端应用消费速度、线程池和连接处理能力。
主机接口丢弃不等于端到端丢包率
ip -s link里的 rx_dropped、tx_dropped 和 errors 只反映本机接口或驱动能够看到的部分。中间交换设备、云平台虚拟网络和对端主机发生的丢包,不一定会出现在本机接口计数器中。
因此,网络丢包判断至少要区分三层:
- TCP端到端证据:重传、重复ACK、RTO、连接级RTT。
- 本机设备证据:接口错误、驱动统计、qdisc丢弃、软中断队列。
- 路径或对端证据:交换设备、云网络、对端接口和对端服务状态。
只看到第一层而没有第二层,不代表没有网络问题;只看到第二层有drop,也要确认它是否与受影响连接和时间窗口一致。
ICMP延迟不能替代TCP RTT
ping可以用于观察路径上的ICMP往返时间和粗略丢包,但ICMP与TCP可能经过不同的处理队列,设备也可能对ICMP限速。因此,判断业务连接时,应优先使用受影响TCP连接的RTT,再把ICMP结果作为辅助证据。
如果TCP RTT升高而ICMP稳定,可能是业务端口所在队列、服务端处理或TCP流量本身的拥塞;如果TCP和ICMP都升高,路径或链路拥塞的可能性更高,但仍需结合接口和队列数据确认。
MTU或路径差异可能只影响部分连接
如果只有特定目的地址、跨区域路径或某类大报文连接出现重传,而本地接口没有明显丢包,应检查路径MTU、MSS、路由变化和中间设备对分片或大报文的处理情况。ss -tin中的pmtu、mss等信息可以帮助比较正常连接与异常连接。
同一台服务器连接不同目标时,路径可能并不相同。负载均衡、地址解析结果变化或多出口路由也可能导致只有部分连接出现延迟和重传。
用指标联动形成判断
可以先用下面的组合做初步归类,但它们是判断方向,不是脱离业务基线的绝对规则。
| 观察组合 | 更可能的原因 | 下一步核对 |
|---|---|---|
| 重传↑、TCP RTT↑、接口或qdisc丢弃↑ | 本机出口拥塞、队列溢出、网卡或虚拟网络异常 | 查看带宽、队列backlog、网卡统计和上游设备 |
| 重传↑、RTT↑、本机drop平稳、链路利用率或队列长度↑ | 中间路径或上游链路拥塞 | 按目标地址、端口、线路和时间段分组比较 |
| 重传↑、RTO超时↑、应用超时和p99明显升高 | 丢包或路径不可达造成的严重等待 | 查看连接分布、路径变化和对端入口状态 |
| 重传↑、RTT平稳、快速重传↑ | 少量丢包、ACK丢失或报文乱序 | 比较不同目标,检查SACK、路径和短时抓包 |
| 应用p95↑、CPU运行队列或I/O wait↑、TCP RTT稳定 | 服务端计算、线程或存储瓶颈 | 查看应用队列、数据库、磁盘和线程池 |
| 重传率很高但发送段很少 | 分母过小或少量连接异常 | 同时看绝对重传数、连接数和单连接状态 |
| 只有某个目标或端口异常 | 路径、对端服务或特定策略问题 | 按五元组、地址、区域和协议版本切分 |
在实际告警中,可以使用相对基线而不是固定阈值。例如,某业务平时重传率约为0.2%,若连续三个5分钟窗口升至1%以上,同时TCP RTT p95从25毫秒升至80毫秒,且出口队列开始出现丢弃,那么这条告警的可信度就明显高于“单个窗口重传率超过1%”。
这里的1%和三个窗口只是示例规则,不能直接作为所有业务的通用标准。实时交易、长连接推送、大文件传输和普通网页请求的可接受范围不同,应该根据正常时段的重传基线、连接规模和业务超时设置调整。
复测时不要只看重传率是否下降
确认或处理一个问题后,应使用与首次观察相同的指标和时间窗口复测,至少检查以下变化是否一致:
- 重传率是否回到正常基线,而不是仅因为流量下降导致比例变化;
- RTO超时、快速重传和连接级RTT是否同步改善;
- 接口、qdisc或上游设备的丢弃是否停止增长;
- 应用p95、p99、超时率和错误率是否恢复;
- CPU、softirq、I/O wait、内存压力和业务队列是否回落;
- 正常连接和异常连接之间的差异是否缩小。
如果只是调整TCP重传参数、增大队列或延长应用超时时间,可能会暂时掩盖症状,却没有消除丢包或拥塞来源。每次调整都应记录变更时间、影响范围和回退方式,并在低风险连接或小范围流量上验证,避免把网络故障扩大为更长的请求堆积。
下一次遇到Linux TCP重传率升高,建议至少把下面这组指标放在一张时间线上:TCP重传率与RTO、TCP RTT与拥塞窗口、接口和qdisc丢包、带宽与队列长度、CPU/softirq/I/O wait、应用p95/p99与错误率。其中任意一个指标单独异常,只能说明“需要继续观察”;当网络、主机和应用三个层面的变化在同一时间窗口内相互印证,才足以形成较可靠的原因判断。
A5idc数据提供中国香港、美国、日本等地区的物理服务器,涵盖不同的线路、带宽及CPU、内存、NVMe存储配置。面向企业网站、接口服务和数据库等业务,这些资源可为不同访问地区的网络路径与主机负载需求提供部署基础,也与文中从链路和服务器两侧分析TCP重传的场景相呼应。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7412.html



