Linux服务器的TCP重传增加,通常意味着部分数据未在预期时间内得到确认,发送端需要再次发送。它可能拉长请求完成时间,尤其会影响P95、P99这类尾部延迟,但两者并不是简单的线性关系。是否产生明显影响,取决于重传发生在哪些连接、丢失的数据是否阻塞当前请求,以及发送端通过快速恢复还是等待超时完成补发。
判断关联时,应把同一时间窗口内的重传增量、连接往返时间、请求延迟和业务流量放在一起比较。重传总量随访问量增长,并不一定代表网络质量变差;请求延迟升高,也可能来自处理器繁忙、磁盘等待或应用排队。只有确认重传与慢请求处于相同连接、相同方向和相近时间段,才能进一步判断它是延迟上升的原因、共同拥塞的结果,还是无关背景流量。
重传怎样进入一次请求的耗时
TCP提供有序的字节流。即使后续数据已经到达接收端,只要前面存在缺口,后续字节通常仍不能按序交付给应用。这种等待会让一个丢失的数据段影响后续数据的可用时间。因此,少量重传也可能让某个请求明显变慢,而不是只增加一小部分传输成本。
发送端发现异常的方式会影响等待时长。收到重复确认或选择性确认信息后,TCP可能较早判断存在数据缺口并安排补发;Linux还可能使用基于时间的丢包检测机制,具体行为取决于内核及连接条件。若缺少足够反馈,就可能需要等待重传超时,即RTO。RTO由往返时间估计及其波动等因素决定,不应把它理解为所有连接都相同的固定等待时间。
短连接、小响应和传输尾部的数据丢失,尤其值得关注。这些场景可能没有足够的后续数据帮助发送端及时发现缺口。内核可能通过尾部探测等机制减少等待,但不能据此推断每次尾部丢包都能迅速恢复。对接口请求而言,关键不只是补发了多少字节,而是补发是否卡住了响应完成。
重传还可能伴随拥塞控制调整。发送端判断发生拥塞后,可能减少在途数据量,降低后续发送速度,使较大的文件下载或批量传输延长。具体调整取决于拥塞控制算法和恢复状态,所以相同的重传比例,在不同往返时间、带宽和连接负载下,可能呈现不同的业务影响。
先区分三种“延迟”,再比较指标
性能分析中的延迟至少包含三个层次,不能把它们互相替代。
- 网络往返时间:RTT表示数据发送后到相关确认返回所经历的往返时间。它包含路径传播、排队和端点处理等影响,但不等于一次HTTP请求的总耗时。
- 丢失恢复等待:数据缺口从出现到被补齐所消耗的时间。即使连接的平滑RTT变化不大,个别请求仍可能因为恢复等待而变慢。
- 业务请求耗时:可能包括建立连接、加密握手、请求发送、应用处理和响应接收。监控中的总耗时、首字节时间与响应体接收时间,需要分别理解。
例如,请求的首字节时间升高,但响应接收阶段基本稳定,应该同时检查请求发送方向、应用处理队列和上游依赖,而不是仅凭服务器发送重传计数上升就认定响应链路有问题。相反,首字节正常、大响应的接收耗时和发送重传一起升高,才更符合响应传输受损的表现。这些是分析线索,不是无需验证的诊断结论。
还要注意,平滑RTT是经过滤波的连接估计,并非每个请求的逐次采样。发生重传时,往返时间测量还会受到确认归属不明确等因素限制。因此,“RTT曲线平稳”不能单独排除重传对尾部请求的影响。
用同一窗口建立可比较的数据
评估可从三个层级开始:业务侧记录请求量、响应大小、P50、P95、P99和超时数;主机侧记录TCP发送与重传计数的增量;连接侧观察相关连接的RTT、重传状态和发送队列。窗口长度应兼顾流量规模与异常持续时间:窗口过长容易稀释短时突发,窗口过短则可能因样本不足而剧烈波动。
在安装了iproute2与提供nstat的相关软件包的Linux系统上,可以先执行以下只读命令。不同发行版的软件包拆分、输出字段和权限要求可能不同,应以本机帮助信息为准。
date -Is
nstat -az TcpOutSegs TcpRetransSegs
ss -tin state established
nstat -a用于读取绝对计数,-z让零值项也显示。间隔一段明确时间后再次读取,计算两个时点之间的差值。不要把开机以来的累计重传数直接与当前一分钟的延迟比较。系统重启、统计重置或采集实例切换会破坏连续性,出现计数回退时,应舍弃跨越该边界的差值。
常用的趋势指标可以写为:区间重传占比=区间TcpRetransSegs增量÷区间TcpOutSegs增量×100%。这里比较的是同一主机、同一网络命名空间、同一时间区间内的TCP段计数,分母必须大于零。它适合观察趋势,但不是严格的链路丢包率,也不是“有多少请求受到影响”的比例;重复补发、统计口径及流量构成都可能影响结果。
计算重传速率时,则用重传段增量除以采样间隔秒数,单位为段/秒。速率回答“单位时间补发多少”,占比回答“相对发送规模是否恶化”。二者应结合使用:发送规模增长而重传占比稳定,与流量不变但重传占比持续上升,所代表的问题并不相同。
ss -ti能为仍然存在的连接提供TCP内部信息,常见内容包括RTT、RTO、拥塞窗口及重传相关字段,但字段含义需结合本机版本理解。主机上的连接很多时,应按业务地址或端口筛选,避免把备份、文件分发和管理连接混在一起。短连接可能在采样前就已结束,不能因为现场没有看到异常连接,就排除此前发生过重传。
看清方向,避免把计数解释反了
服务器本机的TcpRetransSegs主要反映本机TCP发送端的重传,不直接统计客户端发往服务器的所有补发。上传接口中,请求数据在客户端方向丢失,业务可能明显变慢,但服务器的发送重传变化并不突出;下载接口则更容易在服务器发送重传中留下信号。
连接经过负载均衡或其他TCP终止设备时,还要确认观测位置。客户端到前端设备、前端设备到应用主机可能是两条独立TCP连接。后端连接健康,并不代表客户端侧链路健康。应在实际发生TCP终止的位置分别看指标,而不是把两段路径合并为一个连接解释。
确认报文丢失、路径乱序或时延突然变大,也可能触发不必要的补发。因此,观察到重传并不等于已经证明数据报文在某个交换设备上被丢弃。需要定位时,可以在具备授权的相关端点进行有限范围抓包,结合序列号、确认号和时间戳核对数据缺口及恢复过程,并控制采集范围、存储量和业务敏感信息暴露。
用现象组合判断关联强弱
| 同一窗口内的表现 | 较合理的解释方向 | 还需要核验什么 |
|---|---|---|
| 重传数量增加,占比基本稳定,延迟稳定 | 可能主要是流量增长带来的数量变化 | 请求量、响应字节数和连接组成是否变化 |
| 重传占比升高,P99升高,P50变化较小 | 部分连接可能受到恢复等待影响 | 慢请求所在连接是否确有数据缺口或超时恢复 |
| RTT先升高,随后重传和请求延迟上升 | 排队与拥塞可能是共同原因 | 出口利用率、队列积压及相关设备丢弃计数 |
| 业务延迟上升,重传与RTT没有同步变化 | 应用排队、依赖服务或资源瓶颈值得优先检查 | 处理器调度、磁盘等待、连接池及上游耗时 |
| 重传集中在非业务连接,业务延迟稳定 | 主机汇总指标与目标业务关联较弱 | 按连接、端口或业务实例拆分后是否仍异常 |
这些组合用于缩小范围,不能代替因果验证。尤其是“重传与延迟同时上涨”,可能只是两者同时受到拥塞影响:队列积压先增加RTT,队列溢出又造成丢包,重传随后进一步延长部分请求。此时把全部延迟增长都归因于补发,会低估排队本身的贡献。
主机侧还应核验网卡接收与发送错误、丢弃、软中断负载和协议栈处理压力。可只读查看ip -s link,有条件时再结合驱动统计。不同层级的丢弃计数口径并不相同,网卡丢弃增加不一定对应TCP重传一一增加;本机没有明显丢弃,也不能排除远端或中间路径的问题。
怎样完成一次有边界的性能验证
没有真实日志时,不宜预先给出“重传达到某个百分比,延迟就会上升多少”的统一结论。实际验证应先固定比较条件,包括请求类型、响应大小、并发量、连接复用方式、客户端分布和主要传输路径,再同时记录延迟分位数、错误率、RTT与重传变化。高峰和低峰的数据如果负载组成不同,不能直接作为前后对照。
如果要验证丢包恢复对业务的影响,应在隔离测试环境中逐步改变可控条件,每次尽量只改变一个主要因素,并保留无干预的基线。测试既要覆盖小响应,也要覆盖较大传输,因为前者可能更受单次恢复等待影响,后者还会受到持续发送速率变化的影响。不要在生产链路上直接制造丢包来证明猜测。
分析结果时,应检查时间先后和连接对应关系:慢请求开始前是否已有RTT上升,关键数据是否发生补发,请求是否在缺口补齐后完成。若修复了已确认的队列丢弃或主机处理瓶颈,应在相近负载下复测,观察重传占比、尾部延迟和吞吐是否共同改善,而不是只挑选一个变好的指标。
也不应把降低重传超时、扩大缓冲区或更换拥塞控制算法作为未经验证的通用方案。参数变化可能减少某类等待,也可能增加不必要的重传、排队或资源占用。只有定位到具体机制后,才适合设计变更,并明确影响范围、保留原配置、设置验证指标与回退条件。
判断TCP重传与延迟关联的核心,是把“主机上的补发数量”逐步缩小到“目标连接上的关键数据恢复”。先统一时间窗口和统计口径,再区分传输方向、恢复方式及业务耗时阶段,才能判断当前需要处理的是链路丢失、队列拥塞、端点资源压力,还是与网络无关的应用等待。









