服务器网络抖动如何排查,怎样区分丢包、链路延迟与主机负载
用户反馈“网站偶尔打不开”时,先确认影响范围:是某个办公网络中的访问者遇到问题,还是多个地区同时变慢?是解析域名慢、建立连接慢,还是页面开始返回内容后才卡住?这些差别决定了排查方向。服务器网络抖动不是单一故障名称,丢包、链路延迟、服务器负载和应用响应变慢,都可能表现为请求耗时忽高忽低。
区分它们的关键,是在同一时段同时观察客户端到服务端的网络表现、服务器资源状态和请求各阶段耗时。丢包要看端到端探测及业务连接是否出现重传或超时;链路延迟要看往返时间是否持续升高;主机负载则需要与 CPU、磁盘等待、网络接口和服务队列的变化对应。不要凭一次 ping 超时,或一张 CPU 曲线,就认定根因。
确认症状:先把“抖动”变成可比较的记录
排查前,记录故障开始和结束时间、受影响的域名与端口、访问者所在网络、报错信息,以及“偶发失败”还是“普遍变慢”。如果业务经过 CDN 或负载均衡,还要区分访问的是用户入口、边缘节点,还是源站。对不同目标测得的延迟,不能直接当作同一条链路的结果。
建议至少保留三组同期观察:受影响客户端访问业务域名、另一网络的客户端访问同一域名、服务器自身的资源与服务指标。若只有一个地区异常,先检查该地区的本地网络、解析结果和访问路径;若多个地区同时异常,再提高服务器、入口服务及共同上游链路的排查优先级。这是缩小范围的方法,不是仅凭影响范围就能定责。
记录请求耗时时,还应分清指标含义:
| 观察项 | 主要回答的问题 | 不能单独证明什么 |
|---|---|---|
| DNS 解析耗时 | 域名变成目标地址是否慢 | 不能证明目标服务器网络慢 |
| TCP 连接耗时 | 到目标地址和端口建立连接是否慢 | 不能单独区分沿途链路与服务端连接队列 |
| TLS 握手耗时 | 加密连接建立阶段是否慢 | 不能只凭它认定线路丢包 |
| 首字节时间 | 请求发出后多久开始收到响应 | 同时包含网络往返、排队和应用处理 |
| 完整请求耗时 | 用户等待整个响应的时间 | 还受响应体大小、下载速率等影响 |
在有 curl 的客户端,可用下例对同一个 URL 连续取样。把示例域名替换为实际业务域名,固定测试路径,并记录采样时间;不要用不同大小、不同缓存策略的页面直接比较。
curl -sS -o /dev/null \
-w 'dns=%{time_namelookup}s tcp=%{time_connect}s tls=%{time_appconnect}s first_byte=%{time_starttransfer}s total=%{time_total}s http=%{http_code}\n' \
https://www.example.com/health
这些时间点是从请求开始累计计算的。例如“首字节时间减去 TLS 握手完成时间”可粗略观察握手后等待响应的时间,但其中仍包含请求发送和网络传输,不能直接等同于应用执行时间。健康检查接口也可能比真实业务简单,应结合实际慢请求记录判断。
建立原因树:按网络、系统、服务与应用分支
可以把一次请求理解为“本地接入 → DNS → 路由与传输 → 服务器网络和系统 → Web 服务 → 应用及其依赖”。逐层排除时,每个分支都要有观察依据和下一步:
| 分支 | 更有指向性的现象 | 下一步核对 |
|---|---|---|
| 本地网络 | 仅某个办公网或运营商网络异常,同网络访问其他目标也波动 | 对比有线与其他接入方式、网关响应和另一网络的同期结果 |
| DNS | 首次访问或解析阶段慢,不同解析结果对应不同表现 | 查看解析地址、缓存及目标地址;比较域名访问与指定地址访问 |
| 路由与链路 | 多个协议的端到端时延同时升高,或业务连接出现重传、超时 | 比较多位置、双方向和不同时段的路径及连接指标 |
| 服务器系统 | 异常时 CPU、磁盘等待、虚拟机争用或网卡计数同步变化 | 检查资源趋势、接口统计、内核日志及连接状态 |
| 服务与应用 | 连接建立正常,但首字节或特定接口明显变慢 | 检查 Web 服务、应用日志、线程或连接池及数据库等依赖 |
这个原因树允许多个分支同时成立。例如服务器磁盘等待升高使应用响应慢,而客户端所在网络又有轻微丢包。排查目标不是给所有异常找一个统一名称,而是确认哪项变化能解释主要业务影响。
逐层排除:先看访问端与路径,再看服务器
本地网络和 DNS:判断请求是否走向了预期目标
先从受影响客户端和另一网络分别访问同一业务地址。如果仅一个接入网络异常,可比较访问网关、其他稳定目标及业务目标的表现。网关也出现明显波动时,本地接入值得优先检查;网关正常而业务目标异常时,继续看解析地址与后续路径。无线干扰、局域网拥塞和客户端资源不足,都可能让服务器看起来“网络不稳”。
DNS 问题通常表现为解析耗时高、解析失败,或不同地点解析到不同目标地址后体验不同。在 Linux 上可先查看系统实际获得的地址:
getent ahostsv4 www.example.com
如果环境中已安装 dig,还可以查看 A 记录结果和解析耗时:
dig www.example.com A
dig 查询结果与应用实际使用的解析路径、缓存未必一致,因此要结合 getent 和请求记录。已建立的连接不会因后续一次 DNS 查询慢而突然变慢;如果故障发生在长连接期间,应继续检查传输、服务端或应用。
需要比较同一域名指向不同服务器时,可以用 curl --resolve 临时指定本次请求的目标地址,保留原域名作为 HTTPS 主机名。下例中的 192.0.2.10 是文档示例地址,执行时须替换为确认为该业务提供服务的实际地址:
curl --resolve www.example.com:443:192.0.2.10 \
-sS -o /dev/null \
-w 'tcp=%{time_connect}s first_byte=%{time_starttransfer}s total=%{time_total}s http=%{http_code}\n' \
https://www.example.com/health
若域名访问慢、指定正确目标地址后稳定,DNS 解析或流量调度值得继续查;若两者都慢,则不能把问题仅归于 DNS。经 CDN 的业务尤其要注意:绕过边缘节点访问源站,测量的是另一条路径,结果不能直接代表用户入口。
丢包与链路延迟:看端到端结果,不给中间跳点定罪
丢包指探测包或业务数据未能按预期到达;链路延迟升高指数据往返更慢。二者可能同时出现,但不等价。可以从客户端对业务目标做一段持续采样,并记录发生波动的时间,而不是只看几次探测的平均值:
ping -c 50 www.example.com
如果目的端禁用或限速 ICMP,ping 丢包不等于 HTTPS 丢包;反过来,ping 正常也不保证业务端口没有异常。此时应以业务请求成功率、连接超时、TCP 重传等指标交叉验证。对依赖 UDP 的业务,则要观察该业务自身的超时、乱序或丢失指标,不能只用 TCP 重传判断。
路由探测可帮助定位波动出现在哪段路径,但也有边界:
traceroute www.example.com
若系统已安装支持相应参数的 mtr,可在允许探测的前提下,对业务端口进行短时采样:
mtr -T -P 443 -r -c 50 www.example.com
中间某一跳显示高丢包,而后续跳点和最终业务请求正常,常见原因是该设备限制了探测报文回复,不能据此认定它转发业务流量时丢包。不同时间的路由也可能变化;同一故障时段、多位置的终点表现和业务连接记录更有价值。客户端到服务器、服务器返回客户端的路径还可能不同,必要时应从服务器向受影响网络允许探测的目标补充观察。

服务器系统:区分“包到不了”与“到达后处理不过来”
当多个访问地点同时出现连接或响应波动,应检查服务器同一时间窗口的资源状态。Linux 上,下面的只读命令可提供初步线索;执行前确认系统具备相应工具,并把网卡名替换为实际接口名。
ip -br link
ip -s link show dev eth0
vmstat 1 5
ss -s
ip -s link 中的丢弃和错误计数要看故障期间的增量,不能凭开机以来的累计值定责;虚拟网卡计数也不能覆盖上游设备的全部情况。vmstat 的 r、wa 等字段可辅助观察运行队列和 I/O 等待,但还需结合 CPU 核数、磁盘延迟与进程指标。虚拟机环境中的 CPU 争用,也可能让网络收发和应用处理出现间歇性停顿。
若已具备相应工具和监控,可进一步查看网卡速率、每秒包量、TCP 重传增量、连接队列和内核日志。重传计数升高说明传输遇到了需要重发的情况,但原因可能位于沿途链路,也可能与拥塞、服务端处理不及时有关。带宽使用率接近分配上限时,应同时检查峰值持续时间和包量:较低的 Mbps 并不意味着每秒包处理压力一定低。
网络路径与主机资源都可能影响业务请求的表现。A5idc数据提供中国香港、美国、日本等地的物理服务器,涵盖不同线路与带宽选择,以及Xeon Gold、AMD EPYC、SSD和NVMe等计算、存储配置。这些资源可承载面向不同地区用户的企业网站、接口服务和数据库业务,覆盖网络接入与服务器负载两方面的部署需求。
定位根因:用同期证据区分三类常见表现
下面是一组用于说明判断方法的示例,而非某台服务器的实测结果:某时段多个地区请求的首字节时间从约 0.2 秒升至 2 秒;TCP 连接时间基本不变,端到端探测未见持续丢包,同时服务器磁盘等待和应用数据库查询耗时上升。此时“应用及依赖处理变慢”比“链路丢包”更能解释现象,下一步应对照慢查询、连接池等待和请求日志。

换一种结果,判断就要改变:
- 连接阶段和端到端往返时间同时升高,多个接口都受影响,而服务器资源平稳:优先核对访问路径、上游拥塞及受影响网络范围。
- 业务超时或重传增多,成功请求耗时也剧烈波动:重点查端到端丢包、拥塞和接口错误增量;先确认探测流量与真实业务是否走同一路径。
- 连接时间稳定,首字节时间只在某些接口升高:优先查应用排队、数据库、缓存或外部依赖;不要把应用等待时间直接称作“网络延迟”。
- 新连接慢,但已有连接较稳定:检查 DNS、握手路径、服务端连接队列与 TLS 处理压力,不能只看应用接口执行时间。
如果已有 Nginx 请求日志,可将请求时间、上游响应时间与应用日志按时间及请求标识对齐。请求时间较长不一定全由上游造成,也可能包含客户端较慢的接收过程;上游响应时间较长则需要继续追踪应用及其依赖。修改日志格式不是定位的前提,先利用现有记录和监控,避免故障期间引入额外配置风险。
验证恢复,并留下复发时能用的监控点
采取措施后,用与故障期间相同的访问地点、域名、路径和采样口径复测。既要看平均耗时,也要看高分位耗时、失败率及连续一段时间的稳定性;只看到一次请求变快,不算恢复。若更换了解析地址、调整了路由或扩容了资源,还要核对实际请求是否已经经过新目标,并确认其他地区和接口没有出现新的异常。
后续监控宜覆盖请求链路的关键分界:各地区的解析成功率与耗时、TCP 连接和 TLS 握手耗时、业务请求失败率及高分位首字节时间;服务器侧保留接口错误与丢弃计数增量、TCP 重传、带宽和包量、CPU 与磁盘等待;服务侧保留连接队列、应用处理耗时和关键依赖耗时。给这些指标统一时间基准,并标注变更时间。下一次抖动出现时,才能迅速判断波动始于哪一层,而不是重新从“服务器是不是丢包了”开始猜。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6856.html
