服务器出现丢包时,如何结合链路、网卡与系统指标逐层排查?

发布人:A5数据发布时间:2026-10-19 14:13阅读量:114

服务器出现丢包,可能表现为连接超时、远程登录卡顿、页面加载变慢或业务请求间歇失败,但这些现象不一定都由服务器网卡故障引起。丢包可能发生在客户端接入、运营商链路、服务器网络接口、系统协议栈,也可能只是应用处理过慢,导致请求超时后被误认为网络故障。

排查时先确认“谁到谁、在哪个方向、什么时间段”出现异常,再从本地网络、DNS、路由和链路逐步向服务器系统与应用收敛。单次 ping 超时、某一跳不回应,或 CPU 短时升高,都不足以单独证明根因。以下步骤适用于常见 Linux 服务器;命令需按实际发行版和工具是否已安装调整。

先确认症状与影响范围

先把故障描述具体化:是所有访问者都受影响,还是某个地区、运营商或单台客户端受影响;是所有端口都异常,还是仅网站、数据库等某项服务异常;丢包是持续发生,还是只在高峰或特定时间出现。

记录故障开始时间、持续时间、受影响的源地址、目标 IP 和端口,并同时测试以下几类目标:

  • 从客户端访问其他正常网站或服务器,判断本地网络是否同时异常。
  • 从多台、不同网络的客户端访问故障服务器,比较影响范围。
  • 直接测试服务器 IP 与业务域名,避免把 DNS 问题误判为链路问题。
  • 测试 ICMP 连通性和实际业务端口。服务器或防火墙可能限制 ICMP,因此 ping 不通不等于业务端口不可达。
  • 如果服务由多个入口或后端组成,分别检查入口、目标服务器和具体业务接口,确认故障边界。

可先用以下命令记录基础连通性。-c 控制探测次数,目标应替换为实际 IP 或域名:

ping -c 20 203.0.113.10

203.0.113.10 是文档示例地址,不代表真实服务器。若只有域名访问异常,再核对解析结果:

getent ahosts example.com

必要时从客户端和服务器分别执行测试。两端结果不一致时,方向信息很关键:客户端到服务器异常,不代表服务器主动访问外部也异常;反之亦然。

围绕服务器网络与系统资源的部署需求,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,配置覆盖不同CPU、内存、存储及网络线路,可用于网站、业务后台、数据库和接口服务等场景。多地区与线路方案为不同访问来源的业务部署提供资源选择,NVMe存储及多档处理器配置也适用于不同负载的服务器环境。

建立原因树:先区分网络故障与响应变慢

可将问题按四层拆分,沿着“外部链路—服务器网卡—系统资源—服务与应用”逐层排查。

建立原因树:先区分网络故障与响应变慢配图

层级常见原因主要观察依据
本地网络与 DNS客户端 Wi-Fi、局域网拥塞,域名解析错误或解析延迟多个目标是否同时异常;域名与 IP 访问结果是否不同
路由与链路中间链路拥塞、路由变化、上游接口异常多个网络来源测试差异;丢包从哪一段开始并持续到终点
网卡与系统网卡错误计数增长、队列丢包、CPU 或软中断过载网卡计数差值、系统负载、连接状态和内核日志
服务与应用端口未监听、连接队列拥塞、线程或后端响应慢TCP 端口探测、服务日志、请求耗时与超时记录

需要注意,网络探测工具显示的“某一跳丢包”可能只是该路由设备限制或降低了对 ICMP 探测的响应优先级。若中间某跳显示丢包,而后续路由和目标服务器没有相应丢包或延迟,通常不能据此认定业务流量在该跳丢失。应关注丢包是否从某一位置开始,并延续到目标端,同时结合真实业务请求判断。

从本地网络、DNS和路由向外排除

1. 检查客户端网络与 DNS

如果同一客户端访问多个不相关的服务器都卡顿,先检查本机网络、无线信号、局域网网关和本地运营商连接。可同时 ping 本地网关与目标服务器;若网关本身就出现稳定丢包或明显延迟,问题可能在客户端到网关这一段。

如果用域名访问失败、直接访问服务器 IP 正常,检查域名解析结果是否与预期一致,并确认不同客户端是否解析到相同地址。解析结果不一致可能来自 DNS 缓存、不同解析线路或记录配置差异。此时应先核实域名记录和解析路径,不要直接调整服务器网卡或系统网络参数。

2. 比较不同来源与不同目标

在至少两个网络来源上重复相同测试,例如一台办公网络客户端和一台移动网络客户端。若只有一个来源异常,优先检查该来源对应的本地网络和运营商路径;若多个来源均在相近时间异常,服务器入口、目标地址或共同上游链路的可能性上升。

同时比较目标服务器与同网络中的其他目标。如果只有特定服务器异常,应进一步检查该服务器及通往它的路径;如果多个同机房目标同时异常,应考虑共同链路或机房网络因素。这里的“可能性上升”是排查优先级,不是仅凭对比就能确定根因。

3. 查看路由变化和端到端趋势

Linux 上可使用 mtr 观察多跳路径;若未安装,可使用系统已有的 traceroute 或 tracepath。以下为持续探测示例:

mtr -rw -c 50 203.0.113.10

如果输出中某一跳有较高丢包,但后续各跳和终点正常,不能仅凭这一项判定该跳故障。若某一跳之后开始出现持续丢包,终点也有类似趋势,再结合多来源测试与业务端口表现,才有理由进一步向对应网络段核查。路由可能因策略或负载变化而调整,故障前后的路径不同也值得记录。

核对服务器网卡与系统指标

确认多个外部来源均能复现后,再检查服务器本身。先确认实际使用的网卡名称、链路状态和地址,避免把非业务接口当成故障接口:

ip -br address
ip route
ip -s link

ip -s link 会显示网卡收发字节、包数和错误、丢弃计数。记录一次后等待一段时间再执行,重点看计数是否在故障期间持续增长,而不是只看系统启动以来的累计值。RX errors、TX errors、dropped 增长可能与接口、队列或链路有关,但需要结合网卡驱动信息和时间变化判断;计数为零也不能排除上游链路丢包。

如系统安装了 ethtool,可查看网卡协商状态和驱动统计:

sudo ethtool eth0
sudo ethtool -S eth0

将 eth0 替换为实际接口名。重点关注链路是否为 up、速率与双工是否符合预期,以及错误包、丢弃包、队列丢弃等计数是否随故障增长。不同网卡驱动的统计项名称并不统一,不能把某个字段名直接套用到所有设备。不要在没有确认接口、业务影响和维护窗口时随意更改速率、双工或网卡参数。

同时观察系统是否因负载过高而来不及处理网络中断或请求:

uptime
vmstat 1 5

若已安装 sysstat,可用 sar 查看网卡吞吐和错误计数;不同发行版的采集服务与历史数据路径可能不同:

sar -n DEV 1 5

判断时关注故障时间段是否存在 CPU 长时间接近饱和、运行队列明显增大、内存压力、网卡吞吐接近链路能力或丢弃计数增长。平均负载高不必然代表网络丢包,低 CPU 也不排除网卡或上游链路问题。若怀疑内核或驱动报错,可查看相应时间段的系统日志:

核对服务器网卡与系统指标配图

sudo journalctl -k --since "30 minutes ago"

例如日志出现接口反复断开、链路重协商或驱动报错,且时间与业务故障吻合,才构成进一步核查网卡、驱动、线缆或虚拟化宿主机网络的依据。虚拟服务器通常无法直接查看物理网卡状态,需要结合虚拟网卡统计和服务商侧网络信息判断。

分离服务端口问题与应用响应问题

如果 ICMP 有丢包,但业务端口稳定可连且请求正常,可能是 ICMP 被限速,不能直接按业务丢包处理。反过来,即使 ping 正常,服务端口也可能因未监听、防火墙规则、连接队列或应用过载而失败。

在服务器上检查服务是否监听预期地址和端口:

sudo ss -lntp

再从客户端测试实际业务端口。部分系统可使用 nc:

nc -vz 203.0.113.10 443

若端口连接失败,检查服务监听状态、服务器防火墙策略及上游访问控制。防火墙规则调整可能改变对外可达范围,操作前应确认当前规则、变更影响和管理连接是否会受影响,并准备可恢复的配置或变更方案;不要为测试而直接清空规则或关闭防火墙。

若 TCP 连接成功但页面或接口响应慢,进一步比较连接建立时间、首字节时间和完整响应时间,并查看服务日志中的超时、排队、后端失败和请求耗时。可从应用日志或监控中按故障时间段对齐请求 ID、状态码与耗时。比如,连接很快建立,但首字节长期延迟,更应检查应用处理、数据库或依赖服务;若连接阶段就反复超时,网络路径、监听队列或访问控制仍需优先核实。

一个常见的判断误区是把“请求超时”直接等同于“网络丢包”。连接超时可能来自链路丢包,也可能来自服务未监听、服务器资源耗尽或防火墙静默丢弃;请求建立连接后等待超时,则更可能还涉及服务处理和后端依赖。应结合客户端错误类型、服务器连接状态和应用日志定位。

分离服务端口问题与应用响应问题配图

根据证据收敛根因并验证恢复

排查结果可以按以下方式收敛:

  • 只有单个客户端异常,其他网络来源正常:先处理客户端、局域网或对应运营商路径,并保留不同来源的对照结果。
  • 域名异常而 IP 访问正常:核对 DNS 解析记录、缓存和实际解析地址。
  • 多个来源均出现端到端丢包,服务器网卡计数正常:优先向链路和上游方向核查,提供故障时间、源与目标地址、路由结果及端口测试。
  • 网卡错误或丢弃计数在故障期间持续增加:检查接口、驱动、队列和虚拟化网络;先确认统计字段含义与设备支持情况。
  • 网络探测正常,但服务端口或应用请求异常:查看监听状态、连接队列、服务日志、资源占用与后端依赖。
  • 只有高峰期发生,且网卡吞吐、CPU、队列或请求耗时同步上升:按时间对齐指标,确认是否存在容量瓶颈或突发负载,不要只凭高峰这一条件认定原因。

定位出可疑环节后,先做范围最小、可验证的处理,例如恢复异常链路、修复错误配置、处理服务进程故障或扩展不足的资源。涉及网卡参数、防火墙、路由或服务配置的变更,应记录原值、确认影响范围,并准备回退办法;不要同时修改多个层级,否则恢复后难以判断真正起作用的因素。

恢复验证应覆盖故障发生时的路径和业务条件:从原先异常的客户端及另一独立网络重复测试;同时检查 DNS、目标端口、端到端丢包和真实业务请求;观察网卡错误计数、系统负载及应用超时是否停止增长。短时间内一次 ping 正常不足以证明故障已消失。应在原故障时段或相近负载下持续观察,并确认用户侧错误率和响应时间回到该业务可接受的基线。

复发监控应保留哪些信号

为缩短下一次故障的定位时间,建议至少保留以下监控和日志,并统一时间戳:

  • 多地到业务入口的端到端延迟、丢包与端口连通性,避免只监控 ICMP。
  • 服务器网卡的收发速率、错误包和丢弃包变化;以计数增量和时间窗口判断,不只看累计值。
  • CPU、运行队列、内存压力、连接数及网卡吞吐,便于识别系统资源与网络异常是否同步。
  • 服务端口可用性、请求错误率、连接耗时、响应耗时及应用超时日志。
  • DNS 解析结果和变化记录,便于区分域名解析问题与目标服务器故障。

监控阈值应结合业务基线设置。短时单点抖动通常需要与持续时间、连续采样结果和业务错误率共同判断;例如,可将“连续多个采样周期出现端到端丢包,并伴随请求失败率上升”作为告警条件,而不是把任何一次探测超时都升级为服务器故障。这样既能及时发现持续性问题,也能减少由 ICMP 限速或偶发探测失败造成的误报。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4607.html

相关推荐