独立服务器网卡丢包计数异常,如何区分网卡、链路与系统问题?

发布人:A5数据发布时间:2026-11-07 10:03阅读量:72

业务页面变慢时,独立服务器上的 RX dropped 恰好也在增加,很容易把两者直接画上等号。但“丢包计数”并不是一个统一的故障代码:它可能记录网卡或驱动未能接收的帧,也可能反映内核处理队列丢弃的数据;而页面变慢还可能发生在 DNS、路由、服务或应用层。

区分网卡、链路与系统问题,关键是先确认哪个接口、哪个方向、哪个计数在什么时间增长,再看它是否与业务失败同步。物理错误随计数一起增长,优先检查网卡与相邻链路;无明显物理错误但高负载时出现接收丢弃,优先检查系统处理能力;计数未变而请求仍慢,则应继续查 DNS、路径、服务和应用。单个累计数字不足以定位根因。

确认症状:计数增长与业务影响是否发生在同一处

先记下受影响的业务、时间和范围:是所有来源访问都慢,还是某个地区、某个运营商慢?是整台服务器的服务均受影响,还是只有一个域名或接口超时?TCP 连接建立慢、连接后首字节慢,也指向不同层级。

在 Linux 服务器上,可先用只读命令确认实际承载业务的物理接口及其状态。以下以 eno1 为示例,执行时应替换为服务器上的接口名:

date -Is
uptime
ip -br link
ip route get 1.1.1.1
ip -s -s link show dev eno1
ethtool eno1
ethtool -S eno1

ip route get 用于查看到该示例地址时系统选择的出口,并不能证明业务流量一定走同一路由;存在策略路由、多网卡或容器网络时,还要按实际业务地址核对。ethtool 的详细统计项由网卡和驱动决定,某项不存在不代表该类故障不可能发生。

记录一次计数后,间隔例如 5 分钟再记录一次,比较增量而不是只看开机以来的总数。还要核对重启时间、接口是否曾重置:累计值的起点变化后,不能把前后两次读数直接相减。若服务器使用 bond、VLAN 或虚拟接口,应分别查看承载流量的物理口和上层接口,避免把不同层的统计当成同一批丢包相加。

一个可复用的判断口径是:在同一采样窗口内,用“新增丢弃包数 ÷ 同期接收包数与丢弃包数之和”估算丢弃比例,并同时记录峰值流量和业务错误数。例如同期接收约 2,000,000 包、RX dropped 增加 2,000,估算约为 0.1%。这只是帮助比较时段的示例,不是所有业务通用的告警线;而且不同统计项可能重叠,不能把 ip 与 ethtool 中名称相似的数字简单相加。

建立原因树:先分清丢在哪里

排查时可把现象分成四条相互关联、但证据不同的分支:

分支更值得关注的观察下一步
网卡及相邻链路CRC、帧错误、carrier 错误、链路上下线等随故障增加对照端口状态、速率与协商结果,联系机房或网络侧核对相邻端口
系统接收与发送处理高峰期 dropped、队列丢弃或软中断处理不足增加,物理错误不明显查 CPU、软中断、接收队列、驱动及内核日志
路径与名称解析特定来源或目的地异常;按域名访问慢而按已知 IP 连接正常分别测 DNS、目标 TCP 连接和端到端请求,核对路由
服务与应用网络连接正常,但首字节或完整响应慢查监听队列、进程资源、应用日志及后端依赖

这棵树不能只凭计数器名称选择分支。例如 Linux 的 rx_dropped 并不等同于“网线丢了这些包”;其具体统计范围受内核、驱动和设备实现影响。rx_missed_errors、rx_no_buffer 一类名称往往更值得追查接收资源是否不足,但也需结合负载和驱动说明判断。TX dropped 则应沿发送队列和出口方向调查,不宜直接解释为服务器接收链路故障。

逐层排除:让每项检查回答一个问题

本地访问、DNS 与路由:是不是只有“看起来像丢包”

先从受影响来源和另一处不受影响的来源,对同一业务做小规模对照。如果只有办公网络访问异常,而其他来源和服务器内部检查正常,应先检查办公网络及其到服务器的路径;如果多个独立来源同时异常,再提高服务器侧或共同上游链路的排查优先级。

按域名访问慢时,DNS 查询耗时应与 TCP 建连耗时分开。可在具备 curl 的检测端执行以下示例,将地址替换为实际业务地址:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s first_byte=%{time_starttransfer}s total=%{time_total}s\n' \
  https://service.example/health

若 DNS 耗时明显增加,但连接后的响应正常,应检查解析器、解析记录和客户端网络;若 DNS 正常而 connect 增加,应继续查目标端口可达性及路径;若建连正常、首字节增加,则转向服务或应用。单次结果可能受缓存、连接复用和瞬时拥塞影响,应在相同条件下重复对照。直接访问 IP 未必能替代 HTTPS 域名测试,因为证书和虚拟主机仍依赖域名。

本地访问、DNS 与路由:是不是只有“看起来像丢包”配图

路径检查可以用少量探测包辅助判断,但不要把某个中间路由节点“不回 ICMP”直接认定为业务丢包。只有目标端的失败或延迟也同步出现,并且与业务时间、来源范围相符,路径证据才更有分量。服务器本地、目标服务与受影响客户端三侧的观测,比单侧的一张路由图更可靠。

网卡与链路:物理错误是否同步增长

回到服务器接口,重点看物理错误是否与症状同一时段增加。CRC、帧校验或载波相关错误持续上升,可能涉及线缆、光模块、交换机端口、协商状态或网卡本身;链路反复上下线还应对照系统日志:

journalctl -k --since "30 minutes ago" |
  grep -Ei 'eno1|link up|link down|reset|timeout|firmware'

日志读取可能受权限限制;没有匹配日志也不能排除链路问题。ethtool eno1 可核对当前速率和双工状态,但服务器显示“Link detected: yes”只说明检查当下链路建立,不说明此前没有短暂中断。

定位网卡还是相邻链路,需要双端证据。若服务器 RX 侧 CRC 增加,可请机房或网络维护方核对其相邻交换机端口的发送、错误和链路事件;若服务器 TX 异常,也应核对对端接收侧。只有一端可见时,宜表述为“物理层或相邻链路嫌疑较高”,而不是直接宣布网卡损坏。更换线缆、光模块、端口或网卡属于有中断风险的验证,应在确认接口映射和业务冗余后,由具备端口权限的人员安排维护窗口,逐项替换并保留回退路径。

网卡与链路:物理错误是否同步增长配图

围绕独立服务器的网络与系统资源部署,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,涵盖不同CPU、内存、存储和线路配置。香港及美国部分方案提供CN2线路,日本产品则有多种线路选择;结合NVMe存储、不同带宽和计算平台,可承载网站、业务后台、数据库及接口服务等场景,为不同地区的业务部署提供服务器资源基础。

系统处理:包到了服务器,是否来不及处理

如果物理错误不增长,而 RX dropped 只在流量峰值上升,应查看系统是否及时处理接收队列。以下检查仍以只读操作为主:

ss -s
top -H -b -n 1
cat /proc/interrupts
cat /proc/net/softnet_stat
ethtool -l eno1
ethtool -g eno1

/proc/net/softnet_stat 是按 CPU 输出的十六进制统计,字段含义应结合所用内核版本核对,不宜看到非零值就直接下结论。若其丢弃或处理预算相关计数在故障窗口增长,同时某些 CPU 的软中断压力明显偏高,才有理由进一步检查中断分布、接收队列数量及流量是否集中。环形缓冲区的当前值与上限也只是分析线索,不能据此盲目调大。

系统处理:包到了服务器,是否来不及处理配图

发送方向同理:TX dropped 增长时,要查出口是否拥塞、队列是否积压、整形策略及上层发送速率。CPU 空闲并不保证没有处理瓶颈,因为瓶颈可能集中在少数核心或队列。驱动、固件、内核版本及错误日志也应一并核对;更新驱动、调整队列或关闭网卡特性都可能造成中断或性能变化,不应作为尚未定位原因时的试错步骤。确需修改时,应先备份原参数、确认远程带外管理可用,限定维护范围,并准备恢复原参数或回退版本的方法。

服务与应用:网络正常不代表请求正常

计数增长未必解释每一次业务超时。若多个来源的 TCP 建连稳定,网卡与系统计数也无对应异常,但首字节耗时增加,应检查服务进程是否正常监听、连接或请求队列是否积压,以及应用日志中是否存在超时。数据库、存储或其他后端依赖变慢,同样会表现为页面响应慢。

反过来,不能因应用日志有超时就忽略网络:应用调用下游服务时也可能受到路径问题影响。应对齐同一请求的时间戳,区分“连接下游之前就等待很久”“连接失败”与“下游已接收但处理缓慢”,再决定继续查网络还是服务处理链。

定位根因:用相互印证的证据收窄范围

排查结果应能同时解释发生时间、影响范围和计数变化。例如,某接口只在入站高峰出现丢弃,CRC 等物理错误不增长,接收队列相关计数和软中断压力同步上升,而其他业务低峰时恢复,这更支持系统接收处理瓶颈;仍需进一步确认是否由流量突增、队列分布或驱动异常引起。

另一种情况是业务抖动时 CRC 与链路重建日志同步出现,机房相邻端口也记录对应错误。此时物理链路方向的证据较强,再通过受控的端口或部件替换确定具体故障件。若只有特定地区按域名访问慢,服务器各项接口计数平稳,而 DNS 或该来源的连接耗时异常,则不应因为服务器上存在历史 RX dropped 就判定网卡故障。

根因表述应与证据精度一致:能确认“服务器接收处理能力在峰值不足”,不代表已经确认是哪一个队列参数造成;能确认“相邻物理链路异常”,也不代表已经分清线缆、模块和端口。

验证恢复,并留下复发监控点

处理后要在与故障时可比的来源、业务请求和负载条件下复测,而不是只看到计数暂时不动就宣布恢复。至少核对三个结果:受影响请求的失败率和各阶段耗时是否回到正常范围;目标物理口及上层接口的错误、丢弃增量是否停止异常增长;系统负载、队列和日志是否仍有对应告警。若处理措施涉及端口切换或参数变更,还要确认业务确实经过了预期接口,没有把流量转移后遗漏新路径的问题。

日常监控宜保留按接口、方向和时间窗口统计的 errors、dropped、物理错误项,以及链路上下线事件;同时关联吞吐量、每秒包数、CPU/软中断、TCP 重传和应用请求耗时。告警阈值应参考该业务平时的峰谷变化,并同时看绝对增量与比例:低流量时少量丢弃可能形成很高比例,高流量时较低比例也可能影响大量请求。复发时保留同一时间段的双端计数和业务时间线,才能比单独截取一个不断增长的数字更快找到故障所在层级。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8002.html

相关推荐