Linux网卡链路抖动怎么排查?如何区分驱动、网线与交换机问题

发布人:A5数据发布时间:2026-11-06 10:43阅读量:90

Linux 主机出现网卡链路抖动时,最明显的表现是网卡反复在 Link is Up 与 Link is Down 之间切换,业务可能伴随连接中断、丢包、SSH 卡顿或集群节点短暂失联。排查不能只看 Linux 日志:网线、光模块、网卡端口、驱动与固件、交换机端口,甚至网络配置和应用超时,都可能造成相似现象。

区分故障归属的关键,是把“链路是否真的掉了”和“链路仍然正常但业务通信异常”分开,再用时间戳、网卡计数器、交换机端口计数器和替换测试互相印证。只有当故障现象能够跟随某个组件移动,或在多个独立证据中指向同一层级,才适合判定为驱动、网线或交换机问题。

先确认:抖动是物理链路变化,还是上层丢包配图

先确认:抖动是物理链路变化,还是上层丢包

Linux 中的 carrier 状态可以反映网卡是否感知到物理链路,但它不能单独证明故障来自某个具体部件。先确认接口名称,避免把管理口、业务口或虚拟接口混在一起:

ip -br link

假设业务接口为 eth0,查看当前链路状态、协商速率和双工模式:

ip -details link show dev eth0
ethtool eth0
cat /sys/class/net/eth0/carrier

典型的示例输出可能如下,以下仅用于说明判断方式,并不代表实际环境已经执行过检查:

Settings for eth0:
        Speed: 10000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Link detected: yes

如果 Link detected 在故障发生时变为 no,并且内核日志同时出现链路上下线记录,可以优先沿着物理路径、网卡硬件、驱动和交换机端口排查。如果 Link detected 始终为 yes,但业务仍然超时,则不能直接称为“网卡链路抖动”,还要检查 VLAN、MTU、路由、丢包、连接跟踪、服务线程和应用自身的超时机制。

实时观察链路事件:

ip -ts monitor link dev eth0

在另一个终端查看内核日志:

sudo journalctl -k -f -o short-iso

部分发行版也可以使用:

sudo dmesg -Tw

示例日志:

2025-01-15T10:21:03+0800 kernel: ixgbe 0000:18:00.0 eth0: NIC Link is Down
2025-01-15T10:21:05+0800 kernel: ixgbe 0000:18:00.0 eth0: NIC Link is Up 10 Gbps Full Duplex

两次事件相差约两秒,只能说明网卡报告过一次链路变化,不能据此断定是驱动故障。还需要结合交换机端口日志、错误计数器和替换测试。

建立原因树:按故障所在层级拆分

可以把原因分成四层。每层的证据不同,交接对象也不同。

层级常见原因主要观察依据下一步交接或验证对象
物理链路网线、光纤、光模块、网卡接口松动或损坏CRC、FCS、丢光、端口上下线、carrier 变化现场运维、机房或网络团队
交换网络交换机端口异常、端口配置、LACP成员变化、端口安全策略交换机端口日志、接口错误和 flap 记录网络团队或IDC网络支持
主机系统驱动、固件、PCIe链路、电源管理、内核兼容性journalctl、ethtool -i、PCIe AER、网卡统计Linux系统或硬件支持
网络服务与应用VLAN、桥接、Bond、MTU、路由、服务连接池、应用超时ip、路由、抓包、服务日志、业务指标系统、网络服务或应用团队

这里的“交换机问题”也不能泛化为所有链路异常。例如,交换机端口的 input errors 或 FCS 错误,可能是上游网线、光模块或主机网卡发出的异常帧;端口出现丢包计数,则可能是队列拥塞,未必是物理端口损坏。

收集证据:先固定时间线,再做替换

排查前应记录故障发生时间、受影响接口、业务影响范围和最近变更。时间最好统一到带时区的格式:

date --iso-8601=seconds
timedatectl status
hostnamectl
uname -a

同时保存接口基本信息:

IF=eth0

ip -br addr show dev "$IF"
ip -details link show dev "$IF"
ip -s link show dev "$IF"
ethtool "$IF"
ethtool -i "$IF"
ethtool -k "$IF"
ethtool -c "$IF" 2>/dev/null || true
ethtool -S "$IF" 2>/dev/null || true

ethtool -S 的统计名称由网卡驱动决定,不同厂商可能使用 rx_crc_errors、rx_fcs_errors、rx_missed_errors、tx_timeout、link_down_events 等不同字段。不要因为某个字段不存在就判定网卡没有错误,应先查看完整输出。

查看设备、驱动和PCIe信息:

lspci -nnk | grep -A4 -i -E 'ethernet|network'
sudo journalctl -k --since "30 min ago" | grep -i -E 'eth0|link|firmware|pci|aer|reset|timeout'

如果网卡通过 PCIe 连接,日志中出现 AER、Bus error、Completion Timeout、设备反复 reset 等信息,排查范围就不应停留在网线。此时还要检查主板插槽、PCIe链路、电源稳定性和固件兼容性。

建议保存一次故障前后的计数器,而不是只截取单个瞬时值。可以使用间隔采样观察增量:

watch -n 2 'date "+%F %T"; ip -s link show dev eth0; ethtool -S eth0 2>/dev/null | grep -Ei "crc|fcs|drop|error|miss|timeout|reset|link"'

计数器本身是累计值,关键是看故障期间哪些字段持续增加。例如:

  • rx_crc_errors、rx_fcs_errors 增加,通常应优先检查物理链路、光模块、网线、端口和网卡收发器。
  • rx_dropped 增加,可能是内核队列、驱动、环形缓冲区、协议栈或拥塞,不能直接等同于网线故障。
  • tx_timeout、设备 reset 或发送队列卡死,更需要关注驱动、固件、PCIe和网卡硬件。
  • 只有交换机端口的出方向丢包增加,而主机没有 carrier 变化,可能是端口队列拥塞或流量突发。

先排查网线、光模块与交换机端口

用单变量替换判断故障是否跟随

最有效的物理层验证不是反复重启,而是一次只改变一个变量。可按以下顺序进行:

  1. 记录当前网卡端口、交换机端口、链路速率、双工模式和计数器。
  2. 更换同规格、已知正常的网线;光纤链路则更换对应规格的光模块或跳纤。
  3. 如果条件允许,把服务器接到交换机的另一个已知正常端口。
  4. 将同一根线和同一交换机端口接入另一台已知正常的设备。
  5. 每次替换后保留足够的观察时间,并记录是否仍出现 carrier 变化和错误计数器增长。

判断逻辑如下:

测试结果更可能的归属仍需排除
更换网线后恢复,故障跟随原网线网线、跳纤或接头接口松动、弯折半径、光模块
更换交换机端口后恢复,故障跟随原端口交换机端口、端口配置或端口硬件原端口连接的对端设备
同一端口和网线接另一台设备也抖动交换机端口或链路侧上联、端口模块、交换机硬件
故障始终跟随同一台服务器或同一块网卡网卡、驱动、固件、PCIe或主机供电该服务器的配置和负载
多台服务器在同一时间抖动交换机、上联、机房供电或网络变更共同的链路和业务依赖

替换测试应尽量避免同时更换网线、端口和驱动,否则即使问题消失,也无法知道是哪一项起作用。

获取交换机侧的对应证据

需要网络团队提供与服务器时间一致的端口信息,至少包括:

  • 端口的 link up/down 或 flap 日志;
  • 当前协商速率、双工、自动协商和流控状态;
  • 输入错误、FCS、CRC、丢包、队列丢弃和输出错误计数;
  • 光模块的收发光功率、温度、告警和兼容性状态;
  • 如果使用聚合,LACP成员是否发生退出、重新加入或状态变化;
  • 端口是否发生过配置变更、速率锁定、端口安全限制或错误关闭。

不同厂商的命令并不通用,不能直接把某个品牌的 show interface 命令当作所有交换机的标准命令。网络团队应使用对应设备的端口诊断命令,并提供原始输出或脱敏后的关键字段。

如果交换机记录的是“loss of signal”“remote fault”或端口检测不到对端,物理链路的可能性较高;如果交换机端口始终是 up,但出现大量队列丢弃,则重点应转向拥塞、突发流量、带宽配置和上联路径。

判断驱动、固件和网卡硬件问题

查看当前驱动、固件和总线信息:

ethtool -i eth0

示例:

driver: ixgbe
version: 6.8.0-31-generic
firmware-version: 0x80001f5d
bus-info: 0000:18:00.0

这类输出只是判断入口,不表示版本一定存在问题。驱动归属应结合以下证据:

  • 同型号网卡、同版本内核的其他主机是否正常;
  • 故障是否只发生在某个内核版本或升级后;
  • 日志是否出现 firmware error、TX timeout、reset adapter、DMA error;
  • 网卡统计中是否有硬件异常、队列停止或收发中断异常;
  • 把网卡放到另一台主机后,故障是否仍然跟随该卡。

如果只有某台服务器出现问题,且故障跟随网卡或 PCIe 插槽,硬件支持或IDC现场人员应参与处理。如果更换网卡后问题消失,但原网卡在其他环境也正常,则还要检查主机插槽、BIOS、PCIe电源管理和固件设置,不能立即把原网卡定性为损坏。

驱动或固件升级属于有中断风险的变更。执行前应:

  • 确认厂商支持的网卡型号、内核版本和升级包;
  • 通过带外管理或控制台保留恢复路径;
  • 记录现有驱动、固件和网络配置;
  • 选择维护窗口,确认业务有冗余或可迁移;
  • 提前准备旧版本驱动或固件的回退方案。

不要在没有证据时直接卸载驱动、替换内核或强制重置网卡。此类操作可能使远程主机失联,也可能让原始故障现场消失。

区分网络配置、系统服务与应用问题

当 carrier 持续为 yes,交换机也没有端口 flap 时,应检查主机网络服务和协议栈,而不是继续更换网线。

先确认地址、路由、邻居和接口统计:

ip addr show dev eth0
ip route show
ip neigh show dev eth0
ip -s link show dev eth0

如果系统使用 NetworkManager:

systemctl is-active NetworkManager
nmcli device status
nmcli connection show
sudo journalctl -u NetworkManager --since "30 min ago"

如果系统使用 systemd-networkd:

systemctl is-active systemd-networkd
networkctl status eth0
sudo journalctl -u systemd-networkd --since "30 min ago"

不要假设两套网络管理服务同时负责同一个接口。重复管理可能造成地址、默认路由、MTU或链路配置被反复覆盖。

还要确认业务接口是否属于 Bond、Bridge、VLAN 或虚拟化网络:

ip -d link show
ls -l /proc/net/bonding/ 2>/dev/null
cat /proc/net/bonding/bond0 2>/dev/null
bridge link 2>/dev/null

例如,物理接口没有掉链,但 Bond 成员可能因监测策略被标记为失效;桥接或VLAN配置错误则可能表现为部分业务不可达。此时应查看 Bond 的成员状态、监测方式、交换机LACP状态以及VLAN两端配置是否一致。

MTU问题也容易被误判为链路抖动。小包 ping 正常而大报文、特定应用或跨网段传输失败时,应检查端到端MTU和路径,而不是只看网卡的 Link detected。测试时必须使用与网络路径相容的参数,避免在生产环境发送大量探测包。

如果需要抓包,应限定接口、时间和流量范围,并注意可能包含账号、业务数据或内网地址:

sudo timeout 60 tcpdump -i eth0 -nn -s 128 -w /tmp/eth0-check.pcap 'host 192.0.2.10'

抓包文件应按安全要求保存和传递,排查完成后按组织规定清理。若抓包显示TCP连接没有断链,但应用持续等待,重点应交给应用团队检查连接池、线程池、重试策略、DNS、数据库连接或上游服务,而不是继续认定为网卡问题。

一个可复用的判断案例

某服务器报告“每隔几分钟网络闪断”。排查时可以按以下证据链推进:

  1. ip monitor link 发现 eth0 确实出现 DOWN/UP。
  2. journalctl -k 在同一秒记录 NIC Link is Down。
  3. 主机 ethtool -S 没有明显增加的驱动 reset,但交换机端口日志记录了相同时间的 loss of signal。
  4. 更换服务器到交换机的跳纤后,连续观察期间不再出现链路切换。
  5. 交换机端口和服务器端的CRC/FCS计数器停止增长。

这组证据更支持跳纤或光模块链路问题,而不是Linux应用问题。

另一个场景中,主机日志没有链路上下线,交换机端口也持续 up,但应用请求间歇性超时;同时交换机出方向队列丢弃持续增加,主机接口没有CRC错误。这时更接近流量拥塞或队列配置问题,应由网络团队结合带宽、突发流量和上联路径继续处理。

如果主机日志出现 tx_timeout 和网卡 reset,交换机没有物理错误,且更换同规格网线和交换机端口后问题仍跟随该服务器,则应由系统、硬件或网卡厂商共同确认驱动、固件、PCIe和设备状态。

服务边界:把证据交给正确的对象

故障交接时,建议不要只写“网络不稳定”,而是说明现象、时间和已经排除的范围。

Linux系统或服务器团队负责确认

  • 接口是否发生 carrier 变化;
  • 驱动、固件、内核和PCIe日志;
  • 网卡收发错误、丢包、超时和reset计数;
  • NetworkManager、systemd-networkd、Bond、Bridge、VLAN等配置;
  • 最近的内核、驱动、固件或网络配置变更。

网络团队或IDC网络支持负责确认

  • 服务器对应交换机端口的上下线记录;
  • 端口FCS、CRC、队列丢弃和协商状态;
  • 光模块、跳纤、配线架和上联链路;
  • LACP、VLAN、端口安全和交换机侧配置;
  • 同时段其他端口或同一机柜是否有共同异常。

应用团队负责确认

  • 请求超时、连接重置和重试次数;
  • 连接池、线程池和上游依赖;
  • 应用是否只在大报文、长连接或高并发场景失败;
  • 业务错误发生时间是否与网络事件一致。

一份有效的交接信息至少应包含:主机名、接口名、机房或机柜、交换机和端口、故障起止时间及时间区、链路速率、内核和驱动版本、关键日志、计数器变化、已做的替换测试,以及业务影响范围。

修复后的验证不能只看“恢复上线”

更换网线或切换端口后,至少要同时验证四项:

  1. ip monitor link 在观察期间不再出现异常上下线。
  2. ethtool 显示的速率、双工和自动协商状态符合设计。
  3. CRC、FCS、超时、reset和丢包计数器在相同流量条件下不再异常增长。
  4. 业务侧连接成功率、请求延迟、错误率和长连接稳定性恢复。

观察时间不宜固定为一个适用于所有场景的数字。低流量接口需要覆盖正常业务高峰或已知故障周期;高流量服务则应在安全范围内进行持续观察。若使用网络压测,应先确认业务冗余、带宽上限和压测授权,避免把验证变成新的拥塞。

不要仅以一次 ping 成功作为恢复依据。ping 只能说明特定大小的ICMP报文在特定时间可达,不能验证TCP连接、应用协议、VLAN路径或高并发下的队列行为。

复发监控点

恢复后应保留可按接口和交换机端口关联的监控项:

  • 链路上下线次数和最近一次变化时间;
  • 协商速率、双工、自动协商状态;
  • CRC、FCS、输入错误、输出错误和丢包计数;
  • 网卡驱动报告的超时、reset、队列异常;
  • 交换机端口的端口 flap、光功率和队列丢弃;
  • 业务请求错误率、连接重置、超时和延迟分位数。

告警阈值应以设备基线和业务容忍度为依据。对于累计计数器,通常应监控单位时间内的增量,而不是只设一个绝对值。链路在短时间内反复上下线时,即使单次持续时间很短,也应触发事件并保留前后几分钟的主机与交换机日志。这样下一次出现相同问题时,才能快速判断它究竟是物理链路、交换机端口、驱动硬件,还是系统配置和应用层的独立故障。

围绕Linux服务器的业务部署与网络需求,A5idc数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖不同CPU、内存及SSD、NVMe存储配置;部分地区还提供CN2或国际带宽线路方案。这些主机与网络资源可用于承载网站、接口和数据库等业务,支持按访问区域与负载需求规划部署。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7840.html

相关推荐