Linux网卡链路反复抖动,如何结合接口状态、驱动日志与交换机信息排查

发布人:A5数据发布时间:2026-10-25 10:06阅读量:130

Linux 网卡链路反复抖动时,不能仅凭“网络延迟升高”或一次 ping 丢包就判断网卡故障。先要确认内核看到的接口是否真的发生了 carrier 上下线,再把主机驱动日志、网卡统计、交换机端口事件和业务响应时间放到同一条时间线上,才能区分物理链路问题、驱动重置、交换机端口异常、路由或 DNS 延迟,以及服务器负载导致的处理不及时。

排查顺序建议遵循“确认症状 → 建立原因树 → 由低风险到高风险逐层排除 → 固定根因 → 验证恢复”。其中,接口状态负责回答“链路是否掉过”,驱动日志负责回答“网卡或内核做了什么”,交换机信息负责回答“对端端口是否同时观察到异常”,DNS、路由、丢包和应用指标则用于判断影响是否已经传递到业务层。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务及多任务计算场景。不同地区可提供相应的CN2、国际或本地线路选择,并结合Xeon、AMD EPYC、NVMe存储、不同带宽和多IP配置,为需要持续关注接口状态、网络路径与主机负载的业务提供清晰的部署基础。

1. 先确认链路抖动是否真实发生

区分链路抖动、丢包和应用延迟

Linux 中常见的几个状态并不等价:

  • admin UP:接口被管理员启用。
  • operstate UP:内核认为接口处于可工作状态。
  • carrier 1:网卡检测到了物理载波或虚拟链路。
  • Link is Down/Up:内核或驱动记录了链路下线、上线事件。
  • ping 丢包:只能说明探测报文没有按预期返回,不能单独证明网卡链路断开。
  • 应用响应变慢:可能来自 DNS、TCP 建连、服务器 CPU、线程池或后端服务,不一定与网卡有关。

先替换为实际接口名,例如 ens160、enp1s0 或 eth0:

IF=ens160

ip -details link show dev "$IF"
ip -s link show dev "$IF"
cat /sys/class/net/"$IF"/operstate
cat /sys/class/net/"$IF"/carrier
ethtool "$IF"

重点观察以下内容:

  • state UP 但 carrier 在 0 和 1 之间变化,通常说明链路层确实在反复断开和恢复。
  • 接口始终为 UP,但 rx_errors、rx_dropped、tx_errors 持续增加,问题可能在网卡队列、驱动、CPU 软中断或上游网络,而不是物理链路。
  • 速率和双工状态反复变化,常见于自动协商不稳定、网线或光模块异常、交换机端口配置不一致。
  • 只有业务请求变慢,没有接口状态变化,应继续检查 DNS、路由、丢包、主机负载和应用本身。

需要观察变化时,可以使用只读命令持续查看:

ip -ts monitor link

另开一个终端查看累计统计:

watch -n 1 'ip -s link show dev ens160'

ip -ts monitor link 会输出接口状态变化,结束观察时使用 Ctrl+C。如果服务器通过远程 SSH 管理,不要在没有带外控制台或备用通道的情况下贸然重启网络服务。

从内核日志建立时间线

接口状态变化必须与内核日志对应起来。不同驱动的日志格式并不完全相同,常见关键词包括 Link is Down、Link is Up、reset adapter、tx timeout、NETDEV WATCHDOG、AER 和 firmware。

journalctl -k -b -o short-precise | \
  grep -Ei 'link (is )?(down|up)|carrier|reset|timeout|watchdog|aer|firmware|error'

如果只关注最近一小时:

journalctl -k --since "1 hour ago" -o short-precise

还要检查网络管理服务是否在反复重新配置接口。服务器使用哪种服务,应先确认,不要直接猜测:

systemctl is-active NetworkManager
systemctl is-active systemd-networkd

根据实际启用的服务查看日志:

journalctl -u NetworkManager --since "1 hour ago"
journalctl -u systemd-networkd --since "1 hour ago"

如果日志显示物理链路已经掉线,网络管理服务的重连日志通常只是结果,不是根因;如果没有 Link Down,却频繁出现 DHCP、地址刷新或连接配置变更,则应检查网络管理配置、重复管理接口或虚拟化层。

2. 建立故障原因树

将现象按网络、系统、服务和应用层拆分,可以避免把所有延迟都归结为网卡故障。

分支典型观察依据下一步检查
物理链路和交换机主机出现 Link Down/Up,交换机同一端口也有链路切换网线、光模块、交换机端口、自动协商和端口错误计数
网卡驱动、固件和内核交换机没有链路切换,主机出现驱动 reset、TX timeout 或 PCIe 错误驱动版本、固件、内核、PCIe 日志和网卡统计
路由和上游网络本地网关稳定,但远端地址丢包或延迟升高路由表、网关、路径变化和上游设备
DNS访问域名慢,直接访问已知 IP 正常,接口无掉线DNS 服务器、解析耗时、超时和返回地址
主机资源高负载时丢包或延迟增加,伴随软中断、队列或内存压力CPU、软中断、IRQ、网卡 ring、内核丢包
应用服务网络探测正常,但 TCP 建连、首字节或业务处理耗时升高ss、服务日志、连接池、线程池和后端依赖

这棵原因树的关键在于“观察结果决定下一步”。例如,网关 ping 丢包并不能直接证明网卡坏了;如果同时没有 carrier 变化,且交换机端口没有事件,就应优先排除主机处理能力或上游网络。

3. 先查本机网卡、驱动和统计信息

查看驱动、固件与接口能力

IF=ens160

ethtool -i "$IF"
ethtool "$IF"
uname -r
lspci -nnk | grep -A 3 -Ei 'ethernet|network'

ethtool -i 通常可以看到驱动名、驱动版本、固件版本和总线信息。需要注意,固件字段显示为空不一定代表故障,是否异常要结合网卡型号、发行版和厂商支持矩阵判断。

检查网卡统计时,不同驱动的字段名可能不同:

ethtool -S "$IF" | \
  grep -Ei 'err|drop|crc|miss|timeout|carrier|reset|fifo|overrun'

重点关注:

  • rx_crc_errors、rx_fcs_errors:接收帧校验异常,常与线缆、光模块、端口或物理介质有关。
  • rx_missed_errors、rx_no_buffer:主机来不及接收或接收队列不足。
  • tx_timeout、tx_queue、reset:发送队列、驱动或设备状态异常。
  • carrier_changes:部分驱动会记录载波变化次数,但并非所有网卡都提供该字段。
  • dropped:需要结合是硬件、内核、协议栈还是应用层丢弃,不能只看一个总数。

如果是单次短暂故障,应先保存当前统计和日志,再进行任何重启或更换操作,因为网卡计数器通常是累计值,重置设备后原始证据可能消失。

检查物理参数和交换机端口

在交换机侧,需要让网络设备管理员核对与服务器相连的端口。不同厂商命令格式差异较大,但需要采集的字段基本一致:

  • 管理状态和运行状态;
  • 链路切换次数及最近发生时间;
  • 协商速率和双工模式;
  • CRC、FCS、输入错误、丢弃、短帧和超长帧;
  • 端口是否进入错误禁用状态;
  • STP、LACP 或端口安全策略是否触发;
  • 光模块支持时的温度、收发光功率和告警;
  • 服务器 MAC 地址是否在多个端口之间移动。

交换机命令可能叫作“查看接口状态”“查看接口详细信息”“查看日志”等,不能把某一厂商的命令直接复制到所有设备。可以让网络侧提供类似下面的事件记录。以下仅为模拟示例:

10:12:03 port 1/0/12 link down
10:12:05 port 1/0/12 link up, speed 1000, duplex full
10:12:07 port 1/0/12 link down
10:12:09 port 1/0/12 link up, speed 1000, duplex full

若主机日志和交换机日志在秒级时间上同时出现 down/up,并且交换机端口的 CRC 或 FCS 计数同步增加,应优先检查网线、光模块、配线架和交换机端口。若只有主机日志变化,交换机端口始终稳定,则驱动、固件、PCIe 总线、虚拟化层或主机内部网络配置的优先级更高。

3. 先查本机网卡、驱动和统计信息/检查物理参数和交换机端口配图

更换线缆、光模块或交换机端口时,应一次只改变一个变量,并记录变更前后的端口、时间和计数器。如果服务器只有一条远程管理链路,操作前应准备带外控制台;更换端口或重新协商可能造成短暂中断。

4. 按层排除网络延迟来源

本地网关与远端地址

先选定一个明确的本地网关和业务侧 IP,不要只使用域名。示例中的地址需要替换为实际环境:

GW=$(ip route show default | awk 'NR==1 {print $3}')
TARGET_IP=203.0.113.10

ping -c 100 -i 0.2 "$GW"
ping -c 100 -i 0.2 "$TARGET_IP"
tracepath -n "$TARGET_IP"

判断方式如下:

  • 本地网关就丢包或延迟突增:优先检查服务器接口、交换机接入端口、VLAN、网卡队列和本地二层网络。
  • 网关稳定、远端 IP 丢包:继续检查路由、出口链路和中间设备。tracepath 中某一跳不响应 ICMP,不一定表示真实转发丢包,因为设备可能限制探测报文。
  • IP 访问正常、域名访问变慢:转向 DNS 检查。
  • 网关和远端 IP 都稳定,但业务仍慢:继续检查 TCP 建连、服务端处理和后端依赖。

探测频率应适中,避免在生产网络中使用高频或洪泛式测试。100 个报文只适合形成一次参考样本,不能代替持续监控。

DNS 解析耗时

DNS 延迟通常不会导致网卡出现 Link Down,但会明显拉高用户首次访问时间。使用系统实际的解析路径进行检查:

resolvectl status
resolvectl statistics
resolvectl query example.com

如果系统没有 resolvectl,可根据实际环境使用 dig 或发行版提供的 DNS 工具。需要分别记录:

  • DNS 服务器地址;
  • 查询是否超时;
  • 同一域名连续查询是否稳定;
  • 直接访问 IP 与访问域名的差异;
  • IPv4 和 IPv6 是否存在不同表现。

路由、丢包与 TCP 连接

查看默认路由和接口归属:

ip route
ip rule
ip route get 203.0.113.10
ss -s

如果出现大量 TCP 重传、连接建立缓慢或连接数接近服务上限,不能仅凭接口状态判断为链路抖动。可以在应用允许的情况下记录 HTTP 分段耗时:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup} connect=%{time_connect} starttransfer=%{time_starttransfer} total=%{time_total}\n' \
  https://example.com/health

这里的 dns 代表解析阶段,connect 反映 TCP 建连完成时间,starttransfer 包含服务端开始返回数据前的处理,total 是整体耗时。若只有 dns 增大,应查 DNS;若 connect 增大,应查路径、丢包、防火墙或服务监听;若 starttransfer 增大而网络探测正常,应重点看应用和后端处理。

4. 按层排除网络延迟来源/路由、丢包与TCP连接配图

5. 排除服务器负载和虚拟化因素

高 CPU、软中断拥塞或接收队列不足,可能造成丢包和延迟,但不一定触发物理链路下线。

uptime
mpstat -P ALL 1 5
vmstat 1 5
cat /proc/interrupts | grep -Ei 'ens160|eth|mlx|ixgbe|i40e|igc'

重点观察:

  • 单个 CPU 核心的软中断是否长期偏高;
  • 网卡 IRQ 是否集中在一个忙碌核心;
  • rx_missed_errors 或 rx_no_buffer 是否只在高峰期增加;
  • 进程、内存回收、IO 等待是否同时升高;
  • 宿主机或虚拟化平台是否报告 vNIC reset、虚拟交换机拥塞或迁移事件。

如果接口是 bond、bridge、VLAN 或虚拟网卡,还要检查逻辑层状态:

cat /proc/net/bonding/bond0
bridge link
bridge vlan show

对于 bond 或 LACP,单个从接口的链路切换可能被聚合层隐藏;此时必须分别核对每个物理成员和交换机端口。云主机或虚拟机无法直接查看物理交换机时,应把主机日志中的 vNIC 事件、实例所在宿主机事件和云平台网络事件进行关联。

5. 排除服务器负载和虚拟化因素配图

6. 用多项证据固定根因

下面是几类常见的证据组合。日志和输出均为示例,不代表某个实际环境已经执行过检查。

物理介质或交换机端口异常

主机:10:12:03 ixgbe 0000:03:00.0: NIC Link is Down
主机:10:12:05 ixgbe 0000:03:00.0: NIC Link is Up 1000 Mbps Full Duplex
交换机:10:12:03 port 1/0/12 link down
交换机:CRC/FCS errors 在同一时间段持续增加

这种组合将排查重点放在线缆、光模块、配线、交换机端口和两端协商参数。可以先更换已知正常的线缆,再观察同一端口;如果问题随线缆移动,线缆或模块的可能性上升;如果问题固定在交换机端口,应检查端口硬件和配置。

驱动、固件或 PCIe 设备重置

主机:NETDEV WATCHDOG: ens160 transmit queue 0 timed out
主机:driver reset adapter
主机:AER: Corrected error received
交换机:端口没有 link down/up 记录

此时物理链路没有被交换机观察到,但网卡在主机侧发生了发送超时或设备重置。应保留 ethtool -i、内核版本、PCIe 日志和网卡统计,核对驱动与固件兼容性,再在维护窗口中进行升级或回退。升级前要准备旧内核、旧驱动或带外恢复方式,避免远程升级后无法联网。

链路稳定但 DNS 或路由异常

主机:carrier 始终为 1,无 Link Down/Up
网关:100 个探测包无丢失,延迟稳定
远端 IP:出现间歇性丢包
域名:解析耗时偶发升高

这种结果不支持“网卡物理链路抖动”的结论,应分别测试 DNS 服务器、默认路由、出口设备和远端路径。若更换 DNS 后只有域名访问恢复,根因更接近解析服务;若 IP 也丢包,则继续检查上游网络。

高负载导致接收处理不及时

carrier:持续为 1
rx_missed_errors:业务高峰期间持续增加
softirq:某个 CPU 核心长期接近满载
应用:TCP 重传和请求排队同时增加

这种情况应从 IRQ 分布、接收队列、RSS/RPS、CPU 亲和性和应用并发控制入手。调整队列或中断绑定属于性能配置变更,必须先保存当前值、明确回滚方式,并在业务低峰验证,不能为了消除丢包而盲目增大所有参数。

7. 变更后的恢复验证

定位出疑似根因后,不要只以“日志暂时不再出现”作为恢复标准。建议记录变更前后的状态和计数器差值:

IF=ens160

date -Ins
ethtool "$IF"
ip -s link show dev "$IF"
ethtool -S "$IF" | grep -Ei 'err|drop|crc|miss|timeout|carrier|reset'
journalctl -k --since "10 minutes ago" -o short-precise

验证至少覆盖以下方面:

  1. 接口在观察窗口内没有新的 carrier 切换或驱动 reset。
  2. 交换机端口没有新增链路切换、CRC/FCS 错误或异常丢弃。
  3. 协商速率和双工模式符合设计值,且没有反复变化。
  4. 本地网关探测稳定,远端业务 IP 的丢包和延迟回到既有基线。
  5. DNS 解析时间恢复,应用的 TCP 建连、首字节和总响应时间没有异常增长。
  6. 业务高峰期没有持续增加的接收队列丢包、软中断拥塞或 TCP 重传。

“观察窗口”应覆盖一次业务高峰和故障通常出现的时间段。固定链路问题后,可以先观察数小时,再根据故障频率决定是否延长到一个完整业务周期。验证过程中不要清零统计数据,使用变更前后的差值更容易判断问题是否真正消失。

8. 设置可复发的监控点

为了避免下一次只能依靠人工登录服务器,建议同时监控主机、交换机和应用三类指标:

  • 主机接口 operstate、carrier 和链路切换次数;
  • 驱动 reset、NETDEV WATCHDOG、TX timeout、PCIe AER 和固件告警;
  • rx_crc_errors、rx_missed_errors、rx_dropped、tx_errors 等网卡计数;
  • 交换机端口的 link transition、CRC/FCS、丢弃、错误禁用和协商速率;
  • 服务器到本地网关的延迟和丢包;
  • DNS 解析耗时与超时次数;
  • TCP 重传、连接建立耗时和应用首字节时间;
  • CPU 软中断、IRQ 分布、负载和内存压力。

监控系统应保存事件发生的精确时间,并尽量保持主机、交换机和监控平台的时钟同步。告警关联时,可以把“接口掉线”“交换机端口 flap”“CRC 增长”和“应用延迟升高”合并到同一故障时间线中;这样既能减少重复告警,也能在链路没有真正掉线时及时把排查方向转向 DNS、路由、主机负载或应用响应。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5648.html

相关推荐