Linux网卡链路反复抖动,如何结合接口状态、驱动日志与交换机信息排查
Linux 网卡链路反复抖动时,不能仅凭“网络延迟升高”或一次 ping 丢包就判断网卡故障。先要确认内核看到的接口是否真的发生了 carrier 上下线,再把主机驱动日志、网卡统计、交换机端口事件和业务响应时间放到同一条时间线上,才能区分物理链路问题、驱动重置、交换机端口异常、路由或 DNS 延迟,以及服务器负载导致的处理不及时。
排查顺序建议遵循“确认症状 → 建立原因树 → 由低风险到高风险逐层排除 → 固定根因 → 验证恢复”。其中,接口状态负责回答“链路是否掉过”,驱动日志负责回答“网卡或内核做了什么”,交换机信息负责回答“对端端口是否同时观察到异常”,DNS、路由、丢包和应用指标则用于判断影响是否已经传递到业务层。
A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务及多任务计算场景。不同地区可提供相应的CN2、国际或本地线路选择,并结合Xeon、AMD EPYC、NVMe存储、不同带宽和多IP配置,为需要持续关注接口状态、网络路径与主机负载的业务提供清晰的部署基础。
1. 先确认链路抖动是否真实发生
区分链路抖动、丢包和应用延迟
Linux 中常见的几个状态并不等价:
admin UP:接口被管理员启用。operstate UP:内核认为接口处于可工作状态。carrier 1:网卡检测到了物理载波或虚拟链路。Link is Down/Up:内核或驱动记录了链路下线、上线事件。ping丢包:只能说明探测报文没有按预期返回,不能单独证明网卡链路断开。- 应用响应变慢:可能来自 DNS、TCP 建连、服务器 CPU、线程池或后端服务,不一定与网卡有关。
先替换为实际接口名,例如 ens160、enp1s0 或 eth0:
IF=ens160
ip -details link show dev "$IF"
ip -s link show dev "$IF"
cat /sys/class/net/"$IF"/operstate
cat /sys/class/net/"$IF"/carrier
ethtool "$IF"
重点观察以下内容:
state UP但carrier在0和1之间变化,通常说明链路层确实在反复断开和恢复。- 接口始终为
UP,但rx_errors、rx_dropped、tx_errors持续增加,问题可能在网卡队列、驱动、CPU 软中断或上游网络,而不是物理链路。 - 速率和双工状态反复变化,常见于自动协商不稳定、网线或光模块异常、交换机端口配置不一致。
- 只有业务请求变慢,没有接口状态变化,应继续检查 DNS、路由、丢包、主机负载和应用本身。
需要观察变化时,可以使用只读命令持续查看:
ip -ts monitor link
另开一个终端查看累计统计:
watch -n 1 'ip -s link show dev ens160'
ip -ts monitor link 会输出接口状态变化,结束观察时使用 Ctrl+C。如果服务器通过远程 SSH 管理,不要在没有带外控制台或备用通道的情况下贸然重启网络服务。
从内核日志建立时间线
接口状态变化必须与内核日志对应起来。不同驱动的日志格式并不完全相同,常见关键词包括 Link is Down、Link is Up、reset adapter、tx timeout、NETDEV WATCHDOG、AER 和 firmware。
journalctl -k -b -o short-precise | \
grep -Ei 'link (is )?(down|up)|carrier|reset|timeout|watchdog|aer|firmware|error'
如果只关注最近一小时:
journalctl -k --since "1 hour ago" -o short-precise
还要检查网络管理服务是否在反复重新配置接口。服务器使用哪种服务,应先确认,不要直接猜测:
systemctl is-active NetworkManager
systemctl is-active systemd-networkd
根据实际启用的服务查看日志:
journalctl -u NetworkManager --since "1 hour ago"
journalctl -u systemd-networkd --since "1 hour ago"
如果日志显示物理链路已经掉线,网络管理服务的重连日志通常只是结果,不是根因;如果没有 Link Down,却频繁出现 DHCP、地址刷新或连接配置变更,则应检查网络管理配置、重复管理接口或虚拟化层。
2. 建立故障原因树
将现象按网络、系统、服务和应用层拆分,可以避免把所有延迟都归结为网卡故障。
| 分支 | 典型观察依据 | 下一步检查 |
|---|---|---|
| 物理链路和交换机 | 主机出现 Link Down/Up,交换机同一端口也有链路切换 | 网线、光模块、交换机端口、自动协商和端口错误计数 |
| 网卡驱动、固件和内核 | 交换机没有链路切换,主机出现驱动 reset、TX timeout 或 PCIe 错误 | 驱动版本、固件、内核、PCIe 日志和网卡统计 |
| 路由和上游网络 | 本地网关稳定,但远端地址丢包或延迟升高 | 路由表、网关、路径变化和上游设备 |
| DNS | 访问域名慢,直接访问已知 IP 正常,接口无掉线 | DNS 服务器、解析耗时、超时和返回地址 |
| 主机资源 | 高负载时丢包或延迟增加,伴随软中断、队列或内存压力 | CPU、软中断、IRQ、网卡 ring、内核丢包 |
| 应用服务 | 网络探测正常,但 TCP 建连、首字节或业务处理耗时升高 | ss、服务日志、连接池、线程池和后端依赖 |
这棵原因树的关键在于“观察结果决定下一步”。例如,网关 ping 丢包并不能直接证明网卡坏了;如果同时没有 carrier 变化,且交换机端口没有事件,就应优先排除主机处理能力或上游网络。
3. 先查本机网卡、驱动和统计信息
查看驱动、固件与接口能力
IF=ens160
ethtool -i "$IF"
ethtool "$IF"
uname -r
lspci -nnk | grep -A 3 -Ei 'ethernet|network'
ethtool -i 通常可以看到驱动名、驱动版本、固件版本和总线信息。需要注意,固件字段显示为空不一定代表故障,是否异常要结合网卡型号、发行版和厂商支持矩阵判断。
检查网卡统计时,不同驱动的字段名可能不同:
ethtool -S "$IF" | \
grep -Ei 'err|drop|crc|miss|timeout|carrier|reset|fifo|overrun'
重点关注:
rx_crc_errors、rx_fcs_errors:接收帧校验异常,常与线缆、光模块、端口或物理介质有关。rx_missed_errors、rx_no_buffer:主机来不及接收或接收队列不足。tx_timeout、tx_queue、reset:发送队列、驱动或设备状态异常。carrier_changes:部分驱动会记录载波变化次数,但并非所有网卡都提供该字段。dropped:需要结合是硬件、内核、协议栈还是应用层丢弃,不能只看一个总数。
如果是单次短暂故障,应先保存当前统计和日志,再进行任何重启或更换操作,因为网卡计数器通常是累计值,重置设备后原始证据可能消失。
检查物理参数和交换机端口
在交换机侧,需要让网络设备管理员核对与服务器相连的端口。不同厂商命令格式差异较大,但需要采集的字段基本一致:
- 管理状态和运行状态;
- 链路切换次数及最近发生时间;
- 协商速率和双工模式;
- CRC、FCS、输入错误、丢弃、短帧和超长帧;
- 端口是否进入错误禁用状态;
- STP、LACP 或端口安全策略是否触发;
- 光模块支持时的温度、收发光功率和告警;
- 服务器 MAC 地址是否在多个端口之间移动。
交换机命令可能叫作“查看接口状态”“查看接口详细信息”“查看日志”等,不能把某一厂商的命令直接复制到所有设备。可以让网络侧提供类似下面的事件记录。以下仅为模拟示例:
10:12:03 port 1/0/12 link down
10:12:05 port 1/0/12 link up, speed 1000, duplex full
10:12:07 port 1/0/12 link down
10:12:09 port 1/0/12 link up, speed 1000, duplex full
若主机日志和交换机日志在秒级时间上同时出现 down/up,并且交换机端口的 CRC 或 FCS 计数同步增加,应优先检查网线、光模块、配线架和交换机端口。若只有主机日志变化,交换机端口始终稳定,则驱动、固件、PCIe 总线、虚拟化层或主机内部网络配置的优先级更高。

更换线缆、光模块或交换机端口时,应一次只改变一个变量,并记录变更前后的端口、时间和计数器。如果服务器只有一条远程管理链路,操作前应准备带外控制台;更换端口或重新协商可能造成短暂中断。
4. 按层排除网络延迟来源
本地网关与远端地址
先选定一个明确的本地网关和业务侧 IP,不要只使用域名。示例中的地址需要替换为实际环境:
GW=$(ip route show default | awk 'NR==1 {print $3}')
TARGET_IP=203.0.113.10
ping -c 100 -i 0.2 "$GW"
ping -c 100 -i 0.2 "$TARGET_IP"
tracepath -n "$TARGET_IP"
判断方式如下:
- 本地网关就丢包或延迟突增:优先检查服务器接口、交换机接入端口、VLAN、网卡队列和本地二层网络。
- 网关稳定、远端 IP 丢包:继续检查路由、出口链路和中间设备。
tracepath中某一跳不响应 ICMP,不一定表示真实转发丢包,因为设备可能限制探测报文。 - IP 访问正常、域名访问变慢:转向 DNS 检查。
- 网关和远端 IP 都稳定,但业务仍慢:继续检查 TCP 建连、服务端处理和后端依赖。
探测频率应适中,避免在生产网络中使用高频或洪泛式测试。100 个报文只适合形成一次参考样本,不能代替持续监控。
DNS 解析耗时
DNS 延迟通常不会导致网卡出现 Link Down,但会明显拉高用户首次访问时间。使用系统实际的解析路径进行检查:
resolvectl status
resolvectl statistics
resolvectl query example.com
如果系统没有 resolvectl,可根据实际环境使用 dig 或发行版提供的 DNS 工具。需要分别记录:
- DNS 服务器地址;
- 查询是否超时;
- 同一域名连续查询是否稳定;
- 直接访问 IP 与访问域名的差异;
- IPv4 和 IPv6 是否存在不同表现。
路由、丢包与 TCP 连接
查看默认路由和接口归属:
ip route
ip rule
ip route get 203.0.113.10
ss -s
如果出现大量 TCP 重传、连接建立缓慢或连接数接近服务上限,不能仅凭接口状态判断为链路抖动。可以在应用允许的情况下记录 HTTP 分段耗时:
curl -sS -o /dev/null \
-w 'dns=%{time_namelookup} connect=%{time_connect} starttransfer=%{time_starttransfer} total=%{time_total}\n' \
https://example.com/health
这里的 dns 代表解析阶段,connect 反映 TCP 建连完成时间,starttransfer 包含服务端开始返回数据前的处理,total 是整体耗时。若只有 dns 增大,应查 DNS;若 connect 增大,应查路径、丢包、防火墙或服务监听;若 starttransfer 增大而网络探测正常,应重点看应用和后端处理。

5. 排除服务器负载和虚拟化因素
高 CPU、软中断拥塞或接收队列不足,可能造成丢包和延迟,但不一定触发物理链路下线。
uptime
mpstat -P ALL 1 5
vmstat 1 5
cat /proc/interrupts | grep -Ei 'ens160|eth|mlx|ixgbe|i40e|igc'
重点观察:
- 单个 CPU 核心的软中断是否长期偏高;
- 网卡 IRQ 是否集中在一个忙碌核心;
rx_missed_errors或rx_no_buffer是否只在高峰期增加;- 进程、内存回收、IO 等待是否同时升高;
- 宿主机或虚拟化平台是否报告 vNIC reset、虚拟交换机拥塞或迁移事件。
如果接口是 bond、bridge、VLAN 或虚拟网卡,还要检查逻辑层状态:
cat /proc/net/bonding/bond0
bridge link
bridge vlan show
对于 bond 或 LACP,单个从接口的链路切换可能被聚合层隐藏;此时必须分别核对每个物理成员和交换机端口。云主机或虚拟机无法直接查看物理交换机时,应把主机日志中的 vNIC 事件、实例所在宿主机事件和云平台网络事件进行关联。

6. 用多项证据固定根因
下面是几类常见的证据组合。日志和输出均为示例,不代表某个实际环境已经执行过检查。
物理介质或交换机端口异常
主机:10:12:03 ixgbe 0000:03:00.0: NIC Link is Down
主机:10:12:05 ixgbe 0000:03:00.0: NIC Link is Up 1000 Mbps Full Duplex
交换机:10:12:03 port 1/0/12 link down
交换机:CRC/FCS errors 在同一时间段持续增加
这种组合将排查重点放在线缆、光模块、配线、交换机端口和两端协商参数。可以先更换已知正常的线缆,再观察同一端口;如果问题随线缆移动,线缆或模块的可能性上升;如果问题固定在交换机端口,应检查端口硬件和配置。
驱动、固件或 PCIe 设备重置
主机:NETDEV WATCHDOG: ens160 transmit queue 0 timed out
主机:driver reset adapter
主机:AER: Corrected error received
交换机:端口没有 link down/up 记录
此时物理链路没有被交换机观察到,但网卡在主机侧发生了发送超时或设备重置。应保留 ethtool -i、内核版本、PCIe 日志和网卡统计,核对驱动与固件兼容性,再在维护窗口中进行升级或回退。升级前要准备旧内核、旧驱动或带外恢复方式,避免远程升级后无法联网。
链路稳定但 DNS 或路由异常
主机:carrier 始终为 1,无 Link Down/Up
网关:100 个探测包无丢失,延迟稳定
远端 IP:出现间歇性丢包
域名:解析耗时偶发升高
这种结果不支持“网卡物理链路抖动”的结论,应分别测试 DNS 服务器、默认路由、出口设备和远端路径。若更换 DNS 后只有域名访问恢复,根因更接近解析服务;若 IP 也丢包,则继续检查上游网络。
高负载导致接收处理不及时
carrier:持续为 1
rx_missed_errors:业务高峰期间持续增加
softirq:某个 CPU 核心长期接近满载
应用:TCP 重传和请求排队同时增加
这种情况应从 IRQ 分布、接收队列、RSS/RPS、CPU 亲和性和应用并发控制入手。调整队列或中断绑定属于性能配置变更,必须先保存当前值、明确回滚方式,并在业务低峰验证,不能为了消除丢包而盲目增大所有参数。
7. 变更后的恢复验证
定位出疑似根因后,不要只以“日志暂时不再出现”作为恢复标准。建议记录变更前后的状态和计数器差值:
IF=ens160
date -Ins
ethtool "$IF"
ip -s link show dev "$IF"
ethtool -S "$IF" | grep -Ei 'err|drop|crc|miss|timeout|carrier|reset'
journalctl -k --since "10 minutes ago" -o short-precise
验证至少覆盖以下方面:
- 接口在观察窗口内没有新的
carrier切换或驱动 reset。 - 交换机端口没有新增链路切换、CRC/FCS 错误或异常丢弃。
- 协商速率和双工模式符合设计值,且没有反复变化。
- 本地网关探测稳定,远端业务 IP 的丢包和延迟回到既有基线。
- DNS 解析时间恢复,应用的 TCP 建连、首字节和总响应时间没有异常增长。
- 业务高峰期没有持续增加的接收队列丢包、软中断拥塞或 TCP 重传。
“观察窗口”应覆盖一次业务高峰和故障通常出现的时间段。固定链路问题后,可以先观察数小时,再根据故障频率决定是否延长到一个完整业务周期。验证过程中不要清零统计数据,使用变更前后的差值更容易判断问题是否真正消失。
8. 设置可复发的监控点
为了避免下一次只能依靠人工登录服务器,建议同时监控主机、交换机和应用三类指标:
- 主机接口
operstate、carrier和链路切换次数; - 驱动 reset、
NETDEV WATCHDOG、TX timeout、PCIe AER 和固件告警; rx_crc_errors、rx_missed_errors、rx_dropped、tx_errors等网卡计数;- 交换机端口的 link transition、CRC/FCS、丢弃、错误禁用和协商速率;
- 服务器到本地网关的延迟和丢包;
- DNS 解析耗时与超时次数;
- TCP 重传、连接建立耗时和应用首字节时间;
- CPU 软中断、IRQ 分布、负载和内存压力。
监控系统应保存事件发生的精确时间,并尽量保持主机、交换机和监控平台的时钟同步。告警关联时,可以把“接口掉线”“交换机端口 flap”“CRC 增长”和“应用延迟升高”合并到同一故障时间线中;这样既能减少重复告警,也能在链路没有真正掉线时及时把排查方向转向 DNS、路由、主机负载或应用响应。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5648.html



