Linux内核软中断占用过高怎么排查?如何区分网卡收包与CPU负载问题

发布人:A5数据发布时间:2026-11-02 12:28阅读量:86

软中断占用高,不等于服务器一定遭遇了“网卡故障”,也不等于业务进程本身计算量过大。排查时要先确认高的是哪类 CPU 时间、负载集中在哪些核,再对照网卡收包速率、软中断处理能力和应用状态;只有这些证据能相互印证,才能判断根因是在网络收包、CPU资源不足,还是服务处理链路。

常见表现包括 top 中 %si 持续偏高、ksoftirqd/N 占用明显、个别 CPU 核打满,或者系统负载升高但应用进程 CPU 看起来不高。它们分别代表不同现象:%si 是 CPU 用于软中断的时间比例,ksoftirqd 是内核在线程上下文中处理软中断的工作线程,系统负载还会计入等待 CPU 的可运行任务和处于不可中断睡眠状态的任务。单看其中一项,不能直接断定问题来自网卡。

先确认:高的是软中断,还是整体负载

先观察整体 CPU 和进程状态,再看各核分布。以下命令以常见 Linux 发行版为例;若缺少 mpstat 或 pidstat,可安装对应的 sysstat 工具包,或先使用系统自带的 top、vmstat。

uptime
vmstat 1 5
top

在 top 的 CPU 行中,重点看:

  • si:软中断占用的 CPU 时间。
  • hi:硬中断占用的 CPU 时间。
  • us、sy:用户态、内核态执行时间。
  • wa:等待 I/O 的时间。
  • st:虚拟化环境中被宿主机调度器“偷走”的 CPU 时间。

vmstat 的 r 表示可运行任务数,b 表示不可中断睡眠任务数。若 si 高、r 长期超过可用 CPU 核数,且业务响应变慢,说明 CPU 竞争值得关注;若 b 和 wa 高,则还要排查磁盘或其他 I/O 等待,不能把负载升高全归因于软中断。

按核观察比只看总 CPU 更重要。多核服务器可能整体利用率不高,但某个处理网卡中断的 CPU 已经饱和。

mpstat -P ALL 1 5

例如,假设输出显示 0 号 CPU 的 %soft 长时间接近满载,而其他核较空闲,方向就应转向中断分布、网卡队列和接收侧负载均衡。如果所有核的 %soft 都明显升高,则更像是全机收包量或每包处理成本过大。这里的数值只是判断示例,不代表固定阈值;短时尖峰与持续数分钟的饱和,处理优先级也不同。

建立原因树:按网络、系统、服务逐层判断

软中断高可以从四个层面拆解:

层面主要疑问有代表性的观察依据
网络流量是否有大量收包、包速率突增或异常连接网卡收包计数、吞吐量、包速率、连接状态
内核与网卡收包是否集中在少数队列或 CPU,是否出现处理积压NET_RX、网卡中断、softnet_stat、驱动统计
系统资源CPU 是否不足,是否受虚拟化调度或其他任务挤占各核 %soft、运行队列、%steal、进程状态
服务与应用收到的数据是否需要高成本处理,应用是否跟不上进程 CPU、连接数、请求速率、应用队列和错误日志

排查顺序应从低风险的观测开始:先确认现象和变化时间,再定位流量与 CPU 分布,最后才考虑调整队列、亲和性或服务配置。不要因为看到某个计数器增长,就直接修改内核参数。

逐层排除:先判断收包量和网卡队列

1. 对比软中断增量,而不是看累计总数

/proc/softirqs 中的数值是开机以来的累计次数,系统运行时间越长,数值通常越大。应在相近时间间隔内连续采样,观察 NET_RX、NET_TX 是否增长明显,以及增长集中在哪些 CPU 上。

cat /proc/softirqs
sleep 5
cat /proc/softirqs

NET_RX 增长较快,说明接收网络数据的软中断处理较活跃,但不单独证明网卡有问题;NET_TX 增长明显则还要关注发送侧负载。若 %soft 高而 NET_RX 增量不突出,应扩大范围,检查其他软中断类型、内核任务和系统负载,避免把所有软中断都归因于网络。

还要看硬件中断是否分布失衡:

cat /proc/interrupts

关注与网卡相关的中断行(通常可从接口名、驱动或队列编号辨认),比较同一采样间隔内各 CPU 的计数增量。若网卡中断几乎都落在一个 CPU,而该核 %soft 也明显更高,可能是队列或中断亲和性分布不均。不同驱动的中断命名并不完全相同,不能只凭行名猜测,应结合网卡型号和驱动信息确认。

ip -s link
ethtool -i eth0

将 eth0 替换为实际接口名。ip -s link 可观察收发字节、包数和丢弃计数;ethtool -i 可查看驱动及固件信息。接口计数器是累计值,仍需比较采样前后的增量。可用如下命令查看每秒网卡统计,前提是系统安装了 sar:

sar -n DEV 1 5

判断时要同时看吞吐量和包速率。大包流量可能带来较高带宽,但包数未必特别高;小包或大量短连接则可能在带宽不大的情况下产生很高的每秒包数。因而“带宽没跑满”不能排除收包处理压力。

逐层排除:先判断收包量和网卡队列配图

2. 查看软网络处理是否出现积压

Linux 的 /proc/net/softnet_stat 按 CPU 展示网络软中断处理统计,字段以十六进制表示。常见内核中,前几列包含处理包数、丢弃数和 time_squeeze(处理时间或预算受限、需要后续继续处理的计数);后续字段的定义可能随内核版本变化,不宜在不了解版本时统一解释所有列。

cat /proc/net/softnet_stat

应重点比较同一 CPU 对应行的前几列在一段时间内的增量,而不是只看绝对值。若某核的丢弃数或 time_squeeze 持续增长,同时该核 %soft 高、网卡收包速率上升,说明接收处理路径可能存在积压。反之,计数没有持续增长且应用延迟正常,单次非零值不一定代表故障。

softnet_stat 是内核观测点,不等同于网卡硬件丢包计数。还应结合网卡驱动统计查看具体队列的错误和丢弃信息:

ethtool -S eth0

该命令输出字段由网卡和驱动决定,可能包含每队列收包、丢包、缓冲区耗尽等计数。先确认字段含义,再比较增量;不要把名称相似的计数直接当成同一种丢包。

3. 区分网卡收包压力与 CPU 本身不足

以下组合更支持“收包处理压力”方向:

  • NET_RX 增量随流量或包速率上升;
  • 网卡收包、每队列统计或连接数同步增长;
  • 个别 CPU 的网卡中断和 %soft 明显高于其他核;
  • softnet_stat 的丢弃或 time_squeeze 持续增加。

以下组合则提示还要优先检查 CPU 资源或其他内核工作:

  • %soft 并不突出,但 %us 或 %sy 长时间较高;
  • r 持续偏大,多个 CPU 核都处于高利用率;
  • %steal 明显升高,尤其是在虚拟机中;
  • 网络收包和中断计数没有同步增长,业务进程或其他系统任务却在消耗 CPU。

如果 %si 高且网络指标也高,两类原因可能同时存在:网络流量提供了工作量,CPU 能力或队列分布决定系统是否能及时处理。不能把“网络造成的 CPU 消耗”和“CPU 不足”当成互斥选项。

逐层排除:区分网卡收包压力与CPU本身不足配图

继续定位:连接数、进程和应用状态

网络连接是否异常增长

查看连接状态和监听情况,确认连接数变化是否与故障时间一致:

ss -s
ss -tan state established
ss -tan state syn-recv

大量 ESTAB 连接可能来自正常长连接业务;SYN-RECV 增多则提示连接建立压力、上游重试或网络侧异常等可能性。连接数本身不能代表包速率:少量连接也可能持续传输大量数据,大量空闲连接也未必引起高软中断。若需要进一步区分来源,可结合服务访问日志、负载均衡日志和流量监控;避免仅凭连接总数对业务端做限流或封禁。

进程是否在放大内核收包成本

按进程观察 CPU 与线程状态:

pidstat -u -w 1 5
ps -eLo pid,tid,psr,stat,pcpu,comm --sort=-pcpu | head

应用进程 CPU 高,可能说明请求解码、加密、压缩、日志写入或业务逻辑本身开销大;应用进程 CPU 不高,也不代表应用链路没有问题,因为数据可能主要在内核网络栈中处理,或进程在等待锁、I/O、连接池和下游服务。

若软中断集中在少数核,应同时观察进程被调度到哪些 CPU、线程是否频繁切换,以及服务是否有接收队列或工作线程积压。只调整应用线程数未必有效:线程增加可能提高并发,也可能进一步争抢已经紧张的 CPU。

内存、磁盘 I/O 和进程状态是否构成旁因

软中断高时,内存或磁盘问题不一定是根因,但可能造成整体负载和响应时间恶化。可快速核对:

free -h
vmstat 1 5
iostat -xz 1 5

重点关注是否发生持续换页、vmstat 中的 b 长期偏高、磁盘延迟或利用率异常。如果 wa 高且服务线程大量处于等待状态,应用变慢可能与 I/O 有关,而软中断只是并发出现。若 dmesg 中有网卡复位、链路抖动或驱动错误,也应纳入判断:

dmesg -T | tail -n 100

日志时间应与监控时间对齐;单条历史告警不能证明它与当前故障有关。

定位根因后再选择处理方向

收包集中在少数 CPU

先确认网卡是否支持多队列,以及当前队列和中断分布。不同驱动、虚拟网卡和云平台的能力差异较大,可检查:

ethtool -l eth0
ethtool -x eth0

前者通常用于查看通道配置能力,后者在受支持的网卡上查看接收队列分布;如果设备或驱动不支持,命令可能返回错误或信息有限。若确认队列数较少、流量集中且存在 CPU 不均衡,再评估 RSS、RPS 或中断亲和性配置。调整前要记录当前配置、确认业务允许短时网络抖动,并优先在维护窗口或可回退的范围内验证;配置不当可能导致队列迁移、缓存局部性变差或中断集中到其他繁忙 CPU。

不要直接套用网上的固定队列数或固定亲和性掩码。合适设置取决于 CPU 核数、网卡队列能力、NUMA 拓扑、虚拟化环境和流量形态。

软网络处理预算持续耗尽

如果 softnet_stat 的相关计数持续增长,首先确认实际包速率、CPU 利用率和丢包位置,再查内核版本及发行版文档,判断是否存在可调参数以及调整影响。不要为了让某个计数不再增长,就盲目放大处理预算;更长时间的软中断处理可能挤占应用运行时间,未必改善端到端延迟。

流量或连接突增

对比正常时段与故障时段的接口包速率、连接状态、服务请求量和访问日志。若增长与发布、定时任务、上游重试或客户端行为变化一致,优先修正流量源头和重试策略;若无法确认来源,应先保留必要日志和指标,再按业务流程限制异常请求。防火墙、限流或连接跟踪参数调整会影响现有连接和业务访问,应先明确规则影响范围、留存原配置并准备恢复方式,不能把它们当成无风险的通用修复。

CPU 或虚拟化资源不足

若全机多个核持续繁忙,或虚拟机 %steal 上升,应结合业务 CPU 需求、宿主机调度情况和同机任务评估容量。若 r 长期高于可用核心数,应找到具体竞争进程,而不是只看总负载后直接扩容。若 CPU 问题来自高成本应用处理,优先通过请求耗时、线程状态和应用性能指标确认热点;若来自虚拟化调度,则需与资源分配和宿主机侧指标交叉验证。

面对连接量增长、网络收包与应用计算并存的业务负载,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖Xeon Gold、AMD EPYC等计算平台,并提供不同内存、SSD或NVMe存储配置。各地区还有相应的线路与带宽方案,为接口服务、跨境网站等业务提供计算和网络资源基础。

验证恢复:用同一组指标比较前后变化

处理后不要只以“CPU 看起来下降”作为恢复标准。应在相同采样间隔、相近业务负载下重新观察各核 %soft、网卡收包速率、软中断计数增量、softnet_stat、连接状态和应用响应时间。

较有说服力的恢复表现包括:原先过载的 CPU 核不再持续饱和;接收侧丢弃或 time_squeeze 不再以相同速度增长;业务延迟和错误率恢复到正常范围;网卡队列分布与实际负载相匹配。若只出现 CPU 占用下降,但丢包和延迟仍高,可能只是处理能力下降或流量被丢弃,并不代表故障解决。

如果调整了网卡队列、亲和性、内核参数或防火墙规则,应记录调整前后的配置与时间点,并准备撤销改动的具体方式。出现丢包加重、延迟上升或业务连接异常时,先恢复原配置,再继续定位,避免多个变量同时变化导致根因难以确认。

复发时应持续关注的指标

建议将监控按“CPU—网络—应用”关联起来,而不是只设一个 CPU 告警:

  • 按 CPU 核监控 %soft、%irq、运行队列和 %steal,识别局部饱和。
  • 按接口监控收包包速率、带宽、丢弃和错误;条件允许时增加每队列统计。
  • 定期采集 /proc/softirqs、/proc/net/softnet_stat 与 /proc/interrupts 的增量,用于判断是否发生处理集中或积压。
  • 监控连接数、请求速率、应用线程和队列长度,并与错误率、延迟关联。
  • 保留网卡驱动、内核版本及重要配置变更记录,便于区分流量变化、软件变更和资源竞争。

告警宜关注持续时间和变化趋势,而不是因一次采样尖峰触发处置。软中断高是定位入口;只有把 CPU 分布、收包增量、软网络积压与应用表现放在同一时间线上,才能判断究竟是网卡收包处理压力、CPU 资源不足,还是两者共同作用。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7108.html

相关推荐