我第一次在香港机房遇到 netdev_backlog 阻塞，是在给一台高性能物理服务器做 BGP 多线接入的时候。当时链路带宽拉满后，业务端频繁出现丢包和 RTT 抖动，内核日志里不断刷出 NETDEV WATCHDOG 和 kernel: net_ratelimit: callbacks suppressed 的提示。那次经历让我彻底理解了 Linux 网络接收路径的瓶颈，以及如何通过队列调优解决问题。

以下内容基于我的实操经验，按步骤分享从问题定位到调优解决的全过程。

一、问题背景与现象

1.1 场景

• 香港服务器，10Gbps 直连国际 BGP 链路
• 业务：高并发 HTTP API 服务 + 海量短连接
• 系统：Ubuntu 22.04 + Linux Kernel 5.15
• 网卡：Intel X710（ixgbe 驱动）

1.2 现象

在高峰期，当链路流量接近 7~8Gbps 时：

dmesg 中频繁看到：

NETDEV WATCHDOG: eth0 (ixgbe): transmit queue timed out

nstat 统计中 TcpExtTCPBacklogDrop 与 IpInDiscards 明显上升

cat /proc/net/softnet_stat 输出如下：

0001a3c4 00000000 00000064 00000000 ...

其中第三列 dropped 数值高速增长，意味着 netdev_backlog 队列被丢弃了。

结论：服务器收包速度跟不上网卡 DMA 入栈速度，导致 netdev_backlog 触发丢包。

二、问题分析

2.1 Linux 网络接收路径回顾

Linux 网络收包流程大致如下：

NIC -> NAPI Poll -> softirq (NET_RX) -> netdev_backlog -> 协议栈

• NAPI：网卡驱动采用 polling 减少中断
• softirq：软中断处理网络包
• netdev_backlog：内核的通用收包队列（per-CPU），如果处理不过来就丢包

在大流量环境下，如果 softirq 处理速度跟不上 DMA 入队速度，netdev_backlog 会堆积，然后触发丢包。

2.2 关键内核参数

① net.core.netdev_max_backlog

控制 netdev_backlog 队列深度

默认 1000，对于万兆以上场景过低

② rps_flow_cnt 与 rps_sock_flow_entries

控制 RPS（接收包多核调度）队列数量

对 CPU 负载均衡很关键

③ irqbalance 与中断亲和性

如果网卡队列绑定在单核，会导致 backlog 快速阻塞

三、实操调优方案

3.1 增大 netdev_backlog 队列

# 查看默认值
sysctl net.core.netdev_max_backlog

# 调整为适合万兆场景的值
sysctl -w net.core.netdev_max_backlog=16384
echo "net.core.netdev_max_backlog=16384" >> /etc/sysctl.conf

我在实际调优中发现，16K~32K 的 backlog 能有效减少丢包，但太大可能导致延迟波动。

3.2 配置 RPS / RFS，分散 CPU 负载

查看网卡队列数

ethtool -l eth0

假设有 8 个 RX 队列。

开启 RPS

echo ffffffff > /sys/class/net/eth0/queues/rx-0/rps_cpus
echo ffffffff > /sys/class/net/eth0/queues/rx-1/rps_cpus
...

这里 ffffffff 表示允许分配到所有 CPU 核。

开启 RFS

sysctl -w net.core.rps_sock_flow_entries=32768
echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
...

3.3 调整 NAPI Poll 与中断亲和性

绑定中断到多核

cat /proc/interrupts | grep eth0

然后使用 irqbalance 或手动配置 /proc/irq/*/smp_affinity。

提高软中断处理能力

# 提高软中断的 ksoftirqd 调度优先级
ps -eo pid,cmd | grep ksoftirqd
chrt -f -p 99 <PID>

3.4 验证调优效果

监控丢包

watch -n 1 cat /proc/net/softnet_stat

如果第三列 dropped 不再快速增长，说明 backlog 阻塞缓解。

测试高并发流量

使用 iperf3 或实际业务流量压测，确保在 8~10Gbps 时丢包接近 0。

经过以上调优后，我的香港服务器在 9Gbps 持续流量下稳定运行，netdev_backlog 丢包彻底消失。

四、经验教训总结

从这次高带宽调优经历来看，netdev_backlog 阻塞本质是 CPU 软中断处理不及时导致的收包瓶颈，解决方案核心是：

• 增大 netdev_max_backlog 队列深度
• 合理开启 RPS/RFS，多核并行收包
• 优化中断亲和性与软中断优先级

通过这套方案，我成功让香港高带宽服务器在高并发场景下保持低丢包和稳定延迟。如果你也在调优万兆或更高带宽的服务器，可以直接按这个步骤实操，效果非常明显。