如何为物理服务器配置网卡NUMA亲和性,减少跨节点内存访问?
要减少物理服务器上网卡处理路径中的跨 NUMA 节点内存访问,核心不是给网卡设置一个简单的“NUMA 开关”,而是先确认网卡所连接的 PCIe 根复合体属于哪个 NUMA 节点,再让该网卡的硬件队列、中断、应用工作线程和应用内存尽量落在同一个节点。网卡插槽的 NUMA 归属由主板和 PCIe 拓扑决定,软件可以调整中断和进程调度位置,但不能把物理上连接到节点 0 的网卡直接“搬到”节点 1。

生产环境不建议一次性同时调整网卡队列数、RSS、RPS、XPS、中断服务和应用启动参数。更稳妥的做法是先完成现状核对和基线采集,在一个网卡、一个业务进程、一个 NUMA 节点范围内进行小批量变更,先绑定 IRQ,再绑定应用 CPU 和内存,验证没有丢包、延迟或 CPU 使用率恶化后,再考虑持久化和进一步优化。

网卡中断与应用线程的NUMA亲和性优化,建立在服务器CPU、内存和网络资源之上。A5idc数据提供香港、美国、日本等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等平台,并有不同内存、SSD/NVMe存储及网络线路配置,可承载网站、数据库、接口服务等业务;韩国、中国台湾、新加坡和马来西亚也提供物理服务器方案,为多地区业务部署提供硬件与网络资源基础。
现状核对:确认网卡真正挂在哪个节点
先区分物理端口、聚合接口和虚拟功能
本文命令应针对实际承载流量的物理网卡接口,例如 ens5f0、enp65s0f0,而不是直接针对 bond0、Linux Bridge 或业务虚拟接口。
如果业务流量经过链路聚合,应分别检查每个从接口:
cat /proc/net/bonding/bond0
ls -l /sys/class/net/bond0/bonding/slaves
如果接口是 SR-IOV 虚拟功能,还要确认其物理功能设备:
IF=ens5f0v0
readlink -f "/sys/class/net/$IF/device"
if [ -e "/sys/class/net/$IF/device/physfn" ]; then
echo "PF device:"
readlink -f "/sys/class/net/$IF/device/physfn"
fi
虚拟功能的中断和 NUMA 信息可能受到驱动、宿主机配置及虚拟化方式影响。生产变更前应先确认当前系统能够看到的 PCIe 设备关系,不要仅根据接口名称猜测节点。
查询 PCIe 设备的 NUMA 归属
以下命令需要替换为实际物理网卡接口名:
IF=ens5f0
DEV_PATH=$(readlink -f "/sys/class/net/$IF/device")
BDF=$(basename "$DEV_PATH")
echo "interface: $IF"
echo "device path: $DEV_PATH"
echo "PCI BDF: $BDF"
echo "NUMA node:"
cat "/sys/bus/pci/devices/$BDF/numa_node"
echo "local CPU list:"
cat "/sys/bus/pci/devices/$BDF/local_cpulist"
echo "PCI device:"
lspci -s "$BDF" -nn
echo "PCI topology:"
lspci -tv
重点关注以下结果:
numa_node返回0、1等数字时,表示系统识别到该 PCIe 设备的本地 NUMA 节点。local_cpulist表示该设备对应的本地 CPU 范围。- 如果
numa_node返回-1,表示当前驱动或平台没有提供明确的 NUMA 归属。此时不能直接把网卡绑定到某个节点,应结合lspci -tv、lstopo-no-graphics、服务器主板插槽说明和 BIOS 拓扑继续确认。 - 如果网卡插在错误的 PCIe 插槽,软件调整中断只能减少部分远端调度,无法完全消除设备到内存控制器之间的物理跨节点路径。
同时查看系统的 NUMA 和 CPU 拓扑:
numactl -H
lscpu -e=CPU,CORE,SOCKET,NODE,ONLINE
for node in /sys/devices/system/node/node*; do
echo "[$node]"
cat "$node/cpulist"
done
建议将网卡所在节点的 CPU 列表、兄弟线程关系、业务进程当前允许运行的 CPU 范围记录到变更单中。启用了超线程的服务器,应尽量按照物理核心规划 IRQ 和业务线程,避免把高流量中断和延迟敏感线程安排到同一个物理核心的两个逻辑 CPU 上。
检查硬件队列、中断和软件分流
先查看网卡支持的通道数量、当前通道数量、RSS 信息和卸载能力:
ethtool -l "$IF"
ethtool -x "$IF"
ethtool -k "$IF"
ethtool -g "$IF"
并查看该接口对应的中断:
grep -F -- "$IF" /proc/interrupts
常见输出形式类似于:
164: 1029341 0 0 0 IR-PCI-MSI ens5f0-TxRx-0
165: 0 984221 0 0 IR-PCI-MSI ens5f0-TxRx-1
166: 0 0 1102933 0 IR-PCI-MSI ens5f0-TxRx-2
不同驱动的中断名称可能是 TxRx、rx、tx、comp 或其他形式。不要根据中断编号连续就推断它们都属于同一块网卡,应以中断行末尾的设备名称和驱动信息为准。
检查每个接收队列是否启用了 RPS,检查发送队列是否启用了 XPS:
for f in /sys/class/net/"$IF"/queues/rx-*/rps_cpus \
/sys/class/net/"$IF"/queues/rx-*/rps_flow_cnt \
/sys/class/net/"$IF"/queues/tx-*/xps_cpus; do
[ -e "$f" ] || continue
printf '%s: ' "$f"
cat "$f"
done
硬件 RSS 已经能够把数据分发到多个本地队列时,RPS 如果又把数据转发到远端 CPU,反而可能增加跨节点访问和软中断开销。第一轮变更应先记录这些值,不要在没有基线的情况下同时调整 RPS、XPS 和 RSS。
记录当前负载和业务基线
NUMA 亲和性调整的目标通常是降低远端访问和网络处理抖动,而不是单纯让某个配置文件显示出目标 CPU。至少记录一段低负载和一段业务高峰或压测期间的基线:
mpstat -P ALL 1 10
sar -n DEV 1 10
ethtool -S "$IF"
如果 sar 未安装,可以使用系统已有的监控平台,或者用 /proc/net/dev、/proc/interrupts 和应用监控替代。
对业务进程记录当前 CPU 范围和 NUMA 内存分布:
PID=12345
taskset -pc "$PID"
grep -E 'Cpus_allowed_list|Mems_allowed_list' "/proc/$PID/status"
numastat -p "$PID"
需要关注的基线指标包括:
- 应用吞吐量、请求成功率和 p95、p99 延迟;
- 网卡接收和发送速率;
- 网卡丢包、无缓冲区、校验错误和超时计数;
- 各 CPU 的软中断和系统态 CPU 使用率;
- 业务进程在本地节点和其他节点的内存分布;
- 高峰期间是否出现单个 CPU、单个队列或单个 IRQ 过载。
变更准备:把范围缩小到一个可回退单元
先备份当前状态
以下操作涉及写入 /proc/irq、/sys/class/net 或修改服务启动参数,应在 root Shell 中执行,并将备份目录保留到观察窗口结束。
IF=ens5f0
BACKUP_DIR="/var/tmp/${IF}-numa-$(date +%Y%m%d%H%M%S)"
install -d -m 700 "$BACKUP_DIR"
ethtool -l "$IF" > "$BACKUP_DIR/ethtool-l.txt" 2>&1 || true
ethtool -x "$IF" > "$BACKUP_DIR/ethtool-x.txt" 2>&1 || true
ethtool -k "$IF" > "$BACKUP_DIR/ethtool-k.txt" 2>&1 || true
ethtool -g "$IF" > "$BACKUP_DIR/ethtool-g.txt" 2>&1 || true
ethtool -S "$IF" > "$BACKUP_DIR/ethtool-s-before.txt" 2>&1 || true
systemctl is-active irqbalance > "$BACKUP_DIR/irqbalance-active.txt" 2>&1 || true
systemctl is-enabled irqbalance > "$BACKUP_DIR/irqbalance-enabled.txt" 2>&1 || true
grep -F -- "$IF" /proc/interrupts > "$BACKUP_DIR/proc-interrupts.txt"
awk -v ifname="$IF" '
index($0, ifname) {
sub(/:.*/, "", $1)
print $1
}
' /proc/interrupts |
while read -r IRQ; do
printf '%s\t' "$IRQ"
cat "/proc/irq/$IRQ/smp_affinity_list"
done > "$BACKUP_DIR/irq-affinity.list"
for f in /sys/class/net/"$IF"/queues/rx-*/rps_cpus \
/sys/class/net/"$IF"/queues/rx-*/rps_flow_cnt \
/sys/class/net/"$IF"/queues/tx-*/xps_cpus; do
[ -e "$f" ] || continue
printf '%s\t' "$f"
cat "$f"
done > "$BACKUP_DIR/rps-xps.list"
如果业务由 systemd 管理,还应保存原有服务定义和启动参数:
systemctl cat app.service > "$BACKUP_DIR/app.service.txt"
app.service 只是示例名称,应替换为实际服务名。不要在没有保存原始 ExecStart 的情况下直接编辑服务单元。
规划本地 CPU、IRQ CPU 和应用 CPU
不要让网卡 IRQ 和应用线程无约束地争用同一批 CPU。可以按照以下思路划分:
- IRQ 使用网卡所在 NUMA 节点的一小组物理核心;
- 应用工作线程使用同一节点的另一组物理核心;
- 保留少量 CPU 给系统任务、监控和其他守护进程;
- 多端口或多网卡场景中,分别根据每块网卡的
local_cpulist规划; - 如果应用本身需要跨节点运行,不要强制使用单节点
membind。
例如,检查结果显示网卡位于节点 1,节点 1 的 CPU 为 32-63,96-127,可以规划成如下示意:
网卡 IRQ:32-35
应用工作线程:36-63、100-127
系统与监控:其余 CPU
这里的 CPU 范围只是示例,不能直接复制到其他服务器。实际选择必须以 lscpu -e 输出为准,并检查逻辑 CPU 是否对应同一个物理核心。
确认 irqbalance 的管理方式
systemctl is-active irqbalance
systemctl is-enabled irqbalance
手工写入 /proc/irq/<IRQ>/smp_affinity_list 后,irqbalance 可能再次调整这些 IRQ。生产环境应明确选择一种管理方式:
- 继续由
irqbalance管理,并使用该发行版支持的策略让目标网卡 IRQ 保持在本地 CPU; - 在经过审批的变更窗口内暂停其管理范围,再由固定脚本或 systemd 单元设置 IRQ;
- 使用其他已经纳入配置管理的 IRQ 亲和性方案。
不建议为了验证一块网卡而直接长期关闭整台服务器的 irqbalance,因为这可能同时改变其他设备的中断分布。如果确实需要临时停止,应把原状态写入变更记录,并把恢复动作列入回滚步骤。
分步实施:先绑定 IRQ,再绑定应用
第一步:确认目标节点和本地 CPU
变更前再次执行:
IF=ens5f0
DEV_PATH=$(readlink -f "/sys/class/net/$IF/device")
BDF=$(basename "$DEV_PATH")
NODE=$(cat "/sys/bus/pci/devices/$BDF/numa_node")
LOCAL_CPUS=$(cat "/sys/bus/pci/devices/$BDF/local_cpulist")
printf 'interface=%s\n' "$IF"
printf 'pci=%s\n' "$BDF"
printf 'numa_node=%s\n' "$NODE"
printf 'local_cpulist=%s\n' "$LOCAL_CPUS"
如果 NODE 为 -1,应暂停后续绑定,先完成拓扑确认。如果接口是聚合、桥接或虚拟功能,也应回到物理从接口和 PF 设备重新核对。
第二步:把网卡 IRQ 放到本地 CPU
以下示例按照队列顺序轮换使用指定 CPU。IRQ_CPUS 必须替换为已经确认属于网卡本地 NUMA 节点、且没有和关键应用线程冲突的 CPU。
IF=ens5f0
# 示例值,必须根据 lscpu 和 local_cpulist 修改
IRQ_CPUS=(32 33 34 35)
mapfile -t IRQS < <(
awk -v ifname="$IF" '
index($0, ifname) {
sub(/:.*/, "", $1)
print $1
}
' /proc/interrupts
)
if [ "${#IRQS[@]}" -eq 0 ]; then
echo "没有找到接口对应的 IRQ,请先核对接口名和驱动中断名称" >&2
exit 1
fi
if [ "${#IRQ_CPUS[@]}" -eq 0 ]; then
echo "IRQ_CPUS 不能为空" >&2
exit 1
fi
i=0
for IRQ in "${IRQS[@]}"; do
CPU="${IRQ_CPUS[$((i % ${#IRQ_CPUS[@]}))]}"
printf '%s\n' "$CPU" > "/proc/irq/$IRQ/smp_affinity_list"
printf 'IRQ %s -> CPU %s\n' "$IRQ" "$CPU"
i=$((i + 1))
done
如果每个队列都设置为同一个 CPU 集合,系统仍可能在这些 CPU 之间调度中断,但高流量环境下通常需要观察队列是否均衡。上面的轮换方式只是一个低风险起点,不代表所有驱动的最佳方案。对于支持大量 RSS 队列的网卡,可以根据队列与 IRQ 的对应关系,将不同队列分别安排到本地物理核心。
立即核对写入结果:
for IRQ in "${IRQS[@]}"; do
printf 'IRQ %s: ' "$IRQ"
cat "/proc/irq/$IRQ/smp_affinity_list"
done
如果数十秒后发现亲和性被改回原值,优先检查 irqbalance 或其他系统管理程序,而不是反复写入同一文件。
第三步:让应用线程和内存靠近网卡节点
对于只服务一块本地网卡、且工作集可以放入单个 NUMA 节点的应用,可以在维护窗口通过 numactl 启动:
NODE=1
APP_CPUS=36-63
APP_BIN=/opt/app/bin/server
APP_ARGS="--config /etc/app/server.conf"
numactl \
--physcpubind="$APP_CPUS" \
--membind="$NODE" \
"$APP_BIN" $APP_ARGS
--physcpubind 限制进程及其子线程使用指定的物理 CPU,--membind 要求内存优先从指定节点分配。使用严格绑定前,要确认节点有足够的可用内存,否则应用可能因为本地节点内存不足而分配失败。
如果应用需要一定的故障余量,或者工作集明显超过单节点内存,可以采用偏好策略而不是硬绑定:
numactl \
--physcpubind=36-63 \
--preferred=1 \
"$APP_BIN" --config /etc/app/server.conf
已经运行的进程可以临时改变 CPU 亲和性:
PID=12345
taskset -cp 36-63 "$PID"
但 taskset 只改变后续调度位置,不会自动把已经分配到远端节点的内存全部迁移到本地节点。因此,生产环境更适合采用优雅摘流、重启或滚动重启,使应用在目标 NUMA 策略下重新分配内存。不要在首次变更中直接对高负载进程执行在线页面迁移。
如果应用由 systemd 管理,应先查看原始启动命令:
systemctl cat app.service
然后在服务配置管理中,将原来的启动命令包装为实际可执行的 numactl 命令。不能直接照抄上面的 /opt/app/bin/server,也不能删除原有的环境变量、配置文件参数和资源限制。
第四步:谨慎处理 RPS、XPS 和队列数
完成 IRQ 和应用绑定后,先观察一个完整业务周期,再决定是否调整软件分流。
判断原则如下:
- 硬件 RSS 队列充足且 IRQ 已位于本地 CPU 时,通常不需要额外启用跨节点 RPS;
rps_cpus如果包含远端 CPU,可能会把接收处理重新转移到远端;xps_cpus如果把发送队列映射到远端 CPU,发送路径仍可能产生跨节点访问;- RPS、XPS 的 CPU 掩码通常使用十六进制格式,不能把
32-63这样的 CPU 列表直接写入; - 修改 RPS、XPS 前必须保存原值,并在低流量窗口中逐项变更。
只有当 ethtool -l 显示当前通道数与业务并发明显不匹配时,才考虑调整硬件通道:
ethtool -l "$IF"
例如,以下命令只是语法示例,16 必须是该网卡和驱动支持的有效通道数:
ethtool -L "$IF" combined 16
调整通道数可能触发队列重建、网卡短暂重置或中断编号变化。执行前应确认业务允许短暂抖动,并准备使用变更前记录的通道数恢复:
ethtool -L "$IF" combined 8
不要为了追求“每个 CPU 一个队列”而盲目增加队列。队列过多会增加中断、缓存和调度开销,最终结果应以吞吐、延迟、丢包和 CPU 使用率为准。
第五步:验证稳定后再做持久化
直接写入 /proc/irq 的设置通常不会跨重启永久保留,驱动重新加载或网卡链路重置后也可能发生变化。建议先完成一次性验证,再将配置纳入现有的配置管理。
如果采用手工脚本,可以使用类似方式动态查找接口对应的 IRQ:
#!/usr/bin/env bash
set -euo pipefail
IF="${1:?usage: $0 <interface> <cpu> [cpu ...]}"
shift
CPUS=("$@")
if [ "${#CPUS[@]}" -eq 0 ]; then
echo "至少需要一个 CPU" >&2
exit 2
fi
mapfile -t IRQS < <(
awk -v ifname="$IF" '
index($0, ifname) {
sub(/:.*/, "", $1)
print $1
}
' /proc/interrupts
)
if [ "${#IRQS[@]}" -eq 0 ]; then
echo "未找到 $IF 对应的 IRQ" >&2
exit 1
fi
i=0
for IRQ in "${IRQS[@]}"; do
CPU="${CPUS[$((i % ${#CPUS[@]}))]}"
printf '%s\n' "$CPU" > "/proc/irq/$IRQ/smp_affinity_list"
i=$((i + 1))
done
保存为 /usr/local/sbin/set-nic-irq-affinity.sh 后,应先手动执行并验证,而不是立即设置为开机自动运行:
chmod 0750 /usr/local/sbin/set-nic-irq-affinity.sh
/usr/local/sbin/set-nic-irq-affinity.sh ens5f0 32 33 34 35
确认效果稳定后,才可以通过 systemd oneshot 或现有配置管理系统持久化。例如,systemd 单元可以采用如下结构:
[Unit]
Description=Set NIC IRQ affinity for ens5f0
Wants=network-online.target
After=network-online.target irqbalance.service
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/set-nic-irq-affinity.sh ens5f0 32 33 34 35
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
这个示例只有在 irqbalance 不会持续覆盖目标 IRQ 时才适用。如果系统仍由 irqbalance 调整中断,应改用该服务支持的策略,而不是同时启用两个互相竞争的管理者。启用持久化前,应测试网卡驱动加载较晚、接口名称变化和主机重启后的 IRQ 重新生成情况。
验证观察:看计数增量,不只看配置文件
立即验证 IRQ 是否确实在本地 CPU 上工作
配置写入成功不等于业务流量已经沿着目标路径运行。先查看中断亲和性:
grep -F -- "$IF" /proc/interrupts
for IRQ in "${IRQS[@]}"; do
printf 'IRQ %s: ' "$IRQ"
cat "/proc/irq/$IRQ/smp_affinity_list"
done
然后在有业务流量时观察中断计数的增量:
watch -n 2 "grep -F -- '$IF' /proc/interrupts"
判断时应看一段时间内的增量,而不是只看累计值。理想情况下,目标网卡对应的 IRQ 计数主要在规划的本地 CPU 上增长。如果所有计数都不增长,可能是接口没有流量、匹配到了错误的接口名称,或者该驱动的中断名称不包含接口名。
检查网卡错误、丢包和软中断
在变更前后分别保存网卡统计:
ethtool -S "$IF"
不同厂商的统计项名称差异较大,应重点对比包含以下含义的计数:
drop、discard、missed;no_buffer、alloc_fail;error、crc;timeout、reset;- 接收和发送队列是否出现明显不均衡。
同时观察系统软中断和 CPU 使用率:
mpstat -P ALL 1 10
grep -E 'NET_RX|NET_TX' /proc/softirqs
如果 IRQ 已经集中到本地 CPU,但这些 CPU 长时间满载,不能简单认为亲和性配置成功。此时应检查队列数量、RSS 分布、RPS 是否重复转发,以及应用线程是否与 IRQ 争用同一组核心。
检查应用内存是否逐步靠近本地节点
对经过目标策略重新启动的应用进程执行:
PID=12345
taskset -pc "$PID"
grep -E 'Cpus_allowed_list|Mems_allowed_list' "/proc/$PID/status"
numastat -p "$PID"
numastat -p 的结果应结合变更前后同等业务负载进行比较。新启动的进程在本地节点分配比例提高,通常比仅查看 Mems_allowed_list 更有参考价值,因为允许使用某个节点不代表所有页面都已经分配在那里。
如果系统处理器支持对应的 NUMA 性能事件,可以先查询事件名称,再使用 perf 做短时间对比:
perf list | grep -i -E 'numa|node|remote'
不同处理器的事件名称和计数含义不一致,不应直接把其他型号处理器上的事件名复制到当前服务器。
用业务指标确认是否值得保留
建议至少观察以下四类结果:
| 检查对象 | 观察方法 | 保留变更的信号 | 需要警惕的信号 |
|---|---|---|---|
| IRQ 位置 | /proc/interrupts、smp_affinity_list | 中断计数主要在目标本地 CPU 增长 | IRQ 被重新分配到远端或集中到单个 CPU |
| 网卡健康度 | ethtool -S、链路状态 | 丢包、错误、重置没有增加 | rx_missed、无缓冲区、超时或链路重置增加 |
| NUMA 分布 | numastat -p、性能计数器 | 本地节点分配或访问比例改善 | 远端访问增加,或节点内存不足导致分配失败 |
| 业务质量 | 吞吐、p95/p99、错误率 | 延迟抖动降低且吞吐不下降 | p99 延迟、错误率或系统态 CPU 上升 |
如果业务数据量较小,NUMA 指标可能不会出现明显变化;此时不应为了追求计数变化而继续扩大改动范围。只有当基线表明网络处理或内存访问确实是瓶颈时,才值得继续调整 RPS、XPS、队列数量或应用线程分配。
回滚条件与观察窗口
出现以下任一情况,应停止扩大变更范围,并根据影响程度执行回滚:
- 网卡出现链路抖动、队列重建、驱动重置或明显丢包;
rx_missed、无缓冲区、发送超时等计数持续增加;- 业务 p99 延迟较基线明显升高,且在稳定负载下无法恢复;
- 目标本地 CPU 长时间饱和,其他 CPU 空闲,形成新的单点瓶颈;
irqbalance或其他管理程序持续覆盖配置,导致 IRQ 位置不可控;- 应用因
membind的严格限制出现内存分配失败或频繁 OOM; - 网卡中断已经本地化,但远端内存访问、软中断或业务错误率反而增加;
- 修改队列数或 RSS 后出现队列不均衡、吞吐下降或连接异常。
回滚时应按照变更顺序反向执行。首先将业务进程恢复为原来的启动方式,必要时采用优雅重启;然后恢复 IRQ 亲和性:
BACKUP_DIR="/var/tmp/ens5f0-numa-20250101013000"
while IFS=$'\t' read -r IRQ CPUS; do
[ -n "$IRQ" ] || continue
printf '%s\n' "$CPUS" > "/proc/irq/$IRQ/smp_affinity_list"
done < "$BACKUP_DIR/irq-affinity.list"
如果变更期间修改过 RPS 或 XPS,应按备份逐项恢复:
while IFS=$'\t' read -r FILE VALUE; do
[ -n "$FILE" ] || continue
[ -e "$FILE" ] || continue
printf '%s\n' "$VALUE" > "$FILE"
done < "$BACKUP_DIR/rps-xps.list"
如果调整过硬件通道数,应使用变更前 ethtool -l 记录的当前值恢复,而不是凭记忆填写。若曾临时停止或修改 irqbalance,按变更前的 active 和 enabled 状态恢复,不要无条件执行 enable 或 disable。
验证回滚后,应重新检查:
grep -F -- "$IF" /proc/interrupts
ethtool -S "$IF"
systemctl is-active irqbalance
观察窗口至少覆盖一个完整业务高峰、一次应用线程扩缩容或连接数变化,以及可能发生的网卡重载场景。低流量时看不到 IRQ 分布问题,不能作为变更成功依据。只有在观察窗口内业务延迟、错误率、丢包、软中断、节点内存分布和服务重启行为都没有出现新的异常,才适合把临时配置固化为开机策略;如果远端访问没有改善且引入了额外 CPU 或运维复杂度,也应恢复原配置,而不是继续叠加新的亲和性规则。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9535.html



