我第一次意识到NUMA对大数据存储性能的深远影响，是在一次处理香港大型数据平台的写入延迟问题时。当时平台部署在双路Intel Xeon裸金属服务器上，搭载256GB DDR4内存和多块NVMe SSD组成的RAID10阵列。表面看I/O带宽足够，但Hadoop HDFS的写入吞吐量始终徘徊在预期峰值的70%左右，且延迟偶发性飙高。在排查过程中，我发现CPU与内存访问之间存在NUMA跨节点跳转，从而引起访问延迟。在本文中，我将详细分享如何通过NUMA绑定、CPU亲和性（CPU Affinity）与IO亲和策略，系统性优化大数据存储任务的性能。

一、NUMA架构原理回顾与性能瓶颈来源

现代双路甚至多路物理机广泛采用**NUMA（Non-Uniform Memory Access）**架构：每个CPU（socket）绑定自己的本地内存控制器和若干PCIe设备（包括NVMe、HBA卡等）。虽然操作系统提供逻辑统一内存视图，但跨NUMA节点访问远程内存时会产生高达2~3倍的访问延迟。

NUMA性能瓶颈常见场景：

二、NUMA与CPU亲和性基础环境确认

我以香港本地部署的一台裸金属服务器为例，其硬件配置如下：

• CPU：Intel Xeon Gold 6348 x2（共56核112线程）
• 内存：DDR4 ECC REG 256GB（按每Socket绑定128GB）
• 存储：NVMe SSD x6，通过RAID10挂载至Node1 PCIe
• 系统：CentOS Stream 9，NUMA感知内核已启用

1. 查看NUMA拓扑结构

lscpu | grep "NUMA"
numactl --hardware

输出示例：

NUMA node0 CPU(s):     0-27
NUMA node1 CPU(s):     28-55
NUMA node0 Mem:        128000 MB
NUMA node1 Mem:        128000 MB

2. 确定NVMe挂载在Node1：

lspci -v | grep -i nvme -B 10

查到NVMe控制器的PCI Bus编号，例如0000:81:00.0，再用如下命令确认归属NUMA节点：

cat /sys/bus/pci/devices/0000:81:00.0/numa_node
# 输出为：1

三、优化步骤详解

1.使用numactl绑定大数据存储进程

在大数据平台如Hadoop HDFS、Kafka、ClickHouse等应用中，使用numactl绑定CPU与内存是最直接有效的优化手段：

numactl --cpunodebind=1 --membind=1 ./start-hdfs-datanode.sh

这样确保了进程调度在NUMA node1，内存分配也优先来自本地，降低跨节点访问。

如果是Java应用：

numactl --cpunodebind=1 --membind=1 java -Xms64G -Xmx64G -jar kafka.jar

2. 配置CPU亲和性：避免线程在NUMA之间迁移

对于C++或多线程应用，除了numactl，还需精细配置CPU亲和性：

taskset -c 28-55 ./your_app

这将进程绑定到NUMA node1的CPU核范围（核编号28~55），避免线程频繁在socket之间迁移。

对于Systemd管理的服务：

[Service]
ExecStart=/usr/bin/your_app
CPUAffinity=28-55
MemoryPolicy=bind:1

3. 针对I/O线程设置IRQ亲和性

I/O密集型的大数据平台还需对NVMe的IRQ中断绑定特定CPU核，避免中断在NUMA跨核触发：

# 找到NVMe的IRQ号
grep nvme /proc/interrupts

# 使用irqbalance关闭或屏蔽目标中断自动迁移
systemctl stop irqbalance

# 绑定中断到Node1核心（如 CPU core 30）
echo 1 > /proc/irq/IRQ_NUM/smp_affinity_list

四、性能验证与指标提升

测试工具：

• fio用于验证NVMe性能变化
• perf top观察线程调度
• numastat监测跨节点内存分配情况

优化前后的性能对比（以ClickHouse写入吞吐为例）：

五、附加建议：结合NUMA感知调度与系统参数

对于Kubernetes部署环境，可配置Topological Manager与CPU Manager策略，确保Pod调度在同一NUMA：

--topology-manager-policy=single-numa-node
--cpu-manager-policy=static

提高写入突发能力时，建议将/proc/sys/vm/dirty_ratio与vm.dirty_background_ratio按NUMA内存比例细调。

六、架构调优归根到底是对硬件特性的敬畏

NUMA并不是一个纯粹的系统概念，它体现了物理硬件分布对性能的根本影响。在香港这样的网络中转枢纽，裸金属服务器承担着大量实时存储与流处理任务，充分利用NUMA亲和性、合理调度CPU与内存资源，不仅能大幅提升吞吐率，更能稳定延迟表现，为高并发业务提供强有力的底层支撑。我的经验是：越是底层的细节，越决定着系统的上限。