我们团队维护着一组部署在香港的物理服务器集群，专为一个高并发的图文混排内容分发系统提供算力支撑。系统用户主要来自东南亚和大中华区，每秒需要响应上千次请求，并完成数据打包与压缩操作。尽管服务器硬件规格不低（双路Intel Xeon Gold系列，DDR4内存512GB），但在并发量突增时，CPU利用率却未打满，处理延迟却居高不下。直觉告诉我问题出在内存带宽与NUMA架构利用不充分。

我开始着手对Xeon架构下的内存通道、NUMA节点布局、线程亲和性及内存调度策略进行优化，下面就是我这次调优全过程的实战记录。

一、硬件结构基础与瓶颈识别

1.1 服务器配置概况

1. CPU型号：Intel Xeon Gold 6338 (Ice Lake)，2颗
2. 每颗CPU核心数：32C64T，总计64C128T
3. 每颗CPU支持8个DDR4通道，共16个内存通道
4. 内存配置：16×32GB DDR4-3200，均匀插槽布局

1.2 NUMA架构拓扑确认

我通过如下命令确认NUMA节点划分情况：

lscpu | grep NUMA
numactl --hardware

结果输出显示：

NUMA node 0: cores 0–31，memory 256GB
NUMA node 1: cores 32–63，memory 256GB

这意味着如果一个线程运行在node 0但频繁访问node 1的内存，将产生远程内存访问（remote access）开销。

二、定位内存通道与带宽瓶颈

2.1 使用 `perf` 和 `pcm-memory.x` 工具分析内存带宽利用率

我首先安装并运行 Intel PCM 工具：

git clone https://github.com/intel/pcm.git
cd pcm
make
./pcm-memory.x 1

结果发现，在并发压力测试时内存读带宽不到70GB/s，而理论上应接近DDR4-3200×16通道≈100GB/s以上。这意味着内存访问分布可能不均或发生了跨NUMA访问。

三、内存通道与并发处理优化实战

3.1 优化线程绑定与内存亲和性

为了强制线程与内存分配保持一致NUMA节点，我采用`numactl`和`taskset`控制策略。

将高并发任务部署为两个独立进程，每个进程绑定至一个NUMA节点：

# 启动服务1，绑定NUMA node 0，使用CPU core 0–31
numactl --cpunodebind=0 --membind=0 ./worker --port=8001 &

# 启动服务2，绑定NUMA node 1，使用CPU core 32–63
numactl --cpunodebind=1 --membind=1 ./worker --port=8002 &

通过此方式，确保数据始终在本地内存通道流转，降低延迟。

3.2 应用程序内内存分配策略调整（针对C++）

对业务核心模块，我引入 `jemalloc` 并开启 `NUMA-aware` 模式：

mallctl("opt.numa", NULL, NULL, &enable, sizeof(enable));

同时将热点数据结构拆分为两个 shard，以实现内存局部性最大化。

四、BIOS层内存通道与预取优化

我进入香港机房的BMC界面，在 BIOS 配置中做了如下调整：

• Memory Interleaving：设置为 Channel Interleaving（开启通道级别并行访问）
• NUMA Cluster Mode：设置为 Cluster-on-Die (COD)，提升 L3 → 内存访问的带宽一致性
• Memory Patrolling/ECC Scrubbing：关闭，减少后台内存干扰
• Memory Pre-fetcher：启用 Hardware prefetch 和 Adjacent cache line prefetch，提升顺序访问带宽

这些设置在某些型号如Supermicro X12DPT、Dell R750中略有差异，需根据主板确认。

五、验证优化效果

我使用 `stream` 基准工具再次评估带宽：

apt install -y build-essential
wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c
gcc -O2 stream.c -o stream
numactl -m 0 -C 0-31 ./stream

带宽结果：

• 优化前：62\~70 GB/s
• 优化后：94\~98 GB/s
• 内存访问延迟降低约 15%，任务响应提升约 20%

另外应用层使用 `wrk` 和 `locust` 做高并发测试时，P95延迟降低了约18%，核心利用率更趋均衡，系统整体表现更“线性”。

六、总结与经验教训

在香港部署的高并发服务器中，即使采用的是顶级Intel Xeon平台，如果忽略了内存通道的利用率和NUMA访问亲和性，仍会在实际压力下出现性能瓶颈。我的调优实践总结如下：

• NUMA节点一定要与进程/线程绑定，避免远程访问。
• 内存插槽配置需完全对齐通道数，对称布局。
• BIOS中的通道交错、预取器策略影响极大，建议手动验证。
• 在用户态配合`numactl`+jemalloc多分配器优化能进一步减少内存冲突。
• 内存带宽瓶颈往往比CPU瓶颈更难发现，但对高并发影响更大。

这次优化让我们对Intel平台下内存通道、NUMA与线程资源的调配有了更深理解，也让我重新审视了“多核”并非等于“高性能”这个常识。希望这份记录能为类似使用香港物理机部署高并发应用的团队提供一点经验启发。