在香港的数据中心，我们的电商平台和相关业务服务正在面临越来越高的 计算吞吐量 和 高并发请求。尤其是 大促期间，平台的计算需求暴增，订单处理、推荐系统和图像处理等都要求高效、快速地执行。此时，服务器的 内存性能 和 内存访问模式 就成了我们优化的重点。

几个月前，我们遇到了一次大促高峰，当时大量计算任务并发执行，导致了CPU 占用率过高，并且网络延迟也开始上升。我通过多轮分析，发现问题根源不在计算资源不足，而是在内存访问层面，尤其是内存的 亲和性 配置不当，造成了内存访问冲突，导致吞吐量大幅下降。

这次问题促使我深入研究并实施了内存亲和性（Memory Affinity）调优，以及 NUMA（非一致性内存访问）优化，最终提升了计算吞吐量。

一、问题诊断：内存瓶颈与 CPU 协同工作的问题

1. 高并发下的性能瓶颈

当我们通过 top 和 htop 工具监控系统时，发现系统的 CPU 使用率飙升，但 内存使用率 并没有达到瓶颈。计算任务（如大规模的订单处理、实时推荐等）尽管分配了足够的 CPU 资源，但由于 内存访问频繁，导致任务的执行速度并没有达到预期。

具体表现在：

• 内存带宽：内存访问过于频繁，带宽接近上限；
• 延迟：从 CPU 到内存的访问延迟增加，尤其是多个并发任务在同一内存区域上争用时；
• NUMA 效果：系统未能有效利用 NUMA 优化，导致多核处理器的内存访问效率低下。

通过分析，发现问题在于 内存的亲和性 配置不当，多个线程和进程在内存的不同区域上频繁争用，导致内存访问冲突，最终影响了整体吞吐量。

2. 使用 numactrl 和 numastat 分析 NUMA 配置

我通过以下命令，检查了系统的 NUMA 配置：

numactrl -H

结果显示，虽然 CPU 节点之间存在明显的内存分配不均，且多核 CPU 对内存访问的延迟较高。因此，我需要进一步分析并进行优化，减少 CPU 访问远程内存区域的概率，优化 内存亲和性。

二、优化目标：减少内存访问冲突与提升计算吞吐量

为了提升系统的 计算吞吐量，我设定了以下几个优化目标：

• 减少 NUMA 节点之间的远程内存访问：优化 内存亲和性，确保每个 CPU 核心尽可能访问本地内存，减少跨 NUMA 节点的内存访问延迟；
• 优化内存访问模式：根据不同的计算任务（如高并发的数据库访问或图像处理），优化内存的 预取策略 和 缓存策略，减少内存访问冲突；
• 合理配置 NUMA 亲和性：通过调整 NUMA 配置，使得进程尽量运行在和它对应的 内存区域 上，从而提高内存带宽利用率。

三、具体实施步骤：内存亲和性与 NUMA 调优

1. 启用和配置 NUMA

在服务器硬件支持 NUMA（非一致性内存访问） 的情况下，我需要确保操作系统和应用程序能够有效利用 NUMA 来优化内存分配。首先，通过以下步骤查看 NUMA 配置：

numactrl --hardware

这可以帮助我确认当前系统的 NUMA 结构，是否存在节点之间的不均衡内存访问问题。根据输出结果，我能够知道不同 CPU 节点与内存节点 的配对情况，并据此调整内存分配策略。

2. 配置 CPU 亲和性（CPU Affinity）

为了优化 内存亲和性，我将 CPU 核心绑定到本地内存节点。使用 taskset 命令配置 CPU 亲和性，使得计算任务优先使用本地内存，减少 NUMA 跨节点访问延迟。

taskset -c 0,1,2,3 ./my_computation_task

在上面的示例中，我将计算任务绑定到本地的 4 个 CPU 核心，从而使得该任务优先访问本地内存，避免了远程内存的访问延迟。

3. 调整 NUMA 内存策略

为进一步优化内存访问，我使用了 numactrl 命令来指定内存的分配策略。

numactrl --interleave=all ./my_computation_task

这条命令会启用内存交替分配策略，确保内存尽可能均匀分配到所有 NUMA 节点上，这对于有多个内存密集型任务的场景非常有用。

4. 内存预取与缓存优化

在一些高并发应用中，内存预取和缓存策略直接影响性能。我使用了以下两种技术来优化内存访问：

• 内存预取：根据计算任务的内存访问模式，通过修改代码中的内存预取指令，减少 cache miss，优化内存访问效率；
• 调整缓存大小：根据任务需求，调整 CPU 缓存的大小，确保关键数据存储在较低层次的缓存中，以加速访问。

对于数据库查询，优化查询时使用的 内存池管理，避免频繁的内存分配和释放，提升内存访问效率。

5. 优化 NUMA 调度与资源分配

对于 内存密集型 的服务，我选择使用 numactrl 强制绑定内存到特定节点，同时通过 NUMA-aware 调度 确保每个计算任务都尽可能使用本地内存。

例如：

numactrl --preferred=0 ./my_computation_task

这条命令会强制计算任务在 NUMA 节点 0 上运行，确保它尽可能使用本地的内存资源。

四、性能测试与优化效果

1. 网络吞吐量优化

通过 iperf3 测量内存优化后的网络吞吐量，我们发现 内存亲和性 优化带来了明显的性能提升：

2. 计算吞吐量提升

通过使用 fio 工具测试计算任务的 I/O 性能，结果也明显提升：

通过 NUMA 调优 和 内存亲和性配置，我们有效减少了 内存访问延迟，提高了计算吞吐量，尤其是对于 高并发、内存密集型任务 的性能提升最为显著。

五、总结与经验分享

通过这次的 内存亲和性（Memory Affinity） 和 NUMA 调优，我成功地优化了香港服务器在高并发环境下的内存访问效率，并显著提升了计算吞吐量。以下是我的一些关键经验：

• NUMA 配置非常重要，尤其是对于多核 CPU 和大内存系统，确保每个 CPU 核心优先使用本地内存，有助于提高性能。
• 内存预取和缓存策略是优化内存访问模式的关键，适当地配置能大幅减少内存访问延迟。
• CPU 亲和性和 NUMA 内存绑定，减少了远程内存访问的开销，避免了不必要的延迟。
• 通过使用 numactrl 和 taskset，我们能够精细地控制进程与内存、CPU 的亲和性，最大化利用硬件资源。

如果你也面临高并发计算任务带来的性能瓶颈，内存亲和性调优和 NUMA 配置一定能为你带来意想不到的性能提升。