服务器内存交错如何影响内存访问性能?与NUMA节点有什么关系
一台双路服务器已经把内存条均匀插满,开启“内存交错”后,程序却不一定更快。原因是“交错”可能发生在内存通道之间,也可能发生在NUMA节点之间:前者有机会让多个通道并行处理访问,后者则可能让固定在一个CPU上的线程频繁访问另一颗CPU旁边的内存。两者都在分散数据,但跨越的硬件边界不同,性能结果也可能相反。
判断内存交错是否有利,关键不是看开关状态,而是看工作负载需要什么:连续、大量的数据传输通常更关注可用带宽;链式查找、频繁随机访问更容易受单次访问延迟影响。NUMA节点则决定了“哪颗CPU访问哪片内存更近”。如果交错提高了并行度,却同时破坏了CPU与内存的本地性,带宽和延迟就可能出现一升一降。
先区分:交错的是通道、内存区域,还是NUMA节点
内存交错是指按照一定规则,把连续的物理地址或内存分配分散到多个可访问的内存资源上,使请求不必集中落在同一处。不过,在服务器配置和性能讨论中,“内存交错”并不只指一种机制。
| 常见说法 | 主要发生位置 | 分散的对象 | 与NUMA本地性的关系 |
|---|---|---|---|
| 内存通道交错 | CPU内存控制器与多个内存通道之间 | 物理地址对应的访问请求 | 通常可在同一NUMA节点内部进行,不必产生跨节点访问 |
| Rank等更低层级交错 | 同一通道或内存控制器管理的资源之间 | 可并行处理的访问请求 | 通常不改变操作系统看到的NUMA归属 |
| NUMA节点间交错 | 操作系统内存分配策略,或平台提供的节点交错模式 | 进程使用的内存页,或平台映射的地址区域 | 可能增加CPU访问远端内存的比例 |
这里有一个容易混淆的边界:交错不等于NUMA,NUMA也不以关闭交错为前提。一台双路服务器可以让每颗CPU各自使用本地多个内存通道交错,同时向操作系统呈现两个NUMA节点。这样既利用本地通道并行度,也保留了按节点放置线程和内存的能力。

BIOS/UEFI中的“Node Interleaving”等选项与Linux进程使用的NUMA交错内存策略也不能直接画等号。前者可能改变平台向操作系统呈现的内存拓扑;后者是在操作系统已经识别的节点之间,按策略分配进程内存页。具体选项如何映射到硬件,仍应以该服务器的平台说明和系统识别结果为准。
为什么通道交错可能提高带宽
可以把同一颗CPU连接的多个内存通道理解为多条可以并行工作的通路。如果大量请求都落在一个通道,其他通道空闲,整体吞吐会受忙碌通道限制。内存控制器通过地址映射,把请求分散到不同通道后,就有机会同时处理更多未完成的访问。
例如,某工作负载持续读取远大于CPU缓存的数据,而一颗CPU有两个可用通道。若每个通道在该访问模式下可提供约40 GB/s,均衡使用两个通道的带宽上限会比只使用一个通道更高;但不能据此认定应用一定能得到80 GB/s。内存频率、读写比例、控制器效率、缓存命中、访问是否连续,以及程序能否同时发出足够多的请求,都会降低实际可用带宽。
通道交错的映射粒度也不能统一写成“每64字节轮流放一个通道”。64字节常见于CPU缓存行大小,但通道选择可能使用多个物理地址位及哈希规则,平台实现并不一致。对应用而言,更可靠的理解是:地址映射使足够分散的内存访问有机会覆盖多个通道;它不会自动把一个串行、必须等待前次结果的访问链变成并行访问。
这也解释了反常现象:交错后的带宽测试可能明显提升,而随机指针追踪程序几乎不变。后者每一步都依赖上一步读出的地址,同一时刻难以积累足够多的独立请求,增加可用通道并不能消除等待下一次数据返回的时间。
NUMA节点改变的是“远近”,不只是分布是否均匀
NUMA即非一致性内存访问。在典型双路服务器上,每颗CPU连接自己的内存控制器和内存条;CPU访问本地内存,与经由处理器间互连访问另一颗CPU旁边的内存,路径不同。操作系统通常把这种拓扑呈现为多个NUMA节点,供调度和内存分配策略使用。
假设程序线程固定在节点0的CPU上。如果其数据也位于节点0,访问主要走本地路径;如果一部分页面分配到节点1,这部分访问就需要走远端路径。远端访问通常会增加延迟,并占用处理器间互连资源。由此可见,节点间交错可能带来两种同时存在的效果:
- 数据分布到更多节点,单个节点的内存通道不再独自承担全部流量,有机会提高高并发访问的总带宽。
- 固定在一个节点上的线程会访问更多远端页面,单次访问延迟可能上升,互连也可能成为新的瓶颈。
这里的“交错”通常按内存页等分配单位发挥作用,而不是让一次读取平均走两颗CPU。一页内存最终仍有其物理位置。Linux进程采用节点间交错策略时,连续分配的页面会尽量分布到允许的节点;页面大小、内存不足和实际分配路径等因素会影响最终分布。若使用透明大页或显式大页,也不能简单按普通4 KiB页面的粒度推断结果。
反过来,NUMA节点数量增加也不表示内存带宽自然增加。某些平台可把一颗CPU内部划分为多个NUMA域,使每个域对应部分内存控制器资源。此时,操作系统看到的节点可能不等同于物理CPU颗数;线程绑定和内存放置需要依据实际拓扑,而不是仅凭“单路”或“双路”判断。
哪些因素会改变交错的效果
第一是内存条的安装方式。如果一颗CPU只使用部分通道,或者各通道容量、内存条配置不均衡,可并行利用的资源和地址映射方式都可能受到影响。先核对平台支持的插槽安装规则,再讨论交错收益;软件策略无法补出未安装的物理通道。
第二是访问模式和并发度。顺序扫描、大块计算、多线程独立读写,较容易消耗内存带宽;小范围热点数据可能主要留在缓存中,调整内存布局不一定可见;依赖性很强的随机访问则更敏感于延迟。读多写少与大量写入的结果也不一定相同,不能只用一种复制或读取测试代表业务。
第三是线程与内存是否同址。程序启动时由节点0上的线程先初始化数据,页面可能主要落在节点0;随后若工作线程迁移到节点1,就会产生远端访问。反过来,线程固定在节点0、内存却刻意交错到所有节点,也会改变访问比例。因此,评估交错必须同时记录CPU放置和内存放置。
第四是是否已经达到本地资源的上限。单节点内存带宽尚未用满时,把页面分散到远端,可能只增加访问代价;单节点已持续饱和,而应用又能容忍额外延迟时,跨节点分散才更有机会带来吞吐收益。即使如此,处理器间互连的负载仍需要纳入判断。
第五是平台拓扑与固件模式。不同CPU平台、服务器固件和内存配置,对通道、地址映射及NUMA域的呈现方式不同。同名“交错”选项不能跨机型直接套用经验;尤其不能因为操作系统只显示一个NUMA节点,就断定跨CPU物理访问的距离已经消失。
针对数据库、接口服务和多任务计算等内存访问特征不同的业务,A5idc数据提供香港、美国等地区的物理服务器,涵盖单路与双路AMD EPYC、Xeon Gold等平台,并有不同内存容量和NVMe存储配置。这些CPU、内存与存储资源组合,为侧重并发吞吐或访问响应的应用提供了不同规模的部署基础。
如何验证:把拓扑、位置和性能放在同一组结果里
验证应先回答三个问题:系统实际看到了哪些节点?测试进程在哪些CPU上运行、内存落在哪些节点?业务关心的带宽、延迟或处理量是否因此变化?只看其中一项,容易把不同机制混在一起。
在装有相应工具的Linux服务器上,可先读取拓扑:
lscpu -e=CPU,NODE,SOCKET
numactl --hardware
第一条用于对应逻辑CPU、NUMA节点和物理CPU;第二条可查看节点CPU、节点内存以及系统给出的节点距离信息。节点距离是拓扑参考,不等同于应用的一次内存访问耗时。如果固件模式调整前后,节点数量或CPU、内存归属发生变化,应先确认测试比较的是否仍是同一种拓扑。
然后用同一个可重复运行的内存负载分别测试“CPU与内存同节点”和“CPU固定、内存在节点间交错”。以下命令中的/path/to/benchmark需替换为实际测试程序;示例以存在节点0、且程序自行初始化并使用足够大的数据集为前提:
numactl --cpunodebind=0 --membind=0 -- /path/to/benchmark
numactl --cpunodebind=0 --interleave=all -- /path/to/benchmark
这组对比只改变进程的内存放置策略,不等于切换硬件通道交错,更不等于修改BIOS设置。测试时要确保数据集明显大于可用缓存、工作线程数一致,并记录预热过程、运行时长和重复结果。若应用会创建跨节点运行的线程,固定全部线程到节点0未必符合真实业务,应另做“各节点线程使用各自本地内存”的对照。
进程运行期间,可用其实际PID查看各节点内存占用:
numastat -p 12345
将12345替换为测试进程的PID。该结果可辅助确认页面是否大致按预期分布,但不能据此判断每个内存通道承受了多少流量。通道级利用率需要平台支持的内存控制器性能计数器或相应分析工具;业务端到端吞吐、请求延迟则仍需由应用本身测量。
一组示例性的判断结果可以是:顺序读取测试在节点0本地放置时达到110 GB/s,节点间交错后达到145 GB/s;另一个随机依赖访问测试的平均访问时间却从约90 ns增至约125 ns。这不是矛盾,而是交错借用了更多节点的带宽,同时让部分请求走了更远的路径。两个数字属于不同负载,不能合并成“性能提升了多少”的单一结论。

如果要验证固件中的节点交错选项,应先记录原始设置、系统拓扑和业务基线,并安排可重启的维护窗口;变更可能影响整机所有工作负载。完成对比后,以恢复原设置并重新检查拓扑与业务指标作为回退方式,不宜在承载重要业务的机器上仅凭一次跑分直接保留变更。
什么时候不应追求“交错越多越好”
交错的适用边界取决于瓶颈。如果程序主要受缓存命中率、计算或存储I/O限制,内存交错带来的变化可能很小。如果程序对尾延迟敏感,或者线程与数据能够稳定保持在同一NUMA节点,优先维持本地性通常比把内存均匀铺到所有节点更值得验证。只有当本地带宽确实成为限制、程序存在足够并行的内存请求,并且远端访问与互连开销可接受时,跨节点交错才可能是有利的取舍。
因此,判断服务器内存交错是否有效,可以沿着一条明确的边界进行:先确认讨论的是通道内的硬件交错,还是节点间的内存放置;再确认线程和页面的位置;最后分别比较业务吞吐与延迟。带宽提高但尾延迟恶化、节点分布均匀但业务无变化,都可能是合理结果。应保留符合目标工作负载的配置,而不是把“分布更平均”本身当作性能目标。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7462.html


