服务器内存延迟怎么测,如何区分本地与跨NUMA节点访问结果?

发布人:A5数据发布时间:2026-11-15 11:02阅读量:23

服务器内存延迟不能只看一个“纳秒数”。要判断本地与跨 NUMA 节点访问的差异,至少需要固定测试程序、数据集、CPU 位置和内存位置,并确认页面确实分配在预期节点;否则,测试结果可能反映的是缓存命中、CPU 迁移或系统负载,而不是远端内存访问本身。

可执行的基本对照是:让测试线程始终运行在同一 NUMA 节点,分别把测试数据绑定到本地节点和另一节点,再交换 CPU 与内存节点复测。每组重复运行,记录延迟分布,并同时观察带宽、CPU 频率和节点内存分配。只有这些条件一致,延迟差异才适合用于判断应用是否受 NUMA 拓扑影响。

先明确测试目标:延迟不等于带宽

内存延迟通常表示处理器发出一次内存访问请求后,等待数据返回所需的时间,常用单位是纳秒(ns)。依赖链式访问测试会让后一次读取依赖前一次读取的结果,较难通过并行请求掩盖单次访问等待,因此适合观察延迟变化。

带宽表示单位时间内传输的数据量,常用 GB/s。它主要体现多个访问请求并行时的整体吞吐能力。延迟低不代表带宽一定高,带宽高也不代表单次访问一定快。服务器在高并发下可能保持较高吞吐,但请求排队会让业务观察到的等待时间上升。

测试前先明确要回答哪一个问题:

  • 本地与远端内存延迟相差多少:使用依赖链式访问,对照不同 CPU 节点与内存节点组合。
  • 多个线程能否持续提供足够带宽:另做并发带宽测试,记录线程数、数据集大小与总吞吐。
  • 业务高峰时是否受内存访问影响:在代表性并发负载下观察应用延迟、吞吐和 CPU 状态,不能只依赖空载微基准。
  • 实例是否适合当前工作集:结合内存容量、NUMA 节点布局、业务的并行方式和进程绑定策略判断。

测试结果应分别标注单线程延迟、并发带宽和业务响应时间。把它们合成一个“内存性能分数”,容易掩盖不同负载的瓶颈。

识别 NUMA 拓扑和测试边界

NUMA 系统将处理器和内存组织为多个节点。处理器访问与自己关联的内存,通常称为本地访问;访问其他节点的内存,则称为远端或跨节点访问。多路服务器常见这种结构,但一个物理插槽也可能被划分成多个 NUMA 节点;虚拟机呈现的节点布局也未必等同于宿主机的物理布局。

识别 NUMA 拓扑和测试边界配图

先检查系统当前呈现的拓扑:

numactl --hardware
lscpu -e=CPU,NODE,SOCKET,CORE

numactl --hardware 可查看节点编号、各节点内存及节点距离矩阵;lscpu 可辅助确认逻辑 CPU 与节点、插槽、核心的对应关系。距离矩阵是相对拓扑信息,不是以纳秒计的实测延迟,也不应直接当作性能结果。

在虚拟机、容器或受限环境中,还要确认可用 CPU 和内存节点没有被上层限制。节点编号可能从 0 开始,但不能仅凭编号判断哪个节点是本地节点;需要结合 CPU 与节点的对应关系核对。若系统只暴露一个 NUMA 节点,或者内存绑定受到限制,就无法用这台系统完成有代表性的跨节点对照。

用相同负载构造本地与远端对照

依赖链式访问工具可以用于观察不同数据集大小下的访问延迟。以下示例使用 lmbench 的 lat_mem_rd,在节点 0 上运行测试线程,并分别将内存绑定到节点 0 和节点 1:

numactl --cpunodebind=0 --membind=0 \
  lat_mem_rd -P 1 -N 10 256m 128

numactl --cpunodebind=0 --membind=1 \
  lat_mem_rd -P 1 -N 10 256m 128

测试前确认节点 0、1 都存在且可用,并确认该工具已安装。256m 是示例数据集大小,128 是示例步长;应按实际工具版本和服务器容量调整。工作集应大于末级缓存,且不能大到触发交换或明显内存压力。若要比较更小的数据集,也要把缓存命中与 DRAM 访问分开解释。

这两条命令的比较中,CPU 节点、线程数、数据集和步长保持相同,只改变内存节点。随后交换 CPU 节点,进行反向对照:

CPU 所在节点内存所在节点测试含义
节点 0节点 0节点 0 的本地访问
节点 0节点 1节点 0 访问远端内存
节点 1节点 1节点 1 的本地访问
节点 1节点 0节点 1 访问远端内存

如果系统有三个或更多节点,可按实际拓扑补测节点对,不要只挑一组距离就推断所有远端访问相同。部分平台的节点间路径并不对称,多个节点之间的访问成本可能不同。

--cpunodebind 将测试进程限制在指定 CPU 节点,但不一定固定到某一个逻辑 CPU。需要更严格复现时,可根据 lscpu 的结果选定同一节点内的一个 CPU,用 numactl --physcpubind 固定线程;每次测试都使用相同的 CPU 选择。若线程在核心间迁移,调度、缓存状态和频率变化都可能增加测量波动。

还要确认数据实际落在哪个节点。绑定策略写对了,不等于所有运行环境都一定按预期分配。可在进程运行期间查看进程的 NUMA 内存分布,例如使用:

用相同负载构造本地与远端对照配图

numastat -p PID

将 PID 替换为测试进程号。若测试进程结束过快,可采用可持续观察的测试方式,或增加重复次数后检查。若绑定失败、进程受容器节点集合限制,或页面主要落在非预期节点,应先解决测试环境问题,而不是解释延迟差异。

采样时记录哪些指标

单次运行的数值不足以支撑结论。建议每种 CPU 与内存节点组合独立运行至少 5 次;条件允许时增加重复次数,并记录每次结果及运行顺序。可以报告中位数、最小值、最大值或四分位范围。中位数适合减少少数调度抖动对概括值的影响,但不能替代对异常波动的检查。

采样时至少记录以下内容:

  • 延迟:工具输出单位、数据集大小、步长、线程数、预热方式、重复次数和每次结果。若工具提供多个工作集大小,应区分缓存命中区间与明显超过末级缓存后的区间。
  • 带宽:另行进行并发读写或综合带宽测试,记录总带宽和线程数。不能用单线程链式访问的结果代替多线程带宽。
  • CPU 状态:记录 CPU 型号、核心与线程布局、测试期间频率、功耗状态和是否有其他高负载任务。CPU 频率变化会影响以循环数或运行时间为基础的测量。
  • 系统干扰:观察上下文切换、CPU 迁移、缺页、内存压力和交换活动。测试期间有备份、编译、存储或其他内存密集任务时,最好重测。
  • NUMA 分布:确认测试页的位置,并记录自动 NUMA 平衡、进程亲和性及容器限制等条件是否影响页面迁移。
  • 业务指标:若目标是评估应用,还要同步记录请求吞吐、平均延迟及高分位延迟。微基准能揭示访问特征,但不能直接预测所有业务请求的响应时间。

用于排查系统行为时,可以补充硬件计数器和内存控制器统计,例如本地与远端内存访问量、缓存未命中和互连流量。不过计数器事件名称和含义会随处理器代际、内核及工具版本变化,应先查验当前平台支持的事件,并在报告里写明采集方式。不要把某一平台的事件名称直接套用到另一型号上。

影响结果的变量

数据集大小与缓存状态会改变测到的对象。工作集落在缓存内时,结果主要反映缓存层级和访问模式;工作集超过末级缓存后,才更可能体现 DRAM 访问。对比时需使用相同数据集和步长,并避免一组命中缓存、另一组主要访问内存的情况。

CPU 与内存控制器状态会影响延迟和吞吐。内存频率、通道启用情况、内存条配置、处理器频率和功耗策略都可能改变结果。不同服务器即使标称内存容量相同,也可能在通道、插槽填充方式或节点布局上存在差异。对照不同实例或硬件时,应记录这些条件,而不是只比较型号名称。

线程数和并发压力会改变排队情况。单线程依赖链式访问更适合观察单次访问等待;多个线程并发时,内存控制器、互连和队列的竞争会影响延迟与带宽。线程增加后带宽可能上升,但延迟也可能因排队变长。测试报告要把并发线程数与单线程结果分开。

页面首次触碰和自动迁移会导致实际内存位置与预期不一致。Linux 常见的按首次触碰分配方式:页面通常在首次访问时分配到执行触碰的 CPU 所在节点。若初始化和正式测试由不同 CPU 执行,或操作系统在运行期间迁移页面,测试就可能混入本地与远端访问。显式内存绑定有助于控制变量,但仍需检查实际分布。

虚拟化与容器限制会影响可观测拓扑和调度稳定性。虚拟机可能只看到部分 vNUMA 节点;容器也可能受到 CPU、内存节点集合约束。若同一虚拟机在不同时间处于不同宿主机负载下,结果可能波动。对云主机做横向比较时,应先确认实例对外呈现的拓扑与配额,再判断节点差异是否可重复。

怎样解释结果,而不把数字说过头

以下是一组仅用于说明计算方法的模拟数据,不代表任何设备或平台的实测结果:

条件5 次测试延迟(ns)中位数(ns)
CPU 节点 0、内存节点 092、93、94、92、9393
CPU 节点 0、内存节点 1136、139、138、141、137138
CPU 节点 1、内存节点 195、94、96、95、9495
CPU 节点 1、内存节点 0140、137、139、142、138139

在这组模拟数据里,以节点 0 为例,远端相对本地延迟增加比例为:

(138 − 93)÷ 93 × 100% ≈ 48%

这个比例只描述该组测试条件下的差异,不是硬件通用倍率。若本地与远端结果接近,先检查页面位置、工作集大小、缓存命中、节点拓扑以及绑核是否生效;若远端结果明显更高,则应进一步确认差异是否在多轮测试、反向节点对照和业务负载下仍然存在。

还要看波动区间。如果本地结果稳定,而远端结果忽高忽低,应排查后台负载、线程迁移、内存压力和节点间竞争。若两组波动范围大幅重叠,单看各自的最小值或最大值容易得出误判,应该增加重复次数并确认负载条件。对应用而言,还要观察高分位响应时间是否随远端访问比例变化;一次微基准的平均值不能直接换算成业务请求延迟。

当测试显示带宽明显提升而延迟变化不大,可能是增加并发后并行访问能力增强;当吞吐达到某个水平后延迟上升,则可能出现排队或资源竞争。判断时应结合 CPU 利用率、内存带宽和应用吞吐,而不是只看某一项指标是否“更好”。

产品评估与适用边界

对延迟敏感的数据库、低延迟缓存、内存计算和高并发服务,NUMA 布局可能影响实际表现。评估服务器或云主机时,可按工作负载选择核对重点:

工作负载特征优先核对适合的验证方式
单线程或少量线程、访问链依赖明显本地访问延迟、CPU 频率、页面位置固定线程与内存节点,重复链式延迟测试
多线程扫描或并行计算内存通道、总带宽、节点间流量单线程基线后逐步增加并发,记录带宽和延迟
多进程、工作集大于单节点内存节点容量、进程布局、跨节点访问比例按进程或工作集做绑定对照,并观察应用指标
虚拟机或容器部署可见 NUMA 拓扑、CPU 与内存节点限制在实际交付环境中核对拓扑并重复业务测试

同口径比较不同实例或服务器时,至少统一测试工具与版本、数据集、步长、线程数、CPU 固定方式、内存绑定方式、预热和采样次数。还要记录内存容量和拓扑;若其中任一条件不同,应把它作为解释差异的变量,而不是将结果简单归因于单一处理器或产品型号。

验收可以先约定测试矩阵和通过条件,再运行测试:例如指定必须验证的本地与远端节点对、重复次数、允许波动范围,以及业务负载下的延迟和吞吐目标。具体阈值应根据应用的服务目标制定,不能套用一组对所有服务器都适用的固定纳秒标准。若供应方只提供整机规格而没有同环境测试结果,可把节点拓扑、可用内存容量、CPU 配额和测试配合条件列入交付核对项。

若应用把线程、进程和内存页分散到多个节点,跨节点访问可能是容量或并行扩展的必要代价,不一定代表配置错误。相反,如果业务工作集可以留在单个节点,且测试显示远端访问会影响服务目标,就值得进一步评估进程绑核、内存分配策略或节点布局。是否采用这些方式,应以实际应用测试确认;强行绑定也可能造成单节点内存不足或资源不均衡。

产品评估与适用边界配图

围绕数据库、缓存和内存计算等需要处理器与内存资源的业务,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold 与 AMD EPYC 平台,并有不同内存容量及 SSD、NVMe 存储配置。多种 CPU、内存与存储组合,为不同规模的业务部署和计算任务提供硬件资源基础。

复测条件与容量判断

当不同轮次结果不一致,或从测试机迁移到生产实例后数据变化明显,应在相同工作集和并发条件下复测,并重新确认 CPU 与页面位置。容量评估还要给内存留出操作系统、缓存及业务峰值所需空间;若为了获得更高的本地访问比例而把工作集压入单节点,必须同时验证该节点是否有足够可用内存,以及其他节点是否会因容量不平衡而形成瓶颈。

一份可复核的测试记录应包含设备或实例标识、可见 NUMA 拓扑、操作系统与工具版本、CPU 和内存绑定、数据集与步长、重复结果、延迟统计、带宽和系统负载。业务环境发生内核升级、虚拟机迁移、内存扩容、BIOS 或电源策略调整后,应重新测量。把这些条件与业务延迟目标一起保存,才能判断观察到的差异究竟来自节点访问、资源容量变化,还是测试环境变化。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9532.html

相关推荐