台湾服务器采用双路AMD EPYC 7742时,如何验证NUMA对性能的影响?

发布人:A5数据发布时间:2026-10-15 09:06阅读量:148

双路 AMD EPYC 7742 服务器上验证 NUMA,最直接的方法不是同时调整 BIOS、线程数和内存策略后比较一个总分,而是固定进程运行的 CPU 节点,只改变内存所在节点。例如,让同一程序始终运行在 NUMA Node 0,先绑定 Node 0 内存,再绑定 Node 1 内存,观察内存延迟、带宽、应用吞吐量和尾延迟的变化。这样才能把“访问本地内存”和“访问远端内存”造成的差异单独提取出来。

台湾只是服务器部署地点,并不会改变 NUMA 的基本机制。若测试通过公网客户端发起请求,台湾机房的网络路径、运营商互联、跨区域 RTT 和时间段拥塞都可能掩盖 NUMA 影响。因此,计算与内存测试应优先在服务器本机或同一网络区域内完成;对外服务测试则要把网络耗时和服务器内部处理耗时分开记录。

建立基线:先确认这台服务器到底暴露了什么拓扑

确认是物理双路还是虚拟化环境

产品评测首先要确认测试对象。物理机、独享服务器、虚拟机虽然都可能显示“AMD EPYC 7742”,但可见的 CPU、内存和 NUMA 拓扑并不一定相同。

在物理双路环境中,两颗 EPYC 7742 均启用全部核心并开启 SMT 时,操作系统通常会看到 128 个物理核心和 256 个逻辑 CPU。实际数量还可能受到 BIOS 禁用核心、SMT 设置、虚拟化平台 vCPU 配额和宿主机策略影响,不能仅凭产品名称推断。

可以先执行以下只读命令:

lscpu
lscpu -e=CPU,CORE,SOCKET,NODE
numactl --hardware
uname -a
cat /sys/devices/system/node/node*/cpulist

如果允许读取 DMI 信息,还可以记录处理器、内存条和主板信息:

sudo dmidecode -t system -t processor -t memory

dmidecode 只用于读取硬件信息,不会修改配置;在托管环境中如果没有权限,应以服务商提供的硬件验收信息和操作系统输出为准。

重点观察以下项目:

  • 是否确实存在两个物理 CPU Socket。
  • 每个 Socket 分配了多少 CPU 核心。
  • 系统显示了几个 NUMA Node。
  • 每个 NUMA Node 绑定了哪些 CPU。
  • 每个节点可用内存是否接近对称。
  • SMT 是否开启。
  • 是否运行在裸机、虚拟机或容器中。

双路 EPYC 平台的 NUMA 节点数量不一定等于两个 Socket。常见的 NPS 设置会影响操作系统看到的节点形式:

处理器内部的 NPS 配置常见的操作系统节点形态说明
NPS1每颗处理器约 1 个节点,双路约 2 个节点节点数量少,单个节点包含的内存范围较大
NPS2每颗处理器约 2 个节点,双路约 4 个节点本地性粒度更细
NPS4每颗处理器约 4 个节点,双路约 8 个节点更容易进行细粒度绑核和绑内存

这只是常见呈现方式,实际结果还会受到主板固件、内存交叉模式、虚拟化层和内核版本影响。numactl --hardware 显示的 node distance 是相对距离值,不是纳秒延迟。例如 10 和 20 表示相对访问代价不同,不能直接当作“10 纳秒”和“20 纳秒”。

记录软件和调度基线

NUMA 测试不应只记录 CPU 型号,还要记录内核调度、透明大页和自动 NUMA 平衡状态。建议保存以下输出:

uname -r
cat /sys/kernel/mm/transparent_hugepage/enabled
sysctl kernel.numa_balancing
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor 2>/dev/null || true
lscpu | grep -E 'Model name|Socket|Core|Thread|NUMA|MHz|CPU\(s\)'

测试阶段不要临时修改这些设置。若确实需要比较不同配置,例如开启和关闭 SMT、调整 NPS 或切换 NUMA 自动平衡,应把它作为独立实验,并记录修改前后的配置、重启时间和恢复方式。

先建立不带结论的性能基线

基线的作用是确认测试系统正常,而不是提前证明 NUMA 一定有影响。建议至少采集以下指标:

指标采集内容用途
CPU 拓扑Socket、Core、Thread、Node 映射确认绑核范围
内存拓扑每个节点容量、可用容量和分布排除节点容量不对称
内存带宽单节点和双节点带宽判断内存子系统是否成为瓶颈
内存延迟本地与远端访问延迟观察 NUMA 距离造成的代价
应用吞吐量请求数、任务数或批处理条数判断业务层影响
尾延迟p95、p99,必要时记录 p999判断抖动是否被放大
CPU 频率和温度稳态频率、封装温度、降频情况排除热和功耗限制
调度状态CPU migration、context switch、page migration确认调度器是否改变了实验条件

基线中可以保留一组“操作系统默认调度”的结果,但不能把它直接当作 NUMA 的对照组。进程未绑定时,Linux 可能将线程调度到多个节点,内存也可能由首次访问线程决定位置。默认状态适合反映用户不做优化时的体验,不能单独用于因果判断。

选择变量:先只验证内存放置位置

主实验采用本地内存与远端内存对照

在双路服务器上,最容易复现的单变量实验是固定 CPU 位置,只改变内存位置。

以存在 Node 0 和 Node 1 的环境为例:

选择变量:先只验证内存放置位置/主实验采用本地内存与远端内存对照配图

  • A 组:CPU 绑定 Node 0,内存绑定 Node 0。
  • B 组:CPU 绑定 Node 0,内存绑定 Node 1。
  • 程序、线程数、数据量、运行时间和编译版本完全相同。
  • A、B 两组之间唯一有意改变的变量是内存所在节点。

示例命令如下:

export OMP_NUM_THREADS=32
export OMP_PROC_BIND=close
export OMP_PLACES=cores

numactl --cpunodebind=0 --membind=0 ./stream
numactl --cpunodebind=0 --membind=1 ./stream

这里的 ./stream 代表已经准备好的同一份内存带宽测试程序。两次运行必须使用相同的数组规模和测试参数,工作集应明显大于处理器缓存,同时小于被绑定节点的可用内存。若远端节点容量不足,--membind=1 可能导致程序分配失败,此时不能偷偷改成 --interleave=all 后继续比较,因为这已经改变了实验变量。

如果 NUMA 节点数量超过两个,应先选择同一 Socket 内的本地节点和另一 Socket 的远端节点。不要把 NPS1 的 Node 0 与 NPS4 的 Node 0 直接横向比较,节点定义已经发生变化。

每个线程数都要形成独立的 A/B 对照

线程数会改变内存带宽压力,因此不能把 8 线程本地内存和 64 线程远端内存直接比较。更合理的做法是固定一个线程数形成一对结果,再换到另一个线程数:

独立实验CPU 绑定内存绑定线程数
A1Node 0Node 08
B1Node 0Node 18
A2Node 0Node 032
B2Node 0Node 132
A3Node 0Node 064
B3Node 0Node 164

这样可以分别回答两个问题:

  1. 在相同并发度下,远端内存是否降低性能。
  2. 随着并发度提高,本地和远端内存的差距是否扩大。

如果只使用单线程,测到的主要是访问延迟和单线程带宽;如果使用 32 或 64 个线程,测到的还包括内存控制器饱和、缓存争用和调度开销。两者不能混为一个结论。

用相同方式验证反向方向

为排除两个 Socket 之间的硬件差异,应补充一次反向测试:

  • CPU Node 1,内存 Node 1。
  • CPU Node 1,内存 Node 0。

如果 Node 0 本地测试明显高于 Node 1 本地测试,问题可能不在 NUMA 远端访问本身,而在内存条插法、内存通道未对称启用、BIOS 设置、温度或固件配置。

其他变量必须拆开测试

在主实验完成后,才适合逐项改变其他因素。每一行都是独立实验,不应一次改变多项:

变量固定条件只改变的内容观察重点
NPS内核、程序、内存条、功耗模式不变BIOS 中的 NPS1、NPS2 或 NPS4节点粒度、局部带宽和调度复杂度
CPU 跨节点范围内存固定在 Node 0,线程数固定CPU 只在 Node 0 或跨 Node 0/1跨 Socket 调度是否带来额外开销
内存策略CPU 位置和线程数固定bind、preferred、interleave页面分布和带宽均衡情况
SMT物理核心数量和程序数据不变SMT 开启或关闭线程共享执行资源是否影响结果
自动 NUMA 平衡其他设置不变保持当前状态或单独切换页面迁移和调度器干预
应用线程数CPU 和内存策略固定1、8、32、64 等线程延迟、带宽和扩展性曲线

NPS 需要重启服务器,改变后应重新执行 lscpu 和 numactl --hardware,不能沿用之前的节点编号。SMT、内存交叉和功耗模式也可能影响结果,必须在报告中单列。

控制条件:让每次测试真正只改变一个因素

固定硬件和固件状态

测试期间至少应保持以下条件一致:

  • 同一台台湾物理服务器,不在不同批次或不同主板之间交叉比较。
  • BIOS 版本、NPS、SMT、内存频率和功耗策略一致。
  • 两个 Socket 的内存容量和内存条插法尽量对称。
  • CPU 频率策略、睿频状态和散热条件一致。
  • 测试期间避免其他高负载任务、备份任务和批量磁盘作业。
  • 记录测试开始时的温度、频率和系统负载。

如果服务商提供的是虚拟机,需要确认是否暴露 vNUMA。虚拟机看到的两个 NUMA 节点可能是虚拟拓扑,不能直接等同于宿主机的两个物理 Socket。若没有 vNUMA 信息,文章中应把结果表述为“该虚拟机可见拓扑下的测试结果”,而不是“双路 EPYC 7742 裸机结果”。

固定数据和页面分配方式

内存测试很容易受到首次触碰策略影响。一个线程初始化数据,另一个节点的线程执行计算,页面可能已经被分配到初始化线程所在的节点。要验证远端访问,最好在同一条命令中同时固定 CPU 和内存分配:

numactl --cpunodebind=0 --membind=0 ./benchmark
numactl --cpunodebind=0 --membind=1 ./benchmark

应用测试还要记录:

  • 数据集大小和冷热状态。
  • 分配器类型。
  • 是否启用透明大页。
  • 是否使用大页或共享内存。
  • 是否存在后台内存回收。
  • 进程启动后页面是否发生迁移。

运行期间可以用 numastat 检查进程页面分布:

numastat -p 12345

其中 12345 替换为实际进程 ID。若本地实验中绝大多数匿名页仍出现在远端节点,或远端实验的页面被自动迁移回本地节点,那么这次实验的变量没有被控制好,需要重新检查绑定参数和自动 NUMA 平衡状态。

固定运行时间并交替测试顺序

建议每个测试用例先进行 2 至 3 轮预热,再记录不少于 5 至 10 轮结果。单轮时间应足够长,使结果覆盖稳定运行阶段,而不是只测程序启动瞬间。

为了减少温度和睿频变化带来的偏差,可以采用交替顺序:

  1. 预热 A 组。
  2. 记录 A 组。
  3. 预热 B 组。
  4. 记录 B 组。
  5. 再以 B、A、B、A 的顺序重复。

如果所有本地测试都在上午、远端测试都在下午,后台任务和机房散热变化也可能被误判为 NUMA 差异。交替顺序并不能消除所有环境变化,但能降低时间段偏差。

网络服务测试要隔离客户端网络

对 Web、API、数据库或缓存服务进行验证时,公网客户端的 RTT 不应直接作为 NUMA 指标。适合的做法包括:

  • 使用同机或同一内网的固定压测客户端。
  • 记录服务端处理耗时,而不仅是客户端收到响应的总耗时。
  • A/B 两组使用相同的请求顺序和请求数据。
  • 将网络 RTT、连接建立耗时和服务器内部处理耗时分别统计。
  • 不使用不同运营商、不同区域或不同时间段的客户端来组成唯一对照。

台湾机房面向中国大陆、东南亚、日本或其他地区的网络延迟,可能远高于服务器内部几十到几百纳秒级别的 NUMA 延迟。跨地区访问测试可以用于评估真实用户体验,但不能替代本机 NUMA 实验。

观察结果:同时看平均值和尾部,不只看一个分数

参考数据如何计算

下面是一组用于演示判断方法的示例数据,不代表某台台湾服务器的实测结果。测试固定为 32 个线程,CPU 始终绑定 Node 0,数据集大于缓存,A 组使用本地内存,B 组使用远端内存。

观察结果:同时看平均值和尾部,不只看一个分数/参考数据如何计算配图

指标本地内存 A 组远端内存 B 组变化
内存带宽142 GB/s88 GB/s下降约 38.0%
指针追逐延迟91 ns154 ns增加约 69.2%
应用吞吐量245 万次/秒196 万次/秒下降约 20.0%
p95 延迟2.2 ms3.5 ms增加约 59.1%
p99 延迟3.1 ms4.7 ms增加约 51.6%

变化率应明确基准。带宽下降的计算方式为:

“本地带宽 - 远端带宽”除以“本地带宽”,即:

(142 - 88)÷ 142 ≈ 38.0%

延迟增加则以本地延迟为基准:

(154 - 91)÷ 91 ≈ 69.2%

内存工具中的 GB/s 和 GiB/s 不能直接混用。十进制 1 GB 等于 1,000,000,000 字节,1 GiB 等于 1,073,741,824 字节。报告中应保留工具原始单位,并注明换算口径。

如何解释几种常见结果

本地带宽高、远端带宽低,同时延迟升高。

这是较典型的 NUMA 敏感模式,说明程序确实受内存位置影响。若业务测试也出现吞吐量下降和 p99 延迟增加,可以进一步考虑按 Socket 切分进程、线程和数据,减少跨节点访问。

微基准差异明显,但应用吞吐量差异很小。

这并不矛盾。应用可能是计算密集型、数据主要命中缓存,或者只有少量请求访问远端内存。此时不能用内存带宽测试的降幅直接推算业务降幅,应以业务工作负载的吞吐量和尾延迟为准。

平均延迟差异很小,但 p99 明显恶化。

这通常说明只有部分请求触发了远端访问、锁竞争、页面迁移或跨 Socket 缓存一致性流量。应检查请求分片、共享数据结构、线程迁移和内存页面分布,不能只看平均值。

远端内存结果偶尔比本地更好。

可能的原因包括本地内存控制器已经饱和、线程数量过多、远端节点存在更空闲的内存带宽,或者本地测试发生了频率下降。此时应增加不同线程数的测试,并同时记录 CPU 频率、温度和每个节点的内存带宽。一次偶然的反常结果不能推导出“远端内存更快”。

本地和远端几乎没有差别。

需要先确认:

  • 页面是否真的分配到了指定节点。
  • 工作集是否大于缓存。
  • 应用是否主要执行计算而不是访存。
  • 内核是否自动迁移了页面。
  • 虚拟化层是否隐藏或重映射了物理 NUMA。
  • 测试线程是否实际跑到了预期 CPU 上。

只有在页面位置、CPU 位置和工作集都得到验证后,才能说“该工作负载在当前条件下对 NUMA 不敏感”,不能进一步泛化为“这台服务器没有 NUMA 影响”。

查看 CPU 迁移和硬件计数器

可以用 perf stat 辅助观察指令数、缓存未命中和调度事件:

perf stat -r 5 \
  -e cycles,instructions,cache-misses,context-switches,cpu-migrations \
  numactl --cpunodebind=0 --membind=0 ./benchmark

远端内存流量、跨 Socket 请求和 Infinity Fabric 相关计数器依赖具体内核、固件和 perf 事件定义,不应直接套用其他 AMD 平台的原始事件名称。使用前应先查看本机支持的事件:

perf list

如果某个事件不存在,应记录为“不支持”,不能用名称相近但含义不明的计数器替代。

把结果转化为产品验收和业务选择

适合双路结构的工作负载

双路 EPYC 7742 的价值通常不只体现在单线程延迟,还体现在核心数量、内存容量和双 Socket 的并行带宽。以下工作负载更适合进行 NUMA 感知优化:

  • 可以按用户、租户或数据分片的数据库服务。
  • 能够把任务拆分到两个 Socket 的批处理和并行计算。
  • 每个进程拥有相对独立数据集的缓存、搜索或分析任务。
  • 可以将工作线程与内存分配绑定到同一 NUMA 节点的应用。

对于频繁读写同一共享数据结构、跨 Socket 锁竞争明显、单实例线程经常跨节点迁移的程序,双路硬件未必自动带来等比例收益。此类应用应重点观察 p99 延迟、锁等待和跨节点流量,而不是只比较总核心数。

A5数据提供中国台湾台北物理服务器,并在香港、美国等地区布局AMD EPYC单路与双路平台,结合大内存、NVMe存储及多种带宽线路,为数据库、容器平台、接口服务和并行计算提供硬件资源基础。针对需要区分CPU与内存拓扑的业务,A5数据也提供不同地区、规格和网络资源组合,支持双路计算场景下的部署规划。

交付验收应记录哪些内容

购买或租用台湾双路服务器时,可以把以下内容纳入验收记录:

验收项目建议核对方式目的
处理器数量和型号lscpu、DMI 信息确认是否为双路 EPYC 7742
核心和线程数量lscpu确认是否有核心或 SMT 被关闭
NUMA 节点数量numactl --hardware确认 NPS 和操作系统拓扑
每节点内存容量numactl --hardware、DMI排除内存不对称
内存条和通道分布主板信息、DMI、服务商记录排除通道未均衡填充
BIOS 设置交付截图或现场记录确认 NPS、SMT、功耗策略
运行环境裸机、虚拟机或容器说明判断拓扑是否为物理拓扑
基准程序和版本保存程序、编译参数和命令保证后续复测可重现
本地与远端对照数据保存原始日志和统计方法判断 NUMA 影响是否稳定

如果服务商只给出“128 核 AMD EPYC”而不说明两个 Socket 的内存分配、NPS 设置和虚拟化方式,后续业务调优会缺少必要条件。对于需要严格延迟控制的服务,还应要求交付后重新执行一次拓扑和本地/远端内存对照测试。

业务阈值应先于服务器结论

NUMA 没有适用于所有业务的统一合格线。内存带宽下降 20% 可能对离线计算可接受,却可能让低延迟交易或在线 API 的 p99 超出预算。

更合理的验收方法是先定义业务约束,例如:

  • 吞吐量不得低于目标值。
  • p99 延迟增加不得超过现有预算的一定比例。
  • 两个 Socket 的本地带宽差异不能超过内部基准。
  • 在固定线程数下,远端内存场景不能触发超时。
  • 应用迁移到另一台同型号服务器后,结果仍处于允许区间。

这些阈值应根据业务 SLA、数据访问模式和容错策略确定,而不是直接照搬某个内存带宽测试结果。

复测条件与结果边界

NUMA 测试结论只对明确记录的硬件、固件、内核、线程数、内存策略和应用版本负责。只要发生以下变化,就应至少重新执行拓扑检查和本地/远端 A/B 对照:

  • 更换内存条数量、容量或插槽。
  • 修改 NPS、SMT、内存交叉或功耗模式。
  • 升级 BIOS、微码、内核或虚拟化平台。
  • 更换内存分配器、透明大页策略或应用版本。
  • 改变工作集大小、数据分片方式或线程模型。
  • 从裸机切换到虚拟机、容器或其他调度环境。
  • 在台湾不同机房、不同网络区域或不同硬件批次之间迁移。

最终报告应同时保存拓扑输出、测试命令、原始日志、平均值、P50、P95、P99、CPU 频率、温度和页面分布。只有当 CPU 位置固定、内存位置被验证、其他条件保持一致,并且差异能够在多轮交替测试中重复出现时,才能把结果归因于 NUMA。即使验证出远端访问存在代价,也不意味着双路服务器不适用;它说明应用需要通过数据分片、进程绑核、内存绑定或合理的线程布局来利用这套硬件。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3762.html

相关推荐