台湾服务器采用双路AMD EPYC 7742时,如何验证NUMA对性能的影响?
双路 AMD EPYC 7742 服务器上验证 NUMA,最直接的方法不是同时调整 BIOS、线程数和内存策略后比较一个总分,而是固定进程运行的 CPU 节点,只改变内存所在节点。例如,让同一程序始终运行在 NUMA Node 0,先绑定 Node 0 内存,再绑定 Node 1 内存,观察内存延迟、带宽、应用吞吐量和尾延迟的变化。这样才能把“访问本地内存”和“访问远端内存”造成的差异单独提取出来。
台湾只是服务器部署地点,并不会改变 NUMA 的基本机制。若测试通过公网客户端发起请求,台湾机房的网络路径、运营商互联、跨区域 RTT 和时间段拥塞都可能掩盖 NUMA 影响。因此,计算与内存测试应优先在服务器本机或同一网络区域内完成;对外服务测试则要把网络耗时和服务器内部处理耗时分开记录。
建立基线:先确认这台服务器到底暴露了什么拓扑
确认是物理双路还是虚拟化环境
产品评测首先要确认测试对象。物理机、独享服务器、虚拟机虽然都可能显示“AMD EPYC 7742”,但可见的 CPU、内存和 NUMA 拓扑并不一定相同。
在物理双路环境中,两颗 EPYC 7742 均启用全部核心并开启 SMT 时,操作系统通常会看到 128 个物理核心和 256 个逻辑 CPU。实际数量还可能受到 BIOS 禁用核心、SMT 设置、虚拟化平台 vCPU 配额和宿主机策略影响,不能仅凭产品名称推断。
可以先执行以下只读命令:
lscpu
lscpu -e=CPU,CORE,SOCKET,NODE
numactl --hardware
uname -a
cat /sys/devices/system/node/node*/cpulist
如果允许读取 DMI 信息,还可以记录处理器、内存条和主板信息:
sudo dmidecode -t system -t processor -t memory
dmidecode 只用于读取硬件信息,不会修改配置;在托管环境中如果没有权限,应以服务商提供的硬件验收信息和操作系统输出为准。
重点观察以下项目:
- 是否确实存在两个物理 CPU Socket。
- 每个 Socket 分配了多少 CPU 核心。
- 系统显示了几个 NUMA Node。
- 每个 NUMA Node 绑定了哪些 CPU。
- 每个节点可用内存是否接近对称。
- SMT 是否开启。
- 是否运行在裸机、虚拟机或容器中。
双路 EPYC 平台的 NUMA 节点数量不一定等于两个 Socket。常见的 NPS 设置会影响操作系统看到的节点形式:
| 处理器内部的 NPS 配置 | 常见的操作系统节点形态 | 说明 |
|---|---|---|
| NPS1 | 每颗处理器约 1 个节点,双路约 2 个节点 | 节点数量少,单个节点包含的内存范围较大 |
| NPS2 | 每颗处理器约 2 个节点,双路约 4 个节点 | 本地性粒度更细 |
| NPS4 | 每颗处理器约 4 个节点,双路约 8 个节点 | 更容易进行细粒度绑核和绑内存 |
这只是常见呈现方式,实际结果还会受到主板固件、内存交叉模式、虚拟化层和内核版本影响。numactl --hardware 显示的 node distance 是相对距离值,不是纳秒延迟。例如 10 和 20 表示相对访问代价不同,不能直接当作“10 纳秒”和“20 纳秒”。
记录软件和调度基线
NUMA 测试不应只记录 CPU 型号,还要记录内核调度、透明大页和自动 NUMA 平衡状态。建议保存以下输出:
uname -r
cat /sys/kernel/mm/transparent_hugepage/enabled
sysctl kernel.numa_balancing
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor 2>/dev/null || true
lscpu | grep -E 'Model name|Socket|Core|Thread|NUMA|MHz|CPU\(s\)'
测试阶段不要临时修改这些设置。若确实需要比较不同配置,例如开启和关闭 SMT、调整 NPS 或切换 NUMA 自动平衡,应把它作为独立实验,并记录修改前后的配置、重启时间和恢复方式。
先建立不带结论的性能基线
基线的作用是确认测试系统正常,而不是提前证明 NUMA 一定有影响。建议至少采集以下指标:
| 指标 | 采集内容 | 用途 |
|---|---|---|
| CPU 拓扑 | Socket、Core、Thread、Node 映射 | 确认绑核范围 |
| 内存拓扑 | 每个节点容量、可用容量和分布 | 排除节点容量不对称 |
| 内存带宽 | 单节点和双节点带宽 | 判断内存子系统是否成为瓶颈 |
| 内存延迟 | 本地与远端访问延迟 | 观察 NUMA 距离造成的代价 |
| 应用吞吐量 | 请求数、任务数或批处理条数 | 判断业务层影响 |
| 尾延迟 | p95、p99,必要时记录 p999 | 判断抖动是否被放大 |
| CPU 频率和温度 | 稳态频率、封装温度、降频情况 | 排除热和功耗限制 |
| 调度状态 | CPU migration、context switch、page migration | 确认调度器是否改变了实验条件 |
基线中可以保留一组“操作系统默认调度”的结果,但不能把它直接当作 NUMA 的对照组。进程未绑定时,Linux 可能将线程调度到多个节点,内存也可能由首次访问线程决定位置。默认状态适合反映用户不做优化时的体验,不能单独用于因果判断。
选择变量:先只验证内存放置位置
主实验采用本地内存与远端内存对照
在双路服务器上,最容易复现的单变量实验是固定 CPU 位置,只改变内存位置。
以存在 Node 0 和 Node 1 的环境为例:

- A 组:CPU 绑定 Node 0,内存绑定 Node 0。
- B 组:CPU 绑定 Node 0,内存绑定 Node 1。
- 程序、线程数、数据量、运行时间和编译版本完全相同。
- A、B 两组之间唯一有意改变的变量是内存所在节点。
示例命令如下:
export OMP_NUM_THREADS=32
export OMP_PROC_BIND=close
export OMP_PLACES=cores
numactl --cpunodebind=0 --membind=0 ./stream
numactl --cpunodebind=0 --membind=1 ./stream
这里的 ./stream 代表已经准备好的同一份内存带宽测试程序。两次运行必须使用相同的数组规模和测试参数,工作集应明显大于处理器缓存,同时小于被绑定节点的可用内存。若远端节点容量不足,--membind=1 可能导致程序分配失败,此时不能偷偷改成 --interleave=all 后继续比较,因为这已经改变了实验变量。
如果 NUMA 节点数量超过两个,应先选择同一 Socket 内的本地节点和另一 Socket 的远端节点。不要把 NPS1 的 Node 0 与 NPS4 的 Node 0 直接横向比较,节点定义已经发生变化。
每个线程数都要形成独立的 A/B 对照
线程数会改变内存带宽压力,因此不能把 8 线程本地内存和 64 线程远端内存直接比较。更合理的做法是固定一个线程数形成一对结果,再换到另一个线程数:
| 独立实验 | CPU 绑定 | 内存绑定 | 线程数 |
|---|---|---|---|
| A1 | Node 0 | Node 0 | 8 |
| B1 | Node 0 | Node 1 | 8 |
| A2 | Node 0 | Node 0 | 32 |
| B2 | Node 0 | Node 1 | 32 |
| A3 | Node 0 | Node 0 | 64 |
| B3 | Node 0 | Node 1 | 64 |
这样可以分别回答两个问题:
- 在相同并发度下,远端内存是否降低性能。
- 随着并发度提高,本地和远端内存的差距是否扩大。
如果只使用单线程,测到的主要是访问延迟和单线程带宽;如果使用 32 或 64 个线程,测到的还包括内存控制器饱和、缓存争用和调度开销。两者不能混为一个结论。
用相同方式验证反向方向
为排除两个 Socket 之间的硬件差异,应补充一次反向测试:
- CPU Node 1,内存 Node 1。
- CPU Node 1,内存 Node 0。
如果 Node 0 本地测试明显高于 Node 1 本地测试,问题可能不在 NUMA 远端访问本身,而在内存条插法、内存通道未对称启用、BIOS 设置、温度或固件配置。
其他变量必须拆开测试
在主实验完成后,才适合逐项改变其他因素。每一行都是独立实验,不应一次改变多项:
| 变量 | 固定条件 | 只改变的内容 | 观察重点 |
|---|---|---|---|
| NPS | 内核、程序、内存条、功耗模式不变 | BIOS 中的 NPS1、NPS2 或 NPS4 | 节点粒度、局部带宽和调度复杂度 |
| CPU 跨节点范围 | 内存固定在 Node 0,线程数固定 | CPU 只在 Node 0 或跨 Node 0/1 | 跨 Socket 调度是否带来额外开销 |
| 内存策略 | CPU 位置和线程数固定 | bind、preferred、interleave | 页面分布和带宽均衡情况 |
| SMT | 物理核心数量和程序数据不变 | SMT 开启或关闭 | 线程共享执行资源是否影响结果 |
| 自动 NUMA 平衡 | 其他设置不变 | 保持当前状态或单独切换 | 页面迁移和调度器干预 |
| 应用线程数 | CPU 和内存策略固定 | 1、8、32、64 等线程 | 延迟、带宽和扩展性曲线 |
NPS 需要重启服务器,改变后应重新执行 lscpu 和 numactl --hardware,不能沿用之前的节点编号。SMT、内存交叉和功耗模式也可能影响结果,必须在报告中单列。
控制条件:让每次测试真正只改变一个因素
固定硬件和固件状态
测试期间至少应保持以下条件一致:
- 同一台台湾物理服务器,不在不同批次或不同主板之间交叉比较。
- BIOS 版本、NPS、SMT、内存频率和功耗策略一致。
- 两个 Socket 的内存容量和内存条插法尽量对称。
- CPU 频率策略、睿频状态和散热条件一致。
- 测试期间避免其他高负载任务、备份任务和批量磁盘作业。
- 记录测试开始时的温度、频率和系统负载。
如果服务商提供的是虚拟机,需要确认是否暴露 vNUMA。虚拟机看到的两个 NUMA 节点可能是虚拟拓扑,不能直接等同于宿主机的两个物理 Socket。若没有 vNUMA 信息,文章中应把结果表述为“该虚拟机可见拓扑下的测试结果”,而不是“双路 EPYC 7742 裸机结果”。
固定数据和页面分配方式
内存测试很容易受到首次触碰策略影响。一个线程初始化数据,另一个节点的线程执行计算,页面可能已经被分配到初始化线程所在的节点。要验证远端访问,最好在同一条命令中同时固定 CPU 和内存分配:
numactl --cpunodebind=0 --membind=0 ./benchmark
numactl --cpunodebind=0 --membind=1 ./benchmark
应用测试还要记录:
- 数据集大小和冷热状态。
- 分配器类型。
- 是否启用透明大页。
- 是否使用大页或共享内存。
- 是否存在后台内存回收。
- 进程启动后页面是否发生迁移。
运行期间可以用 numastat 检查进程页面分布:
numastat -p 12345
其中 12345 替换为实际进程 ID。若本地实验中绝大多数匿名页仍出现在远端节点,或远端实验的页面被自动迁移回本地节点,那么这次实验的变量没有被控制好,需要重新检查绑定参数和自动 NUMA 平衡状态。
固定运行时间并交替测试顺序
建议每个测试用例先进行 2 至 3 轮预热,再记录不少于 5 至 10 轮结果。单轮时间应足够长,使结果覆盖稳定运行阶段,而不是只测程序启动瞬间。
为了减少温度和睿频变化带来的偏差,可以采用交替顺序:
- 预热 A 组。
- 记录 A 组。
- 预热 B 组。
- 记录 B 组。
- 再以 B、A、B、A 的顺序重复。
如果所有本地测试都在上午、远端测试都在下午,后台任务和机房散热变化也可能被误判为 NUMA 差异。交替顺序并不能消除所有环境变化,但能降低时间段偏差。
网络服务测试要隔离客户端网络
对 Web、API、数据库或缓存服务进行验证时,公网客户端的 RTT 不应直接作为 NUMA 指标。适合的做法包括:
- 使用同机或同一内网的固定压测客户端。
- 记录服务端处理耗时,而不仅是客户端收到响应的总耗时。
- A/B 两组使用相同的请求顺序和请求数据。
- 将网络 RTT、连接建立耗时和服务器内部处理耗时分别统计。
- 不使用不同运营商、不同区域或不同时间段的客户端来组成唯一对照。
台湾机房面向中国大陆、东南亚、日本或其他地区的网络延迟,可能远高于服务器内部几十到几百纳秒级别的 NUMA 延迟。跨地区访问测试可以用于评估真实用户体验,但不能替代本机 NUMA 实验。
观察结果:同时看平均值和尾部,不只看一个分数
参考数据如何计算
下面是一组用于演示判断方法的示例数据,不代表某台台湾服务器的实测结果。测试固定为 32 个线程,CPU 始终绑定 Node 0,数据集大于缓存,A 组使用本地内存,B 组使用远端内存。

| 指标 | 本地内存 A 组 | 远端内存 B 组 | 变化 |
|---|---|---|---|
| 内存带宽 | 142 GB/s | 88 GB/s | 下降约 38.0% |
| 指针追逐延迟 | 91 ns | 154 ns | 增加约 69.2% |
| 应用吞吐量 | 245 万次/秒 | 196 万次/秒 | 下降约 20.0% |
| p95 延迟 | 2.2 ms | 3.5 ms | 增加约 59.1% |
| p99 延迟 | 3.1 ms | 4.7 ms | 增加约 51.6% |
变化率应明确基准。带宽下降的计算方式为:
“本地带宽 - 远端带宽”除以“本地带宽”,即:
(142 - 88)÷ 142 ≈ 38.0%
延迟增加则以本地延迟为基准:
(154 - 91)÷ 91 ≈ 69.2%
内存工具中的 GB/s 和 GiB/s 不能直接混用。十进制 1 GB 等于 1,000,000,000 字节,1 GiB 等于 1,073,741,824 字节。报告中应保留工具原始单位,并注明换算口径。
如何解释几种常见结果
本地带宽高、远端带宽低,同时延迟升高。
这是较典型的 NUMA 敏感模式,说明程序确实受内存位置影响。若业务测试也出现吞吐量下降和 p99 延迟增加,可以进一步考虑按 Socket 切分进程、线程和数据,减少跨节点访问。
微基准差异明显,但应用吞吐量差异很小。
这并不矛盾。应用可能是计算密集型、数据主要命中缓存,或者只有少量请求访问远端内存。此时不能用内存带宽测试的降幅直接推算业务降幅,应以业务工作负载的吞吐量和尾延迟为准。
平均延迟差异很小,但 p99 明显恶化。
这通常说明只有部分请求触发了远端访问、锁竞争、页面迁移或跨 Socket 缓存一致性流量。应检查请求分片、共享数据结构、线程迁移和内存页面分布,不能只看平均值。
远端内存结果偶尔比本地更好。
可能的原因包括本地内存控制器已经饱和、线程数量过多、远端节点存在更空闲的内存带宽,或者本地测试发生了频率下降。此时应增加不同线程数的测试,并同时记录 CPU 频率、温度和每个节点的内存带宽。一次偶然的反常结果不能推导出“远端内存更快”。
本地和远端几乎没有差别。
需要先确认:
- 页面是否真的分配到了指定节点。
- 工作集是否大于缓存。
- 应用是否主要执行计算而不是访存。
- 内核是否自动迁移了页面。
- 虚拟化层是否隐藏或重映射了物理 NUMA。
- 测试线程是否实际跑到了预期 CPU 上。
只有在页面位置、CPU 位置和工作集都得到验证后,才能说“该工作负载在当前条件下对 NUMA 不敏感”,不能进一步泛化为“这台服务器没有 NUMA 影响”。
查看 CPU 迁移和硬件计数器
可以用 perf stat 辅助观察指令数、缓存未命中和调度事件:
perf stat -r 5 \
-e cycles,instructions,cache-misses,context-switches,cpu-migrations \
numactl --cpunodebind=0 --membind=0 ./benchmark
远端内存流量、跨 Socket 请求和 Infinity Fabric 相关计数器依赖具体内核、固件和 perf 事件定义,不应直接套用其他 AMD 平台的原始事件名称。使用前应先查看本机支持的事件:
perf list
如果某个事件不存在,应记录为“不支持”,不能用名称相近但含义不明的计数器替代。
把结果转化为产品验收和业务选择
适合双路结构的工作负载
双路 EPYC 7742 的价值通常不只体现在单线程延迟,还体现在核心数量、内存容量和双 Socket 的并行带宽。以下工作负载更适合进行 NUMA 感知优化:
- 可以按用户、租户或数据分片的数据库服务。
- 能够把任务拆分到两个 Socket 的批处理和并行计算。
- 每个进程拥有相对独立数据集的缓存、搜索或分析任务。
- 可以将工作线程与内存分配绑定到同一 NUMA 节点的应用。
对于频繁读写同一共享数据结构、跨 Socket 锁竞争明显、单实例线程经常跨节点迁移的程序,双路硬件未必自动带来等比例收益。此类应用应重点观察 p99 延迟、锁等待和跨节点流量,而不是只比较总核心数。
A5数据提供中国台湾台北物理服务器,并在香港、美国等地区布局AMD EPYC单路与双路平台,结合大内存、NVMe存储及多种带宽线路,为数据库、容器平台、接口服务和并行计算提供硬件资源基础。针对需要区分CPU与内存拓扑的业务,A5数据也提供不同地区、规格和网络资源组合,支持双路计算场景下的部署规划。
交付验收应记录哪些内容
购买或租用台湾双路服务器时,可以把以下内容纳入验收记录:
| 验收项目 | 建议核对方式 | 目的 |
|---|---|---|
| 处理器数量和型号 | lscpu、DMI 信息 | 确认是否为双路 EPYC 7742 |
| 核心和线程数量 | lscpu | 确认是否有核心或 SMT 被关闭 |
| NUMA 节点数量 | numactl --hardware | 确认 NPS 和操作系统拓扑 |
| 每节点内存容量 | numactl --hardware、DMI | 排除内存不对称 |
| 内存条和通道分布 | 主板信息、DMI、服务商记录 | 排除通道未均衡填充 |
| BIOS 设置 | 交付截图或现场记录 | 确认 NPS、SMT、功耗策略 |
| 运行环境 | 裸机、虚拟机或容器说明 | 判断拓扑是否为物理拓扑 |
| 基准程序和版本 | 保存程序、编译参数和命令 | 保证后续复测可重现 |
| 本地与远端对照数据 | 保存原始日志和统计方法 | 判断 NUMA 影响是否稳定 |
如果服务商只给出“128 核 AMD EPYC”而不说明两个 Socket 的内存分配、NPS 设置和虚拟化方式,后续业务调优会缺少必要条件。对于需要严格延迟控制的服务,还应要求交付后重新执行一次拓扑和本地/远端内存对照测试。
业务阈值应先于服务器结论
NUMA 没有适用于所有业务的统一合格线。内存带宽下降 20% 可能对离线计算可接受,却可能让低延迟交易或在线 API 的 p99 超出预算。
更合理的验收方法是先定义业务约束,例如:
- 吞吐量不得低于目标值。
- p99 延迟增加不得超过现有预算的一定比例。
- 两个 Socket 的本地带宽差异不能超过内部基准。
- 在固定线程数下,远端内存场景不能触发超时。
- 应用迁移到另一台同型号服务器后,结果仍处于允许区间。
这些阈值应根据业务 SLA、数据访问模式和容错策略确定,而不是直接照搬某个内存带宽测试结果。
复测条件与结果边界
NUMA 测试结论只对明确记录的硬件、固件、内核、线程数、内存策略和应用版本负责。只要发生以下变化,就应至少重新执行拓扑检查和本地/远端 A/B 对照:
- 更换内存条数量、容量或插槽。
- 修改 NPS、SMT、内存交叉或功耗模式。
- 升级 BIOS、微码、内核或虚拟化平台。
- 更换内存分配器、透明大页策略或应用版本。
- 改变工作集大小、数据分片方式或线程模型。
- 从裸机切换到虚拟机、容器或其他调度环境。
- 在台湾不同机房、不同网络区域或不同硬件批次之间迁移。
最终报告应同时保存拓扑输出、测试命令、原始日志、平均值、P50、P95、P99、CPU 频率、温度和页面分布。只有当 CPU 位置固定、内存位置被验证、其他条件保持一致,并且差异能够在多轮交替测试中重复出现时,才能把结果归因于 NUMA。即使验证出远端访问存在代价,也不意味着双路服务器不适用;它说明应用需要通过数据分片、进程绑核、内存绑定或合理的线程布局来利用这套硬件。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3762.html



