双路AMD EPYC 9V94美国服务器,如何按NUMA规划虚拟机资源?

发布人:A5数据发布时间:2026-10-13 17:03阅读量:182

双路 AMD EPYC 9V94 美国服务器的核数、内存容量、NVMe 数量和端口速率,并不能直接等同于虚拟机的实际体验。双路平台通常包含多个 NUMA 节点,虚拟机如果跨节点访问内存、磁盘或网卡,延迟和带宽表现可能与“分配了多少 vCPU、多少 GB 内存”并不一致。

规划这类服务器,核心不是把资源平均切成若干份,而是先确认物理 NUMA 拓扑,再决定虚拟机是否应留在单个节点内、是否需要暴露 vNUMA,以及 CPU、内存、磁盘和网络哪个指标应当优先。对于小型低延迟虚拟机,优先保持 CPU 与内存本地;对于大型数据库、编译或计算任务,则需要按照多个节点的容量和带宽进行分布式规划。

A5数据提供美国AMD EPYC物理服务器及双路平台,配套不同容量的内存、NVMe存储和网络线路,可承载数据库、缓存、Web应用、容器与多任务计算等场景。结合美国及香港、日本、新加坡等地区的服务器资源,品牌可为需要按处理器、内存、磁盘和网络路径规划虚拟机的业务,提供相应的硬件与地域部署基础。

先把“9V94双路”还原成可计算的拓扑

型号名称不等于虚拟化拓扑

AMD EPYC 9V94 是处理器型号,但采购页面上的型号名称通常不足以说明实际虚拟化环境。部署前至少要确认以下信息:

  • 每颗处理器包含多少物理核心、多少线程;
  • 每个处理器被固件划分为几个 NUMA 节点;
  • SMT 是否启用;
  • 每个 NUMA 节点对应多少核心、内存和 PCIe 设备;
  • 服务器使用何种 BIOS NUMA 配置,例如 NPS1、NPS2 或 NPS4;
  • 是整机独享,还是在云平台上购买了一个由该处理器承载的虚拟实例;
  • 磁盘控制器和网卡分别挂在哪个 NUMA 节点;
  • 虚拟化平台是否允许 CPU 绑核、内存绑定和 vNUMA 暴露。

如果是双路裸金属服务器,管理员通常可以查看并调整 BIOS、KVM、libvirt、VMware 或其他虚拟化平台的资源布局。如果是云端虚拟机,即使宿主机使用双路 AMD EPYC 9V94,租户也可能只能看到一组被抽象后的 vCPU,无法控制真实的物理插槽和 NUMA 节点,此时应向服务商确认是否提供独占核心、vNUMA、内存保证和宿主机隔离。

NPS设置会改变节点数量

AMD EPYC 平台常见的 NPS 设置会影响每颗处理器呈现出的 NUMA 节点数量。以概念模型说明:

先把“9V94双路”还原成可计算的拓扑 / NPS设置会改变节点数量配图

固件设置可能呈现的拓扑主要影响
NPS1每颗处理器一个 NUMA 节点,双路通常为两个节点拓扑简单,适合需要大内存池或较少跨节点管理的场景
NPS2每颗处理器拆分为两个节点,双路通常为四个节点节点粒度更细,有利于中小型虚拟机保持局部性
NPS4每颗处理器拆分为四个节点,双路通常为八个节点局部带宽和设备亲和性更细,但内存碎片和调度复杂度也更高

实际可用选项取决于处理器代际、主板和 BIOS,不能仅凭型号推断。NPS4 也不代表一定比 NPS1 快。节点越多,单个虚拟机越容易限制在较小的资源范围内,但大虚拟机需要跨越更多节点,vNUMA、内存分配和迁移策略也会变得复杂。

对于虚拟化主机,NPS 的选择应结合虚拟机规模:

  • 大量 2 至 8 vCPU、8 至 32 GB 内存的小型业务,较细的 NUMA 粒度可能更容易做局部放置;
  • 需要数十个 vCPU、数百 GB 内存的数据库或计算虚拟机,过细的节点划分可能造成每个节点容量不足;
  • 需要高内存带宽的任务,应关注每个节点的内存通道、DIMM 配置和本地带宽,而不只看整机总内存。

vCPU、物理核心与线程不是同一个概念

虚拟机中的 vCPU 是调度单位,不等同于一颗完整物理核心。启用 SMT 后,一个物理核心可能呈现为两个逻辑 CPU。两个逻辑线程可以提升吞吐,但在高负载下通常无法提供两颗独立物理核心的全部计算能力。

因此,规划时建议同时记录:

  • 物理核心数量;
  • 逻辑 CPU 数量;
  • 每个 NUMA 节点包含的物理核心和逻辑 CPU;
  • 虚拟机的持续负载,而不是只看峰值 vCPU 数;
  • 是否允许 vCPU 超分;
  • 是否需要独占核心或固定 CPU 亲和性。

对于低延迟数据库、交易服务和持续满载的计算任务,通常应先按物理核心规划,再将 SMT 线程视为额外吞吐空间。对于普通网站、后台任务和间歇性服务,可以适度使用 vCPU 超分,但需要通过运行队列、CPU steal time、调度延迟和业务响应时间验证,而不能只依据分配比例判断。

NUMA如何影响虚拟机资源

本地内存和远端内存

NUMA 的基本特点是:每个处理器或处理器区域拥有一部分本地内存,访问本地内存的延迟较低、带宽更稳定;访问其他节点的内存需要经过互连链路,通常会增加延迟并占用跨节点带宽。

当一个虚拟机分配了 16 个 vCPU 和 64 GB 内存时,真正需要确认的不是“总计 16 核、64 GB”,而是:

  • 16 个 vCPU 位于哪个物理节点;
  • 64 GB 内存是否尽量来自同一个节点;
  • 虚拟机运行线程是否会被调度到另一个节点;
  • 虚拟机的磁盘和网卡是否与主要计算节点相邻;
  • 内存不足时,宿主机是否会把页面迁移到远端节点或触发交换。

如果一个 NUMA 节点只有 128 GB 可用内存,虚拟机需要 64 GB,且 CPU 需求也能放入该节点,通常可以优先采用单节点布局。这样做并不是为了让所有资源“平均分布”,而是为了减少不必要的跨节点访问。

单节点虚拟机与跨节点虚拟机

可以按以下原则决定虚拟机是否跨 NUMA 节点:

虚拟机类型优先布局原因
4 至 16 vCPU 的低延迟服务尽量放在一个 NUMA 节点减少远端内存访问和调度迁移
中小型数据库CPU、内存和存储控制器尽量保持局部数据库缓存和日志操作对延迟较敏感
32 至 64 vCPU 的大型服务根据节点容量使用一个或多个 vNUMA 节点单个节点容量不足时需要明确分布
编译、渲染、批处理可跨节点使用,但要关注内存带宽总吞吐往往比单次访问延迟更重要
大量轻量级网站虚拟机由调度器统一分配,保留宿主机余量过度绑核会降低资源弹性

假设实际主机检查后显示每个节点有 48 个物理核心和 128 GB 可用内存:

NUMA如何影响虚拟机资源 / 单节点虚拟机与跨节点虚拟机配图

  • 一个 8 vCPU、32 GB 的数据库虚拟机,可以优先放在单个节点;
  • 一个 32 vCPU、96 GB 的应用虚拟机,也可以尝试保持单节点;
  • 一个 64 vCPU、256 GB 的虚拟机,需要至少跨两个节点,宜向客户机呈现与实际布局相符的两个 vNUMA 单元;
  • 一个 4 vCPU、16 GB 的网站虚拟机,不必为了追求“固定到某个插槽”而牺牲调度灵活性。

这里的核心是“虚拟拓扑与物理拓扑相符”。如果宿主机实际分成四个节点,却向一个大型客户机虚构出八个没有实际内存对应关系的 vNUMA 单元,客户机操作系统可能做出不合理的调度决策。反过来,如果大型客户机只看到一个超大的虚拟节点,系统也可能无法感知真实的远端内存代价。

内存容量和内存带宽要分开看

双路平台的总内存容量可以很大,但容量和带宽是两个指标。

内存容量决定能否容纳数据库缓存、虚拟机工作集和文件缓存;内存带宽决定多个核心同时读写数据时能否维持吞吐。常见的错误是只购买足够容量,却没有按照内存通道均衡插条,导致实际带宽低于平台设计水平。

采购或验收时,应向服务商确认:

  • 每个处理器连接了多少条内存通道;
  • 每个 NUMA 节点分配了多少内存;
  • DIMM 是否对称填充;
  • 是否存在部分节点内存较少的情况;
  • 宿主机是否预留了内存给虚拟化管理、I/O 和缓存;
  • 云平台展示的内存是保证容量,还是可能被气球驱动回收的共享容量。

对于延迟敏感虚拟机,内存超分、气球回收和宿主机交换都可能造成明显抖动。可以保留一定宿主机余量,例如按业务峰值预留一部分内存,而不是把所有物理内存都分配给客户机。具体比例应根据监控结果确定,不能用固定百分比替代实际容量评估。

磁盘和网络不能脱离NUMA单独选

磁盘重点是延迟、队列和设备亲和性

NVMe 数量多,并不自动意味着虚拟机磁盘性能好。需要区分以下几种情况:

  • 本地 NVMe 直接连接到某个 PCIe 根端口;
  • 多块 NVMe 通过软件 RAID 或硬件控制器汇聚;
  • 虚拟机磁盘位于宿主机本地存储;
  • 虚拟机磁盘位于网络存储;
  • 多个虚拟机共享同一组物理盘和 I/O 队列。

如果虚拟机的 CPU 和内存位于节点 0,而磁盘控制器连接节点 1,I/O 路径可能产生跨节点访问。对于普通网站,这种差异未必明显;对于数据库日志、同步写入和高并发小块随机 I/O,延迟更值得关注。

磁盘选择时建议把指标拆开:

  • 数据库日志更关注低延迟和稳定写入;
  • 分析任务、备份和对象数据更关注顺序吞吐;
  • 虚拟桌面或大量小文件更关注随机 IOPS 和尾延迟;
  • 多虚拟机整合更关注持续负载下的队列隔离和抖动;
  • RAID 或副本策略会影响可用容量、写入放大和故障恢复时间。

“每秒多少 IOPS”还与块大小、读写比例、并发队列深度和缓存策略有关。同一组 NVMe 在 4K 随机读和 1M 顺序读下的结果不能直接比较。验收测试应使用专用测试卷或测试文件,避开生产数据;如果要使用 fio,必须确认测试路径不是裸设备或生产文件系统,并提前做好数据备份和业务影响评估。

网卡速率不等于实际可用带宽

网络配置需要同时看网卡速率、PCIe 位置、队列数量、虚拟交换机、带宽策略和美国机房的外部链路。

例如,1 Gbps 的理论链路速率换算为:

1 Gbps ÷ 8 = 0.125 GB/s,也就是约 125 MB/s 的十进制理论值。

10 Gbps 则约为 1.25 GB/s。实际应用还会受到协议开销、TCP 窗口、远端线路、拥塞、虚拟交换机和服务商出口策略影响,因此不能把端口标称速率直接当成应用层可用吞吐。

网卡也有 NUMA 亲和性。高流量虚拟机若运行在节点 0,而网卡位于节点 1,数据包可能需要跨节点传递。对高并发 Web、实时接口、流媒体或大规模东西向流量,建议确认:

磁盘和网络不能脱离NUMA单独选 / 网卡速率不等于实际可用带宽配图

  • 网卡所在 PCIe 设备对应的 NUMA 节点;
  • RSS 队列数量和 vCPU 数量是否匹配;
  • 虚拟化平台是否使用 vhost、SR-IOV 或其他加速方式;
  • 网卡中断是否集中在少数 CPU;
  • 公网带宽是端口速率、保证带宽还是共享峰值;
  • 美国服务器所在区域到主要访问者的时延和丢包情况;
  • 出方向流量是否单独计费,以及是否有月度流量限制。

美国机房并不意味着到所有地区都有相同网络质量。面向北美用户、欧洲用户或亚洲用户时,机房区域、运营商线路和出口策略都可能比“1 Gbps 还是 10 Gbps”更先成为瓶颈。

按业务类型确定配置重点

数据库和缓存服务

数据库虚拟机通常更重视以下顺序:

  1. 内存容量是否能容纳主要工作集;
  2. CPU 和内存是否保持在稳定的 NUMA 范围内;
  3. 日志盘和数据盘的延迟是否稳定;
  4. 是否存在宿主机交换、内存超分和磁盘争用;
  5. 网络延迟是否满足应用和副本同步需求。

中小型数据库不宜盲目分配跨多个 NUMA 节点的大规格虚拟机。一个 8 至 16 vCPU、32 至 128 GB 内存的虚拟机,如果可以完整放入一个物理节点,通常更容易获得稳定的延迟。规模继续增长后,再将虚拟机拆分为多个 vNUMA 单元,并让数据库或操作系统感知真实拓扑。

数据库日志盘不应只根据“NVMe 数量”判断。需要单独测试同步写延迟、尾延迟和持续写入期间的抖动。即使顺序读吞吐很高,日志写入延迟不稳定,也可能影响事务提交时间。

Web、API和后台应用

无状态 Web 和 API 服务通常具有较强的横向扩展能力,适合拆成多个中小型虚拟机。此时可以优先考虑:

  • 单节点内的合理 vCPU 与内存比例;
  • 网卡队列和虚拟交换机吞吐;
  • 宿主机 CPU 超分比例;
  • 发布、迁移和扩容的灵活性;
  • 多个虚拟机之间是否存在共享磁盘争用。

这类负载不一定需要为每个虚拟机固定物理核心。更合理的做法是限制超分范围,保留宿主机资源,并以请求延迟、CPU steal time、运行队列长度和错误率作为扩容依据。

编译、渲染和批处理

编译、压缩、渲染和批处理通常能使用较多并行线程,但也可能受内存带宽和临时磁盘影响。配置时不能只追求 vCPU 数量:

  • 源码、临时文件和产物需要足够的磁盘吞吐;
  • 多线程任务跨 NUMA 节点运行时,应保持内存访问策略一致;
  • 如果任务由多个进程组成,跨节点分布可能提升总吞吐;
  • 如果任务共享大量数据,过度跨节点可能抵消核心数量增加带来的收益。

这类虚拟机可以使用多个 vNUMA 节点,但应通过同一任务在单节点与跨节点布局下的完成时间进行比较,而不是凭理论判断。

存储和网络密集型服务

对象存储、备份、日志汇聚和数据传输服务,往往首先受到磁盘阵列、网卡、出口带宽或远端存储限制。此时增加 vCPU 未必能解决问题。

选择双路 AMD EPYC 9V94 美国服务器时,应先确认:

  • 本地磁盘是否足够,还是主要依赖网络存储;
  • 磁盘和网卡是否分布在不同 NUMA 节点;
  • 是否能为不同虚拟机分配独立的存储队列或数据盘;
  • 公网出口和跨区域传输是否满足持续吞吐;
  • 备份窗口内是否会与在线业务争用 I/O 和网络。

这些变量会改变NUMA规划结果

BIOS与固件设置

BIOS 更新、NPS 配置、SMT 开关、功耗模式和内存频率都可能改变节点数量或性能特征。采购时不要只要求“开启 NUMA”,还要记录交付时的实际 BIOS 配置。后续修改 NPS 或内存相关设置,可能改变操作系统看到的 CPU 编号和 NUMA 节点,导致已有绑核策略失效。

虚拟化调度和迁移

CPU 绑核可以减少调度漂移,但也会降低资源弹性。如果主机上虚拟机数量较多,过度固定 CPU 可能造成某个节点空闲、另一个节点拥塞。

实时迁移也会受到 NUMA 影响。目标主机的节点数量、每节点内存、CPU 拓扑和网卡位置不同,迁移后即使 vCPU 数量不变,性能也可能发生变化。需要迁移能力时,应优先选择拓扑相近的主机池,或者接受迁移后重新调度和验证。

宿主机共享和邻居噪声

如果是共享型云主机,NUMA 规划只能控制客户机可见资源,无法完全控制宿主机其他租户的负载。持续 I/O、高网络流量和内存带宽争用可能表现为尾延迟升高。

需要稳定性能时,应确认产品是否提供:

  • 独享物理核心或专属宿主机;
  • 内存容量保证;
  • 磁盘 IOPS 或带宽保证;
  • 独享网卡队列或带宽;
  • 超分策略说明;
  • 性能异常时的迁移和更换机制。

设备位置和实际工作路径

CPU、内存、网卡和磁盘控制器的 NUMA 位置只是硬件路径的一部分。虚拟机还可能经过虚拟交换机、存储栈、缓存层和网络存储。单看某一个 numa_node 数值,不能推导出完整业务延迟。

因此,低延迟业务必须使用接近真实生产路径的测试:同样的虚拟磁盘类型、相近的并发量、相同的网络路径和相同的数据库写入模式。

交付前如何核对和验证

先获取主机实际拓扑

在 Linux 宿主机上,可以使用只读命令查看 CPU 和 NUMA 信息:

lscpu
lscpu -e
numactl --hardware
cat /sys/devices/system/node/node*/cpulist

重点观察:

  • Socket(s) 表示物理处理器插槽数量;
  • Core(s) per socket 表示每个插槽的物理核心;
  • Thread(s) per core 表示 SMT 状态;
  • NUMA node(s) 表示操作系统识别出的节点数;
  • 每个节点的 CPU 列表是否连续、数量是否均衡;
  • 每个节点的内存容量是否接近。

查看网卡和 NVMe 设备所在节点时,可以使用:

for n in /sys/class/net/*; do
    name=$(basename "$n")
    [ "$name" = "lo" ] && continue
    dev=$(readlink -f "$n/device")
    printf "%s: " "$name"
    cat "$dev/numa_node" 2>/dev/null || echo "unknown"
done

for d in /sys/class/block/nvme*n1; do
    [ -e "$d" ] || continue
    dev=$(readlink -f "$d/device")
    printf "%s: " "$(basename "$d")"
    cat "$dev/numa_node" 2>/dev/null || echo "unknown"
done

设备显示为 -1 或 unknown 时,不要直接认定设备没有 NUMA 关系,可能是驱动或设备树没有提供对应信息。可以结合 lspci -Dnn、主板手册和 PCIe 插槽拓扑继续核对。

再检查虚拟机是否看到了合理拓扑

在客户机内部,使用以下命令确认 vCPU 和 vNUMA 视图:

lscpu
lscpu -e
numactl --hardware
free -h

如果宿主机已配置多个 vNUMA 节点,但客户机只看到一个节点,需要确认虚拟化平台是否没有向客户机暴露 vNUMA,或者虚拟机规格本身不足以触发多节点布局。对于大型数据库和内存密集型应用,这种差异可能影响客户机调度。

测试要与业务瓶颈对应

验收不应只运行一个综合跑分。可以按业务类型安排测试:

验证项目适合确认的问题主要观察指标
单节点与跨节点内存测试远端访问是否带来明显延迟内存带宽、访问延迟、尾延迟
CPU 持续负载vCPU 是否受到超分或调度影响steal time、运行队列、完成时间
数据库日志模拟存储同步写是否稳定平均延迟、P95/P99 延迟
顺序读写测试磁盘和网络存储吞吐是否满足MB/s、队列深度、持续时间
目标区域网络测试美国机房到主要用户位置的路径质量RTT、丢包、抖动、应用层吞吐
并发虚拟机测试邻居负载是否造成抖动业务延迟、磁盘队列、CPU steal

内存测试应在维护窗口执行,并控制测试规模,避免占满宿主机可用内存。磁盘测试必须使用专用测试卷或测试文件,不能把裸设备路径直接交给测试工具,否则可能覆盖生产数据。网络吞吐测试需要另一端配合,单机自测只能说明本机协议栈,不能代表美国机房到实际访问者的效果。

用采购条件固定可验收的内容

在购买双路 AMD EPYC 9V94 美国服务器前,可以将以下内容写入配置确认单:

  1. 处理器的完整型号、物理核心数、线程数和 SMT 状态;
  2. 交付时 BIOS 的 NPS、功耗和内存相关设置;
  3. 每个 NUMA 节点的 CPU 与内存容量;
  4. 内存条数量、通道填充方式和是否对称;
  5. 本地 NVMe 的型号类型、连接方式、RAID 或副本方案;
  6. 网卡端口速率、保证带宽、共享策略和出方向计费;
  7. 虚拟化平台是否支持 vNUMA、绑核和内存绑定;
  8. 虚拟机迁移后是否可能改变 CPU、内存和 I/O 拓扑;
  9. 机房所在美国区域以及到目标用户区域的测试方式;
  10. 性能异常时的更换、迁移或重新部署边界。

从业务倒推双路服务器配置

可以把最终选择归纳为一条反向路径:先确定业务的主要瓶颈,再选择对应的物理资源,最后把资源映射到 NUMA 节点。

从业务倒推双路服务器配置配图

  • 如果业务主要受并发计算限制,先看物理核心、持续频率和 CPU 调度,再决定是否需要双路和跨节点扩展;
  • 如果业务主要受数据库缓存限制,先按工作集规划内存容量,再检查每个 NUMA 节点能否容纳目标虚拟机;
  • 如果业务主要受内存带宽限制,先核对内存通道和节点本地性,而不是只增加 vCPU;
  • 如果业务主要受随机 I/O 限制,优先确认 NVMe 延迟、队列隔离和日志盘路径;
  • 如果业务主要受公网或内部传输限制,先确认网卡、队列、保证带宽和美国机房线路;
  • 如果业务需要多个大型虚拟机,选择能够提供足够节点容量、合理 vNUMA 映射和宿主机余量的双路配置;
  • 如果业务只是少量轻量级虚拟机,则应比较单路平台和双路平台的实际成本,避免为了总核数增加而引入不必要的跨 NUMA 管理复杂度。

真正适合的双路 AMD EPYC 9V94 美国服务器,不是参数表上核数最多或内存最大的一台,而是能够让虚拟机的 CPU、内存、磁盘和网络路径与业务负载保持一致的一台。先核对拓扑,再分配节点;先验证延迟和持续吞吐,再决定是否超分或跨节点,通常比直接按照总 vCPU 和总内存切分更可靠。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3527.html

相关推荐