双路AMD EPYC 7542配置的香港服务器,如何判断NUMA对数据库性能的影响?

发布人:A5数据发布时间:2026-10-12 10:36阅读量:158

数据库的P95延迟升高,而双路服务器的总CPU使用率只有40%,并不能直接说明“CPU够用”,也不能据此认定NUMA拖慢了数据库。少数核心满载、跨节点内存访问、锁等待、磁盘同步写入,以及香港服务器到业务端的网络往返,都可能表现为“吞吐上不去、延迟却在增加”。

判断双路AMD EPYC 7542配置的香港服务器是否受到NUMA影响,核心是建立一条证据链:确认实际NUMA拓扑,观察数据库线程与内存页的分布,在相同业务负载下改变内存放置或CPU亲和策略,再检查吞吐和尾延迟是否稳定改善,同时排除磁盘、网络和数据库内部等待。NUMA节点存在,只说明系统有非一致内存访问结构;只有访问局部性与性能变化形成对应关系,才能把它列为主要瓶颈。

一、先确定测试目标:判断NUMA影响,而不是只跑出一个高分

AMD EPYC 7542单颗处理器为32核、64线程。双路配置共有64个物理核心;在启用SMT、没有额外限制的情况下,操作系统通常可以看到128个逻辑CPU。但数据库是否能有效利用这些资源,还取决于内存配置、NUMA模式、线程调度和业务并行度。

NUMA的基本含义是:某个CPU访问与自己所属节点相连的内存,通常比访问其他节点的内存更直接。跨节点访问可能增加延迟,也可能受到节点间互连带宽的约束。数据库缓存命中率很高时,数据页虽不需要从磁盘读取,却仍需从内存进入CPU缓存,因此并不代表NUMA没有影响。

这类测试应回答三个问题:

  1. 当前业务是否受到CPU计算、内存访问或数据库内部并发能力的限制?
  2. 在业务、数据和资源配额不变时,改善内存分布能否降低延迟或提高吞吐?
  3. 获得的收益是否足以支持调整配置,且不会引入内存不足、并行能力下降等新问题?

测试负载要能代表真实业务

只执行简单主键查询,可能主要测到缓存和网络;大量随机读且数据明显超过内存,则可能主要测到存储。两者都不一定适合识别NUMA问题。

建议至少覆盖以下负载,并分别解释结果:

负载类型主要观察对象对NUMA判断的作用
热数据点查、短事务内存访问、CPU、连接与事务开销磁盘影响较小时,较容易观察局部性差异
范围查询、聚合、排序内存带宽、缓存效率、执行并行度有助于发现跨节点访问和内存带宽压力
更新与提交密集型事务日志写入、锁等待、同步提交用于避免把存储或锁瓶颈误判为NUMA

固定查询比例、数据规模、连接池大小、事务长度和缓存状态。每轮先预热,再采集稳定区间的数据;涉及写入时,还要保证数据规模和分布不会随着测试轮次持续漂移。

香港服务器的地域属性需要单独处理:NUMA是服务器内部的硬件与调度问题,香港到业务端的网络质量是另一层变量。建议分别测量数据库本机或近端压测结果,以及真实业务链路的端到端结果,不能把两者混成一个延迟数字。

二、指标含义:低CPU、高命中率,都不是排除NUMA的证据

判断性能不能只看CPU和QPS。至少要把吞吐、延迟、等待和资源分布放到同一时间窗口中分析。

吞吐与尾延迟必须一起看

QPS表示每秒完成的查询数,TPS表示每秒完成的事务数。一个事务可以包含多条SQL,因此两者不能直接互换。对事务型业务,最好以成功事务吞吐为主,同时记录失败、超时和重试数量。

P95延迟表示95%的请求不超过该延迟,P99更容易暴露排队和偶发长等待。比较配置时,应使用相同的计时范围:客户端计时可能包含网络、连接等待和数据库执行,数据库内部计时则通常不包含完整网络过程。

“吞吐提高、P95下降、错误率不升高”才是较完整的改善;吞吐提高但P99明显恶化,可能只是把更多请求推入了队列。

压测工具也会影响解释。固定并发的闭环测试中,响应越慢,客户端发出的新请求越少。容量验证还应补充固定到达速率测试,观察请求是否积压,避免低估过载时的尾延迟。

CPU要看分布,而不只是平均值

双路EPYC 7542的总CPU使用率不高,仍可能存在以下情况:

  • 少数数据库工作线程占满某些逻辑CPU,其他CPU空闲。
  • 线程集中在一个插槽,另一个插槽利用不足。
  • 线程等待内存访问,CPU没有持续执行有效指令。
  • 大量时间消耗在锁、调度或其他等待中,增加核心也无法改善。
  • 容器或虚拟机存在CPU配额,宿主机空闲不代表数据库可以使用。

不同监控工具对CPU百分比的归一化口径不同。进程显示“800%”可能表示占用了约8个逻辑CPU,而面板显示“40%”可能是对全部逻辑CPU求平均,不能直接比较。

SMT的两个逻辑CPU还会共享部分执行资源,因此“用了64个逻辑CPU”也不等于“用了64个独立物理核心”。

内存页分布不是远程访问比例

numastat -p和进程的numa_maps可以观察内存页位于哪些NUMA节点,但它们不能直接回答“有多少次读取属于远程访问”。

例如,数据库80%的内存位于节点0:

两个并列的简化双节点资源示意,内存分布均为节点0占80%、节点1占20%;左侧主要工作线程位于节点0,右侧线程分布到两个节点

  • 如果主要线程也在节点0运行,局部性可能不错。
  • 如果线程均匀分布在两个插槽,另一侧线程可能频繁访问这些内存。
  • 如果热点数据恰好位于少量本地页中,远程访问影响可能仍然有限。

系统级numa_hit、numa_miss等统计主要反映分配行为,不应直接换算成数据库远程读写比例。更直接的判断需要结合受支持的硬件性能计数器、CPU与内存绑定信息,以及对照测试;事件名称和工具支持必须按处理器及内核环境核验。

I/O和网络要同步记录

指标应当如何理解常见误判
磁盘读写延迟、队列长度判断存储请求是否排队只看磁盘吞吐低,就认为磁盘不忙
日志写入与同步等待判断提交是否受持久化限制把提交慢归因于内存访问
缓存命中率判断逻辑访问中有多少不需要读盘命中率高就认为内存没有瓶颈
网络RTT、重传、应用端耗时区分执行慢与传输慢用远端请求延迟代表数据库执行时间
锁等待、活动会话、连接池等待判断数据库及应用内部竞争CPU低就继续增加并发

对于NVMe等并行设备,%util也不能单独作为“已经饱和”的结论。需要结合队列、延迟、吞吐和具体I/O模式解释。

三、影响变量:双路不一定只有两个NUMA节点

BIOS中的NPS模式会改变操作系统看到的拓扑

EPYC平台可以通过NPS设置改变每个插槽呈现的NUMA结构。双路服务器在不同设置下,可能呈现2、4或8个NUMA节点;具体可选模式、默认值和实际结果,应以主板固件及系统输出为准。

节点划分更细,有机会缩短部分访问路径,但也会让单个节点可用的CPU和内存变少,增加线程与内存放置的管理难度。因此,不能简单认定“节点越多性能越好”,也不能把双路服务器默认理解为节点0对应第一颗CPU、节点1对应第二颗CPU。

CPU缓存拓扑同样重要。一个NUMA节点不一定就是一个统一的共享末级缓存域,调整CPU亲和性时还应注意物理核心、SMT和缓存分组。

内存容量相同,不代表带宽配置相同

EPYC 7542每颗处理器有8个内存通道。实际带宽取决于DIMM数量、插法、频率及平台规则,而不只是总容量。

双路服务器若只在一侧安装大量内存,或两侧容量明显不均衡,数据库跨插槽访问内存的机会可能增加。即便两侧容量对称,未合理使用内存通道,也可能限制带宽。

向A5IDC确认这类香港服务器配置时,应把每颗CPU的内存容量、DIMM分布、实际运行频率和NUMA模式一起核对。只知道“总内存256GB”,不足以判断数据库访问内存的路径和带宽。

首次触页和线程调度会改变内存位置

Linux常见的内存分配行为与首次实际访问页面的线程位置有关。数据库启动时若主要由某个线程初始化大块缓存,内存可能集中分配在一侧;之后工作线程扩展到两侧CPU,访问模式就可能变得不均衡。

但数据库软件可能具有自己的内存分配或NUMA处理逻辑,不能把通用机制当作所有版本的确定行为。

MySQL一类多线程数据库,需要关注缓冲池及工作线程的关系;PostgreSQL还要同时考虑共享缓冲区和各后端进程的私有内存。对一个进程观察到的分布,不一定代表整个数据库实例。

自动平衡、交错分配和绑定是不同策略

自动NUMA平衡可能迁移线程或内存页,收益和开销取决于负载。

交错分配把内存页分散到多个节点,可能缓解某一侧内存控制器的压力,但并不保证每个线程都访问本地内存。

严格绑定CPU和内存,则可能改善局部性,却也可能让数据库无法使用其他节点的空闲内存,或减少可用核心数。工作集超出绑定范围后,性能甚至可能明显下降。

这些策略不能同时修改后再归因。一次只改变一个主要变量,才有条件判断收益来自哪里。

四、执行对照:先观察,再做可恢复的实验

先确认真实拓扑与资源限制

以下是Linux环境下的只读检查示例。部分命令需要系统安装对应工具,读取其他账户的进程信息也可能需要额外权限。

lscpu
lscpu -e=CPU,NODE,SOCKET,CORE
numactl --hardware
cat /proc/sys/kernel/numa_balancing

重点检查节点数量、每个节点的CPU与内存,以及CPU编号和物理核心的对应关系。不能假定编号连续的一组CPU一定属于同一插槽。

数据库进程的允许范围和内存分布可以这样查看,将12345替换为实际PID:

grep -E 'Cpus_allowed_list|Mems_allowed_list' /proc/12345/status
numastat -p 12345
head -n 30 /proc/12345/numa_maps

这些结果只是采样时刻的状态。应在启动后、预热后和稳定负载期间分别采集。容器或虚拟化环境还需要检查相应的CPU配额、cpuset和虚拟NUMA配置,不能只看宿主机拓扑。

同步采集资源与数据库等待

vmstat 1 60
iostat -xz 1 60
mpstat -P ALL 1 60
pidstat -u -r -w -p 12345 1 60

这些命令分别用于观察系统内存及调度、块设备、逐CPU负载,以及进程CPU、缺页和上下文切换。采样时段要与压测稳定区间对齐。

数据库内部还需要获取慢查询、锁等待、执行计划、缓存命中、日志同步等待等信息。不要在未评估开销时开启高频全量跟踪;采集方式应匹配数据库版本,且对照组保持一致。

对照组要区分“因果验证”和“部署选择”

可以按以下顺序测试:

  1. 基线组:保留当前策略,记录线程分布、内存分布和性能。
  2. 内存分布组:保持相同可用CPU、连接数和业务负载,只改变内存分配策略。
  3. 局部性组:在测试环境中评估限定CPU与内存范围的方案,检查容量是否足够。
  4. 复测组:恢复基线后再次测试,排除缓存、后台任务和环境漂移。

第二组更适合识别内存放置的影响。第三组若只使用一个插槽,就同时减少了可用核心与内存,属于部署方案比较,不能直接当作纯NUMA因果实验。

实际修改数据库启动参数、服务配置或BIOS前,应备份原配置和必要的数据,确认影响范围,并安排维护窗口。回滚应恢复原启动策略或固件设置,再验证数据库状态与基线性能。尤其不能在生产环境直接严格绑定内存后,以“还有其他节点空闲”为理由忽略内存不足风险。

五、结果解释:什么样的数据支持NUMA判断

下面是一组用于说明判断方法的参考数据,并非某台服务器的实测结果。

测试设定为双路EPYC 7542、总内存256GiB、两个NUMA节点;数据库缓冲区80GiB,预热后的测试数据主要从内存访问。使用相同数据、事务比例、64个并发连接和压测位置,CPU使用率统一按整台服务器的全部逻辑CPU归一化。

对照组可用CPU范围数据库驻留内存分布成功TPSP95P99全机CPU
A:默认策略两个插槽约90%在节点012,00030ms58ms35%
B:交错分配两个插槽,与A相同两节点大致均分14,00024ms48ms38%
C:单插槽本地放置一个插槽主要在对应节点10,50034ms66ms43%

在这组示例中,A到B的吞吐提升为:

(14,000-12,000)÷12,000 ≈ 16.7%

P95下降为:

(30-24)÷30 = 20%

如果多轮测试都呈现类似趋势,同时磁盘延迟、网络耗时、锁等待和执行计划基本不变,可以认为内存放置对该负载有明显影响。若硬件计数器进一步显示相关访问或带宽压力发生变化,解释会更有支撑。

但不能据此说“交错分配消除了远程访问”。它可能只是把内存带宽需求分散到了两侧,让更多内存控制器参与工作。

C组虽然局部性更强,却减少了可用核心。全机CPU为43%时,负载集中在半数CPU上,使用范围内的平均负载可能已经较高。因此,C组较慢不代表本地访问无益,而是说明局部性收益不足以抵消并行资源减少。

五、结果解释:什么样的数据支持NUMA判断配图

四种常见结果,应分别处理

策略变化后,吞吐和尾延迟都稳定改善。 NUMA可以列为重要影响因素,但仍需区分远程访问延迟与内存带宽分布。后续应围绕线程放置、内存初始化和数据库支持的策略继续验证。

内存分布变化明显,性能几乎不变。 当前负载可能不敏感,或者热点主要落在CPU缓存中,也可能被锁、日志或网络掩盖。不应为追求“节点均衡”继续增加配置复杂度。

单插槽快,双插槽慢。 需要进一步区分跨节点成本、缓存共享、线程迁移,以及数据库锁竞争。应补充“相同工作线程数量,不同CPU放置”的对照,而不是直接关闭一颗CPU。

并发增加后吞吐不升、尾延迟上涨。 先查看等待构成。锁等待增加,应检查事务竞争;磁盘队列增长,应检查存储;少数核心满载,应检查串行路径。只有这些因素不足以解释变化,且局部性对照持续有效时,NUMA判断才更可靠。

六、决策边界:把NUMA收益转化为可用容量

单实例不一定必须用满两颗CPU

如果数据库负载并行度有限、工作集能够放入一个插槽对应的内存,单插槽放置可能更简单,也可能改善部分延迟。

如果业务有较高并发、较大工作集或较强内存带宽需求,使用两颗CPU仍可能有更高总吞吐。此时更合理的方向通常是改善线程与内存分布,而不是为了局部性牺牲一半资源。

多个相互独立的数据库实例,有机会分别放置到不同节点,减少跨节点共享。但必须核对单实例容量、备份与故障恢复需求,以及是否仍共享磁盘和网络。NUMA隔离不等于整个系统都完成了资源隔离。

面向香港数据库及多实例业务部署,A5数据提供单路与双路AMD EPYC物理服务器,搭配不同容量的内存及SSD、NVMe存储,为数据库缓存、事务数据读写和并行任务提供资源基础。不同档位的计算与存储组合,可承载业务后台、数据库与接口服务等负载;香港产品还提供CN2或国际带宽方案,衔接跨境业务访问与应用、数据库之间的数据传输需求。

用延迟目标找到容量拐点

容量判断不能只引用最高TPS。应在候选策略下逐步增加并发或到达速率,找到满足服务目标的稳定区间。

下面继续使用示例数据,设定目标为P95不超过25ms、P99不超过60ms,且无明显超时与持续积压:

并发连接数成功TPSP95P99判断
329,00012ms22ms有余量
6414,00024ms48ms仍满足目标
9614,80041ms83ms吞吐接近平台,延迟越界
12814,50068ms136ms继续加并发已无益

此时14,800 TPS不应作为可持续业务容量,因为它已经违反延迟目标。可以从满足目标的14,000 TPS出发预留容量余量。例如保留20%余量,对应初步运行目标为:

14,000 × 80% = 11,200 TPS

六、决策边界:把NUMA收益转化为可用容量/用延迟目标找到容量拐点配图

这只是该测试负载下的容量起点,还需要用真实请求到达模式复测,不能理解为对所有SQL组合的性能承诺。

复测至少应覆盖业务高峰、备份或检查点期间,以及数据库重启后的预热过程。数据集扩大、索引变化、连接池调整、DIMM配置变化、BIOS升级、NPS切换和数据库版本升级,也都可能改变原有结论。

对这类香港服务器,最终有用的判断不是“NUMA有没有影响”,而是:在明确的业务负载与延迟目标下,哪种CPU和内存放置方式能够稳定提供所需吞吐,并保留足够容量余量。 当拓扑、等待指标和对照结果能够相互印证时,再决定调整NUMA策略、优化SQL、升级存储或改善网络,才不会把一个局部现象误当成整台服务器的性能问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3361.html

相关推荐