数据库运行在日本双路AMD EPYC 7742服务器上,如何识别NUMA访问瓶颈?

发布人:A5数据发布时间:2026-10-14 08:24阅读量:130

在双路 AMD EPYC 7742 服务器上,数据库出现高延迟时,不能把“CPU利用率不高”或 numastat 中出现 numa_miss 直接等同于 NUMA 已经成为瓶颈。真正需要确认的是:延迟恶化的同一时间段内,数据库线程是否集中在某些 NUMA 节点,热数据页是否主要落在其他节点,跨节点内存活动是否与 CPU 停顿同时上升,并且这种关系能否通过受控复测改变响应时间。

日本服务器中的“日本”主要影响客户端到服务器的网络路径,不会改变本机的 NUMA 判定方法。双路 EPYC 7742 通常意味着两颗每颗 64 个物理核心的处理器,但操作系统实际看到的 NUMA 节点数量还取决于 BIOS 的 NPS、内存交织和操作系统配置。可执行的判断顺序应当是:建立同一时间窗口,观察响应时间变化,关联每个节点的 CPU、内存、磁盘和网络指标,排除数据库及应用等待,最后用一次变量受控的复测验证。

A5数据在日本提供基于AMD EPYC和Xeon Gold平台的物理服务器,并配备NVMe存储及多种网络线路,能够为数据库、业务后台和接口服务提供面向本地及跨境访问的硬件与网络资源基础。针对不同计算负载、数据规模和访问路径,A5数据还提供单路、双路及存储扩展等服务器方案,便于承载多核计算、内存密集型数据库和持续读写业务。

先确认双路 EPYC 7742 的实际 NUMA 拓扑

NUMA 的基本含义是:每个处理器插槽拥有相对靠近自己的内存区域,处理器访问本地内存通常比访问另一插槽的内存更容易获得较低延迟和更高的有效带宽。跨插槽访问并不一定是错误,数据库在双路服务器上出现远端内存访问也很常见;只有当远端访问成为响应时间和吞吐下降的主要原因时,才应称为 NUMA 访问瓶颈。

先确认双路 EPYC 7742 的实际 NUMA 拓扑配图

双路 EPYC 7742 的物理核心总数通常为 128 个。如果 SMT 开启,lscpu 可能显示 256 个逻辑 CPU,但这不代表有 256 个物理核心。更重要的是,双路服务器也不一定只有两个 NUMA 节点。

常见固件配置双路系统可能呈现的 NUMA 节点数对分析的影响
NPS12每个插槽通常对应一个 NUMA 节点,最容易进行节点级对比
NPS24每个插槽划分为两个 NUMA 域,需要按实际节点映射分析
NPS48局部性粒度更细,线程、内存页和节点距离的关系更复杂
内存交织或厂商定制配置以操作系统实际呈现为准可能改变页面分布和可观察的本地性特征

NPS 的具体名称和可选值由服务器固件决定,不能只根据 EPYC 7742 的型号推断。内存条在各通道上的安装是否均衡,也会影响每个插槽的内存带宽。某个节点的内存通道没有填满时,即使 NUMA 绑定关系正确,也可能出现内存带宽不对称。

先用只读命令确认当前系统的拓扑:

lscpu | grep -E 'Model name|Socket|Core|Thread|NUMA'
lscpu -e=CPU,NODE,SOCKET,CORE
numactl --hardware

for f in /sys/devices/system/node/node[0-9]*/distance; do
  printf '%s: ' "$f"
  cat "$f"
done

如果系统安装了 hwloc,还可以使用:

lstopo-no-graphics

重点查看以下信息:

  • lscpu 显示的 Socket、Core、Thread、NUMA node 数量;
  • 每个 CPU 编号属于哪个 NUMA node;
  • 每个节点的总内存和可用内存;
  • node distances 中本地节点和远端节点的距离关系;
  • 数据库进程允许使用的 CPU 和内存节点是否覆盖了预期范围。

如果命令在当前发行版中不存在,应先确认工具是否安装以及命令版本,不要直接套用其他发行版的路径或输出格式。生产环境中修改 NPS、内存交织或内存通道配置通常需要重启服务器,应在维护窗口、备用节点或测试机上进行。

建立可比较的观察窗口

NUMA 判断最容易犯的错误,是拿不同时间、不同负载、不同查询组合的指标进行比较。应至少保留三个窗口:

  1. 正常窗口:业务量和查询类型稳定时的基线;
  2. 异常窗口:响应时间升高、超时或错误增加的时间段;
  3. 复测窗口:保持相同业务负载,只改变一个 CPU 或内存局部性变量。

对于持续时间较长的异常,可以保留 1 秒或 5 秒原始采样,再计算 5 分钟或 15 分钟的统计值。只看一分钟平均值,可能把短时的远端内存突发、页面迁移或锁等待完全抹平。

最小观测面不应只有 CPU 和内存,至少要包括以下几组:

指标组需要观察的指标判断用途
业务响应QPS、并发数、p50、p95、p99、超时率、错误率确认是否真的变慢,以及变慢发生在何时
CPU每个 NUMA 节点 CPU、运行队列、上下文切换、CPU 迁移区分全机计算饱和、单节点饱和和线程迁移
内存与 NUMA每节点可用内存、页面分布、缺页、回收、带宽、NUMA 计数判断容量压力、页面放置和远端访问
磁盘读写延迟、队列深度、await、设备利用率、数据库刷盘等待排除数据读取、日志刷新和检查点压力
网络RTT、重传、丢包、接口错误、Socket 队列排除日本机房到客户端之间的网络路径问题
应用与数据库连接池等待、应用队列、锁等待、日志刷新、缓存命中、慢查询判断瓶颈是在服务端、应用层还是数据库内部

Linux 上可以用下面的只读命令采样。PID 应替换为实际数据库进程或代表性工作进程的 PID:

PID=12345

mpstat -P ALL 1 10
vmstat 1 10
iostat -xz 1 10
numastat -m 1 10
numastat -p "$PID"
pidstat -t -p "$PID" 1 10
sar -n DEV 1 10

grep -E 'Cpus_allowed_list|Mems_allowed_list' /proc/"$PID"/status
sed -n '1,20p' /proc/"$PID"/numa_maps

这些命令最好由监控系统或多个终端同时运行,而不是一个接一个执行。对于多进程数据库,只观察主进程可能看不到实际工作进程的 CPU 和内存分布;对于多线程数据库,则应同时观察线程级 CPU。共享内存可能出现在多个进程的映射中,不能简单把所有进程的页面数相加,否则会重复统计。

按“变化—联动—排除—复测”确认 NUMA 嫌疑

1. 指标 A:先确认响应时间和工作量发生了什么变化

先观察业务侧的 p95、p99、超时率、错误率和并发数,再看主机资源。QPS 不变而 p99 上升,通常说明排队、资源等待或执行效率发生了变化;QPS 和并发同时大幅增加时,延迟升高也可能只是负载变化,不能直接归因于 NUMA。

数据库服务端耗时和客户端端到端耗时要分开记录。客户端端到端时间可能包含连接池排队、应用线程排队、网络传输以及数据库执行时间。尤其是数据库部署在日本,而应用或用户位于其他地区时,网络延迟可能掩盖服务器内部的 NUMA 影响。

下面是一组用于解释判断过程的模拟数据,不代表实际服务器监控结果:

指标稳定窗口异常窗口
数据库请求量21,500 QPS21,300 QPS
数据库 p95 / p9932 / 70 ms105 / 290 ms
应用端 p95 / p9949 / 90 ms128 / 350 ms
Node 0 / Node 1 CPU(NPS1示例)58% / 61%94% / 44%
指令每周期 IPC1.150.72
跨节点内存事件(平台计数器,基线归一化)1.03.4
磁盘 await / 设备队列1.8 ms / 0.42.0 ms / 0.5
锁等待和日志刷新等待占比1.0%1.2%
网卡重传和丢包00

这里最值得注意的不是某一个数字,而是同一时间窗口中的组合关系:请求量基本不变,数据库 p99 明显升高;Node 0 变忙而 Node 1 仍有余量;IPC 下降,跨节点内存事件上升;磁盘、锁和网络指标变化很小。这个组合可以把 NUMA 局部性列为主要嫌疑,但仍不能跳过复测,因为查询计划或工作集变化也可能造成类似结果。

以“稳定窗口”和“异常窗口”两列组织分指标小图,展示数据库请求量基本不变而数据库 p95/p99 上升、Node 0 与 Node 1 CPU 使用率分化、IP

2. 指标 B:区分全机 CPU 饱和和单节点 CPU 饱和

双路服务器最容易隐藏单节点瓶颈。假设系统有 128 个物理核心,Node 0 使用率为 95%,Node 1 使用率为 35%,全机平均值仍可能只有约 65%。如果只看总 CPU,就会误以为服务器还有大量余量。

应将 CPU 编号与 NUMA 节点映射后,再按节点聚合。观察重点包括:

  • 某一个节点的 CPU 是否长期高于其他节点;
  • 数据库工作线程是否大多运行在同一个节点;
  • 线程是否频繁跨 CPU 迁移;
  • 运行队列是否集中在某个节点;
  • 高 CPU 是否伴随较高 IPC,还是伴随 IPC 下降和缓存未命中增加;
  • 数据库进程允许使用的 CPU 是否被容器或 cgroup 限制。

uptime 中的 load average 不能直接作为 CPU 饱和阈值。它既包含可运行任务,也可能包含处于不可中断睡眠的 I/O 等待任务;在 128 或 256 个逻辑 CPU 的机器上,原始负载值更不能脱离允许使用的 CPU 数量解释。

如果两侧节点都接近饱和、IPC 相对稳定、跨节点事件没有同步升高,而磁盘和网络等待较低,更像是计算型 CPU 瓶颈。如果只有一个节点变忙,另一个节点明显空闲,则应继续检查 CPU 亲和性、内存放置和数据库连接分布。

3. 对齐线程位置、内存页位置和内存策略

NUMA 瓶颈的核心证据不是“机器有两个插槽”,而是“线程经常运行在一个节点,所需页面却主要位于另一个节点”。

可以用以下命令查看线程当前运行位置、进程亲和性和页面分布:

PID=12345

ps -L -p "$PID" -o pid,tid,psr,pcpu,stat,wchan:24,comm
taskset -pc "$PID"

grep -E 'Cpus_allowed_list|Mems_allowed_list' /proc/"$PID"/status
numastat -p "$PID"
sed -n '1,40p' /proc/"$PID"/numa_maps

psr 只表示采样瞬间线程所在的逻辑 CPU,因此应连续采样,而不能根据一次快照下结论。lscpu -e 可以帮助把 psr 对应到 NUMA node。

页面分布需要结合数据库的内存管理方式理解:

  • Linux 的 first-touch 策略可能让最先写入页面的线程决定页面落在哪个节点;
  • 数据库启动阶段创建的大型缓存区,可能集中在启动线程所在节点;
  • 连接池或工作线程后来被调度到其他节点后,会持续访问远端页面;
  • 内存策略设置为 interleave 时,页面会分散到多个节点,远端访问可能是预期行为;
  • 某个节点内存不足时,页面可能回退到其他节点,远端访问只是容量压力的结果;
  • 自动 NUMA 平衡可能引起提示缺页和页面迁移,短时间内增加 CPU 开销和延迟;
  • 容器或 cgroup 可能限制 CPU 节点范围,却没有以同样方式限制内存节点。

可以同时查看以下状态,但不要仅凭一次输出修改内核参数:

cat /proc/sys/kernel/numa_balancing
cat /sys/kernel/mm/transparent_hugepage/enabled

numastat -p 主要反映进程的页面分布,系统级 numastat -m 中的 numa_hit、numa_miss、local_node、other_node 等字段,具体含义和输出格式会随内核及工具版本变化。它们更多说明页面分配和内存策略,不等于每一次 CPU 远端读操作。特别是 numa_miss 不能直接当成“远端访问百分比”。

4. 用硬件计数器确认内存停顿是否同步上升

在相同查询组合和相近 QPS 下,如果异常窗口出现以下变化,NUMA 或内存子系统的可能性会增加:

  • CPU cycles 增加,但 instructions 增幅不大;
  • IPC 明显下降;
  • LLC 或缓存未命中增加;
  • 每节点内存带宽接近上限或明显不均衡;
  • 跨节点内存事件与 p99 同时上升;
  • 磁盘、网络和数据库锁等待没有同步恶化。

通用 perf 事件可以用于同一台机器上的相对比较:

PID=12345

perf stat -p "$PID" \
  -e cycles,instructions,cache-misses,context-switches,cpu-migrations

该命令需要在固定的采样时长内运行,例如 30 秒后停止。perf 的权限和可用事件由内核配置决定,应先通过 perf list 查看。AMD EPYC 的 Data Fabric、内存控制器和远端访问事件具有平台和内核版本差异,不能直接复制其他服务器上的事件名称。可以查看当前系统是否暴露了相关计数器:

perf list | grep -i -E 'numa|remote|data fabric|df|umc'

如果平台没有可用的跨节点硬件事件,不要用某个不兼容的事件代替。此时可以依靠以下三类信息组合:

  1. numastat -p 和 /proc/PID/numa_maps 反映的页面位置;
  2. IPC、缓存未命中、每节点内存带宽等内存停顿信号;
  3. 在受控环境中改变 CPU 或内存局部性后的响应时间变化。

这三类证据比单独看 numa_miss 更可靠。

排除 CPU、内存、磁盘、网络、应用和数据库瓶颈

NUMA 访问瓶颈经常与其他问题同时出现,也可能只是某个更深层问题的结果。应把替代解释放在同一时间轴上比较。

候选瓶颈同一窗口中常见的联动信号与 NUMA 判断的关系
CPU 计算瓶颈允许使用的 CPU 普遍繁忙,运行队列增加,数据库 CPU 时间上升,IPC相对稳定,I/O等待较低如果所有节点都均衡变忙,NUMA通常不是首要原因
内存容量或回收压力某节点可用内存接近耗尽,major fault、页面回收、交换活动或页面迁移增加远端访问可能只是本地内存不足后的结果,应先解决容量和分布
磁盘 I/O设备 await、队列深度、读取或刷盘等待与 p99同步上升CPU不高且数据库处于读盘、日志刷新或检查点等待时,不应优先改NUMA
网络RTT、TCP重传、接口丢包、Socket队列或应用端等待上升,而数据库服务端执行时间较稳定日本机房到客户端的网络路径可能掩盖或放大主机内部延迟
应用层连接池等待、线程池队列、垃圾回收、下游接口耗时上升,数据库活跃执行量没有同步增加数据库服务器可能只是被应用排队拖慢
数据库内部锁等待、日志刷新、缓存未命中、临时表溢出、检查点或查询计划变化NUMA可能是次要因素,先确定实际等待类别

CPU 瓶颈与 NUMA 瓶颈的区别

计算型 CPU 瓶颈通常表现为所有可用节点都承担较高计算负载,数据库活跃会话的 CPU 时间随请求量上升,IPC 不一定下降,磁盘和网络等待相对平稳。

NUMA 相关瓶颈更常见的形态是:

  • 总 CPU 平均值不高,但某些节点接近饱和;
  • 线程运行节点和页面所在节点不匹配;
  • IPC下降、缓存未命中或内存带宽活动上升;
  • p99 与这些变化在时间上同步;
  • 改变局部性策略后,延迟或吞吐出现可重复变化。

如果只有“Node 0 CPU较高”这一项,而页面分布、内存事件和复测都没有支持,不足以判断 NUMA 是主因。也可能是数据库连接池、后台任务或某个查询线程被固定在 Node 0。

内存容量压力与远端访问的区别

单个节点的可用内存不足时,Linux 可能将页面分配到其他节点,形成远端访问。此时问题的根因可能是:

  • 内存条容量在两个插槽之间不均衡;
  • 数据库缓存过大,超过了单节点能够稳定承载的工作集;
  • 某类进程占用了一个节点的大量内存;
  • cgroup 的内存限制与 CPU 节点限制不匹配;
  • 自动页面迁移正在追赶变化中的访问模式。

因此要同时查看每个节点的 MemAvailable、页面回收、major fault、交换活动和页面迁移。总内存还有余量,并不代表每个 NUMA 节点都有足够的本地内存。

磁盘 I/O 不能只看 %util

SSD 或 NVMe 设备的 %util 需要结合 await、队列深度和实际读写量解释。数据库出现高 p99 时,如果 iostat -xz 中设备延迟和队列同步升高,并且数据库等待事件集中在数据读取、日志刷新或检查点,则应优先处理 I/O 路径。

反过来,如果磁盘延迟和队列稳定,但 CPU IPC下降、跨节点事件上升,磁盘就不太可能是当前窗口中的主要瓶颈。vmstat 中的 wa 也不能单独证明磁盘有问题,因为不可中断等待、驱动行为和其他阻塞都可能影响它。

日本服务器上的网络路径要单独拆分

部署地点会影响应用端到数据库的网络往返时间。应用如果不在同一机房,客户端观测到的 p99 可能主要来自网络路径、连接池或重传,而不是服务器内部的远端内存访问。

应尽量分别记录:

  • 客户端发起请求到收到响应的总时间;
  • 应用进入数据库调用到数据库返回的时间;
  • 数据库服务端实际执行时间;
  • 连接池等待时间;
  • TCP RTT、重传和网卡丢包。

可以使用以下只读命令辅助观察:

sar -n DEV 1 10
sar -n TCP,ETCP 1 10
ss -ti
ip -s link

如果客户端总耗时升高,但数据库服务端执行时间没有变化,同时 TCP 重传、RTT 或应用队列上升,应先处理网络或应用层问题。即使数据库服务端执行时间也升高,也要确认是网络带来的并发堆积,还是数据库本身的资源等待。

应用和数据库等待不能被主机指标替代

应用连接池耗尽时,数据库主机可能只有中等 CPU 使用率,但请求已经在应用队列中等待。垃圾回收、线程池队列、序列化、下游接口或消息系统延迟,也可能把数据库的端到端 p99 拉高。

数据库内部还需要关注:

  • 行锁、表锁或元数据锁等待;
  • 日志或 WAL 刷新等待;
  • 缓存未命中导致的读盘;
  • 临时表、排序或哈希操作溢出;
  • 检查点或后台刷脏与前台请求重叠;
  • 查询计划改变导致工作集突然扩大;
  • 并行查询跨节点访问大量数据。

不同数据库的观测名称不同。多进程数据库需要观察代表性工作进程及共享内存映射,多线程数据库则要观察线程级 CPU 和等待状态。若使用 PostgreSQL,可从 pg_stat_activity、锁视图和数据库统计视图确认等待类型;使用 MySQL 或其他数据库时,应使用对应版本的 performance_schema、状态视图或诊断接口。具体字段需要以实际数据库版本为准。

形成判断:什么证据才足以称为 NUMA 主因

可以把判断分成三个层次,而不是把某一个指标当作最终结论。

证据层次同时满足的条件适合使用的判断
拓扑风险NUMA节点存在,线程、页面或内存策略存在潜在不匹配“存在NUMA局部性风险”
时间关联p99、节点CPU、IPC、页面分布或跨节点事件在同一窗口同步变化,磁盘、网络、锁等待没有更强解释“NUMA可能是重要影响因素”
受控验证保持查询、并发、缓存状态和固件不变,只改变局部性策略后,p95/p99或吞吐稳定改变,且没有转移出新的容量或I/O问题“在该工作负载下,NUMA局部性是主要瓶颈”

下面几种情况需要区别处理:

  • 线程集中在一个节点,数据页集中在另一个节点:优先检查 CPU 亲和性、first-touch、数据库启动顺序和连接池分布。
  • 一个节点内存紧张,另一个节点空闲:优先判断为内存容量或分配策略问题,远端访问可能是结果。
  • 所有节点的内存带宽都高,查询是大范围扫描或并行聚合:远端访问可能是工作负载的正常组成,不能简单通过绑定到一个节点解决。
  • 锁等待、日志刷新或磁盘队列明显升高:NUMA即使存在,也未必是当前p99的主因。
  • 查询计划或数据热集发生变化:应先保证对比窗口的SQL类型、数据量和缓存状态一致。

复测时只改变一个变量

复测的目的不是找到一个看起来更低的 CPU 利用率,而是验证局部性改变是否能改善同一工作负载的响应和吞吐。建议遵循以下条件:

  1. 使用相同的查询组合、事务大小、并发数和连接池配置;
  2. 保持 BIOS、NPS、SMT、CPU 频率策略和透明大页设置不变;
  3. 对数据库缓存进行相同的预热,不要把冷缓存启动阶段和热缓存稳定阶段混在一起;
  4. 每个方案运行足够长的稳定窗口,并重复多次;
  5. 同时记录 p95、p99、QPS、错误率、每节点 CPU、内存页面、磁盘队列和数据库等待;
  6. 一次只修改 CPU 亲和性、内存策略或线程分布中的一个方面。

可以根据假设选择测试方向:

  • 本地绑定测试:适合数据热集能够放入一个节点,且怀疑线程和数据页分离的场景;
  • 跨节点交织测试:适合单节点内存压力明显,或大范围扫描需要均衡内存带宽的场景;
  • preferred 节点测试:适合希望优先使用本地内存、但允许容量不足时回退的场景;
  • 线程和连接分布测试:适合某些工作线程被集中调度,而数据库缓存本身分布较均衡的场景。

本地绑定不一定适合所有数据库。事务型负载可能从较强的线程和数据局部性中受益,但如果工作集超过单个节点容量,绑定可能导致本地内存耗尽、远端回退或回收压力。并行分析、全表扫描和大范围聚合则可能需要跨节点带宽,绑定到单个节点反而降低吞吐。

复测结果可以按下面的方式解释:

复测结果更可能的含义
绑定后 p99下降,跨节点事件下降,磁盘和锁等待不变原有线程与数据页不匹配,NUMA更可能是主要因素
交织后单节点内存压力下降,吞吐提高,但远端访问增加原先存在节点容量或带宽不均衡,交织可能更适合该负载
绑定后延迟下降但吞吐下降、某节点内存接近耗尽绑定只改善了部分延迟,没有解决整体容量,不能直接作为生产方案
绑定、交织和原策略差异都很小,而磁盘队列或锁等待很高NUMA不是当前主要瓶颈,应转向I/O或数据库等待
不同策略结果波动很大负载、缓存预热、查询组合或网络路径没有控制一致

改变数据库启动命令、cgroup CPU/内存限制、NUMA 内存策略或 BIOS NPS 都可能影响可用性。生产环境不要直接对唯一数据库实例执行在线绑定或迁移。应先在测试机、只读副本或可回切节点上验证,并确认数据备份、恢复路径、复制延迟和连接排空方案。变更前保存原始启动参数、亲和性和内存策略;如果复测使延迟、吞吐或节点内存压力恶化,应恢复原配置并按既定维护流程重启。NPS 或内存通道相关变更通常需要重启,更不能在业务高峰期临时修改。

下一次采样时固定保留的指标组合

下一次出现数据库 p99 上升时,不要只截取一张 CPU 或 numastat 截图。应在同一时间戳下保留以下组合:

同步记录项至少保留的内容用于回答的问题
业务层QPS、并发、p50/p95/p99、超时、错误、应用队列是否真的变慢,负载是否发生变化
数据库层活跃会话、CPU时间、锁等待、日志刷新、缓存和读盘等待延迟是在执行、排队还是等待数据库资源
CPU与调度每节点CPU、运行队列、IPC、上下文切换、CPU迁移、亲和性是全机饱和、单节点饱和还是线程迁移
NUMA与内存每节点可用内存、页面分布、缺页、回收、带宽、NUMA计数线程和数据页是否分离,是否发生容量回退
存储读写延迟、await、队列深度、设备利用率、刷盘等待是否是磁盘或日志路径造成排队
网络与应用RTT、重传、丢包、Socket队列、连接池和下游耗时日本机房网络或应用排队是否掩盖了主机问题

当响应时间、请求量、每节点 CPU、线程和页面位置、跨节点内存活动、磁盘队列、网络错误以及数据库等待能够放在同一条时间线上,才能判断 NUMA 是主因、次因,还是只是另一个容量或调度问题的表现。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3601.html

相关推荐