Linux NUMA自动平衡有什么作用?如何判断它是否缓解跨节点内存访问

发布人:A5数据发布时间:2026-11-02 12:01阅读量:72

只看 numa_pages_migrated 上升,很容易把“内核搬动了内存页”误判为“跨节点访问减少了”。页面可能搬向正在运行的 CPU,也可能因线程反复换节点而来回迁移;迁移本身还会消耗 CPU 和内存带宽。单看 NUMA 命中率或应用延迟,同样难以区分自动平衡的效果与负载变化。

Linux NUMA 自动平衡的作用,是通过周期性扫描和 NUMA 提示缺页,观察任务在哪个节点访问内存,并在合适时迁移页面或调整任务位置,让计算与所需内存尽量靠近。判断它是否缓解了跨节点内存访问,需要把访问位置的代理指标、CPU 与内存页的分布、迁移开销、业务响应时间放进同一观察窗口;有硬件远端内存访问计数器时,再用它补强判断。

先建立能比较的观察窗口

NUMA 节点是处理器和内存之间具有不同访问距离的拓扑单位。CPU 访问本地节点内存通常比访问远端节点代价低,但自动平衡并不以“所有内存都留在一个节点”为目标:多线程任务可能同时在多个节点运行,内存容量、带宽和共享页面也会影响放置方式。

先建立能比较的观察窗口配图

比较前,先确认机器或虚拟机确实向操作系统呈现多个 NUMA 节点,并记录自动平衡状态、目标进程及其允许使用的 CPU 和内存节点:

lscpu -e=CPU,NODE
sysctl -n kernel.numa_balancing
pid=12345
grep -E '^(Cpus_allowed_list|Mems_allowed_list):' "/proc/$pid/status"
ps -L -p "$pid" -o pid,tid,psr,comm

将 12345 换成目标进程 PID。ps 中的 PSR 只是线程最近一次运行的 CPU,单次输出不能代表整个窗口的调度位置,应间隔采样。若系统没有 kernel.numa_balancing 参数,或只显示一个节点,先核实内核、虚拟化及拓扑暴露情况,不要套用双节点机器的判断方法。对虚拟机而言,客户机看到的 NUMA 拓扑还需与宿主机资源放置相匹配;仅凭客户机指标无法证明宿主机物理内存的访问位置。

选择业务负载相近、时长相同的窗口,例如预热后的连续几个 5 分钟窗口。同步记录请求量或吞吐、p95/p99 响应时间、错误率、队列长度,以及 CPU 使用率、iowait、内存压力、磁盘 I/O 和网络吞吐。比较窗口内若刚好发生批处理、缓存预热、流量切换或数据集变化,应单独标记,不能把变化直接归因于 NUMA 自动平衡。

指标 A:提示缺页更“本地”了吗

在提供相应计数器的内核上,可读取 /proc/vmstat 中的 NUMA 自动平衡统计:

grep -E '^(numa_hint_faults|numa_hint_faults_local|numa_pages_migrated) ' /proc/vmstat

这些通常是自系统启动以来累计的计数。应在窗口开始和结束各读取一次,计算各字段的增量,而不是比较两次读取的原始值。其中,numa_hint_faults 反映 NUMA 提示缺页活动,numa_hint_faults_local 是其中判定为本地的部分;可用“窗口内 numa_hint_faults_local 增量 ÷ numa_hint_faults 增量”观察本地比例的趋势。

这个比例不是“所有内存访问中本地访问的占比”。提示缺页来自内核抽样式扫描,不等于每一次 CPU 读写;比例上升可能意味着放置改善,也可能与任务运行节点、被扫描的地址范围或工作负载阶段改变有关。若窗口内提示缺页样本很少,该比值也容易波动。它适合作为第一条线索,不适合独立验收。

还要区分提示缺页与磁盘缺页:NUMA 提示缺页主要用于探测页面访问位置,numa_hint_faults 上升不能直接解释为发生了相同数量的磁盘读取。

指标 B:线程、页面与迁移开销是否联动

numa_pages_migrated 的增量能说明观察窗口内存在页面迁移活动,却不代表迁移都对目标业务有益。通常更值得关注的变化是:预热阶段迁移较活跃,随后线程运行节点与常访问页面的位置趋于稳定,迁移速率下降,而延迟没有因额外开销变差。

可以结合线程采样及进程内存分布检查这一点:

pid=12345
ps -L -p "$pid" -o pid,tid,psr,comm
numastat -p "$pid"

numastat 需要系统安装相应工具。其进程视图主要帮助观察内存驻留在哪些节点,不能单独测出该进程跨节点读取了多少次。也不要因进程在两个节点都有内存就断定配置错误:若工作线程也分布在两个节点,双方各自使用本地内存可能正是合理结果。必要时结合 /proc/PID/numa_maps 查看页面分布与内存策略;共享页、文件映射和匿名内存应分别理解。

下面是一组用于说明联动关系的模拟窗口数据,不是固定的合格线。两个窗口的请求量、数据集和线程数相近,数值均按等长窗口统计:

指标 B:线程、页面与迁移开销是否联动配图

指标窗口 1窗口 2需要追问的问题
NUMA 提示缺页本地比例44%75%样本量是否足够,线程运行节点是否稳定?
numa_pages_migrated 增量70001700是放置趋稳,还是扫描、负载本身减少?
CPU 使用率62%63%迁移与扫描是否带来明显额外消耗?
请求 p99 延迟42 ms35 ms请求量、错误率和队列是否也可比?
磁盘 I/O、网络吞吐基本稳定基本稳定是否存在其他性能改善来源?

这组数据支持“自动平衡可能发挥作用”,但还不能仅据此确认跨节点访问量下降。若平台支持区分本地与远端 DRAM 访问的硬件性能事件,可先通过 perf list 核对当前 CPU 与内核暴露的事件,再在相同负载窗口中比较远端访问比例或远端访问量。事件名称、采样权限和准确性依处理器与环境而变;不支持时,不应拿提示缺页比例冒充远端 DRAM 访问率。

排除更常见的替代解释

业务 p99 降低是重要结果,但若同时发生磁盘延迟下降、网络重传减少或下游服务恢复,它未必来自 NUMA。对照时至少检查以下几组关系:

  • 请求与排队:吞吐、并发量、错误率、排队时长是否相近?低负载下 p99 下降,可能只是队列缩短。
  • CPU 与调度:目标线程是否从频繁跨节点运行变为相对稳定?CPU 是否接近饱和,迁移后上下文切换或调度等待是否增加?
  • 内存与 I/O:是否出现内存回收、交换、页缓存变化或磁盘读写突变?这些变化足以掩盖 NUMA 效果。
  • 网络与依赖:入口流量、下游响应及错误是否同步变化?业务延迟改善可能发生在计算节点之外。

还要核对约束条件。CPU 亲和性、cpuset 的 CPU/内存节点范围,以及进程使用的内存绑定或交错策略,都会限制自动平衡能做什么。工作集大于单个节点可用内存时,也不能期待所有页面都迁到同一节点。若持续看到较高迁移量、线程在节点间来回移动,同时 CPU 开销增加、p99 不降反升,应考虑页面反复迁移或放置策略与负载不匹配,而不是继续追求更高的“本地比例”。

A5idc数据提供香港、美国等地区的物理服务器,部分方案采用双路 Xeon Gold 或 AMD EPYC 平台,搭配较大内存与 NVMe 存储,为数据库、容器及多任务计算等负载提供计算与存储资源。这类物理机资源也为业务在实际运行中观察线程与内存页面的节点分布、页面迁移和响应表现提供了环境。

怎样形成可执行的判断

可以把证据分成三个层次,而不是给某个计数器设一个通用阈值:

怎样形成可执行的判断配图

判断同一负载窗口中应看到的组合
较有把握地认为得到缓解本地提示缺页比例趋势改善;线程与页面分布更匹配;若可测,远端 DRAM 访问下降;在吞吐和错误率可比时,延迟或 CPU 效率改善,迁移开销可接受
只能认为发生了放置变化提示缺页或迁移计数明显变化,但缺少线程位置、硬件访问证据或业务收益
暂不认为有收益迁移持续较多,远端访问未降,或同等负载下 CPU 消耗、响应时间、错误率变差

尤其要避免把系统级计数归到单个进程名下:/proc/vmstat 统计整台系统。如果同一主机上有多个活跃业务,其他进程的迁移也会进入窗口增量。此时应缩小干扰、结合进程视图,或承认归因证据不足。

需要进一步确认自动平衡本身的贡献时,可在维护窗口做受控对比:记录原始 kernel.numa_balancing 值,在尽量一致的负载和数据集上比较不同状态,并重复观察。该参数的变更影响整台主机,执行前应保存原值、评估共机业务及性能波动风险,结束后恢复原值;不同内核可能支持不同取值,不能默认原值一定是 1。若不具备控制负载与共机干扰的条件,连续观测比仓促切换开关更可信。

下一次复测,建议同时取一组数据:同一窗口的提示缺页本地比例与迁移增量、线程 CPU 节点与页面驻留节点、可用时的远端 DRAM 访问,以及吞吐、p99、错误率、队列和 CPU/I/O/网络状态。只有访问位置、资源开销和业务结果朝一致方向变化,才能把“内核在行动”推进为“跨节点访问得到缓解”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7083.html

相关推荐