服务器计算吞吐上不去,怎样判断瓶颈是否在内存带宽?
单看“CPU 利用率不高”或“内存占用很多”,都不能判断计算吞吐是否被内存带宽卡住。更有说服力的信号是:应用吞吐停止增长的同时,内存控制器的读写流量已接近同一台机器、同一 NUMA 配置下可达到的持续带宽;而且测试期间的数据访问确实大量落到内存,而不是主要命中缓存。
如果带宽读数不高,吞吐仍然上不去,原因可能是串行访问造成的内存延迟、线程不足、CPU 计算、锁竞争或数据供给等待。判断时要把应用吞吐、内存流量、CPU 状态和 NUMA 分布放在同一个观察窗口内,再通过可重复的对照测试确认,而不是直接把内存用量或缓存未命中率当成带宽证据。
先建立可比较的观察窗口
开始分析前,先定义一个能重复的测试区间:固定输入数据、请求速率或并发数,记录应用的吞吐和延迟,并尽量让每次测试的运行时长、预热过程、机器负载保持一致。线上业务可以观察稳定的一段时间,但应同时标记流量变化、任务批次和部署变更,否则不同负载阶段的数据不宜直接比较。
建议在同一时间窗口内记录以下信息:
| 观察项 | 重点看什么 | 单独看时的局限 |
|---|---|---|
| 应用吞吐与延迟 | 吞吐是否达到平台期;延迟是否同步上升 | 不能直接指出是哪种资源造成平台期 |
| 内存读写带宽 | 每个插槽或整机的 DRAM 读写流量是否接近可持续水平 | 全机平均值可能掩盖单个插槽或内存控制器过载 |
| CPU 使用与指令效率 | CPU 是否持续繁忙,单位工作量的周期数和指令数是否变化 | CPU 忙不等于计算密集,忙等也会占用 CPU |
| 缓存与访存事件 | 缓存未命中、访存停顿、内存控制器活动是否同步增加 | 缓存未命中不等于实际 DRAM 带宽已饱和 |
| NUMA 分布 | 进程所在节点、内存所在节点、远端访问情况 | 汇总指标可能看不出节点间的不均衡 |
| 等待与外部数据源 | 磁盘、网络、锁或任务队列是否出现等待 | 这些等待也可能表现为吞吐不足 |
观察间隔应与业务波动和请求处理周期匹配。对短任务,可以多次运行同一测试并取稳定区间;对长任务,则应同时保留时间序列,避免只比较一个平均数,把短时带宽峰值误认为持续饱和。
什么样的联动更支持“带宽瓶颈”
内存带宽受限通常不是一个孤立读数,而是一组相互吻合的现象:

- 增加工作线程或并发后,吞吐逐渐进入平台期;继续加线程不能带来成比例的吞吐增长。
- 同一时段内,DRAM 读写流量已接近同机型、相近内存配置和相同 NUMA 使用方式下的可持续带宽。
- 访存相关的硬件计数器显示内存控制器持续繁忙,CPU 的工作效率下降或访存停顿增加。
- 降低每个请求的数据读写量、改善数据复用或采用分块处理后,吞吐有所提升;而单纯增加 CPU 线程改善有限。
平台带宽的理论上限可以用于估算,不宜直接作为实际可用值。例如,若一个处理器插槽有 8 个内存通道,每通道数据率为 4800 MT/s,每次传输的数据宽度为 8 字节,则理论峰值约为:
8 × 4800 × 10^6 × 8 = 307.2 × 10^9 字节/秒
也就是约 307.2 GB/s,按十进制单位计算。这个数值是通道峰值估算,不等于应用能够持续达到的带宽。读写比例、访问模式、内存频率、处理器和固件配置、并发程序以及 NUMA 访问方式都会影响实际结果。双插槽机器也不应简单把单插槽峰值乘以二,再据此判断应用是否饱和:只有两个插槽都有效参与工作、且访问分布合适时,整机总带宽才有比较意义。
更可靠的参照是同一台机器上、相同插槽和 NUMA 使用范围内运行的持续带宽基准。基准测试与业务访问模式并不相同,因此只能提供对照,不能把基准成绩直接当成应用上限。若业务主要随机读取小对象,而基准使用连续的大块访问,两者的带宽和延迟表现可能差异很大。
低带宽不代表内存没有造成限制
访问内存常见的两类约束是带宽和延迟。带宽受限通常表示单位时间内传输了很多数据,数据通道已接近饱和;延迟受限则可能是处理器经常等待单次内存访问返回,但同时未能发起足够多的并行访问。因此,后者的 DRAM 带宽可能并不高,吞吐仍会受内存访问影响。
例如,一个任务通过指针逐项追踪链表,每次读取地址都依赖上一次读取的结果。处理器可能无法提前并行发出很多内存请求,单次访问延迟就会限制处理速度。增加线程或改善数据布局有时能提高并行度,但如果只是继续增加并发,也可能让延迟和竞争加重。与之相对,连续扫描大数组更容易产生较高的 DRAM 流量,适合观察带宽是否饱和。

缓存未命中也需要谨慎解释。CPU 缓存的某一级未命中,可能随后命中更大的末级缓存,并没有访问 DRAM;只有结合更接近内存控制器的计数器或平台监控数据,才能估计实际 DRAM 流量。通用的 cache-misses 事件在不同处理器上的定义和统计范围可能不同,不能直接换算成内存带宽。
如果带宽不高但内存相关停顿明显,可进一步检查访问是否串行、工作集是否远大于缓存、线程是否足以形成并行访存,以及数据结构是否产生大量随机访问。对这类情况,优化数据布局、批量处理或提高访问局部性,可能比增加内存通道更有效。
先确认 CPU 和内存计数器在说什么
在 Linux 上,可以用 perf 对可重复运行的程序采集通用硬件事件。例如:
perf stat -e cycles,instructions,cache-references,cache-misses -- ./your_program
这些通用事件可用于观察周期、指令和部分缓存行为,但不同处理器支持情况和事件定义可能不同。先检查本机可用事件:
perf list
若事件不受支持,或统计结果与预期不符,不要仅凭这些通用事件下结论。DRAM 读写带宽通常需要处理器提供的内存控制器或非核心计数器。具体事件名称取决于处理器型号、内核和权限配置,可以先按关键字查找候选事件:
perf list | grep -Ei 'imc|dram|uncore|df'
查到事件后还要核对其统计范围、单位和是否能按插槽区分。平台厂商提供的性能监控工具也可能采集内存控制器流量,但不同处理器系列的工具和配置方法并不通用。若监控工具只给整机汇总值,应同时确认每个插槽是否都有负载,避免局部过载被全机平均值稀释。
采样时尽量让带宽、吞吐和 CPU 指标覆盖同一段测试,并标明统计是进程级、插槽级还是整机级。全机带宽中可能包括其他进程的访问;进程级 CPU 统计也不能代表整个内存控制器的活动。测试环境繁忙时,最好先清楚记录背景负载,必要时在隔离的测试环境复测。
用 NUMA 数据排除插槽间不均衡
多插槽服务器的内存通常与处理器插槽形成 NUMA 节点。处理器访问本地节点内存和远端节点内存的代价不同。即使整机带宽总量看起来不高,若大量线程集中在一个插槽,而内存分配在另一个节点,应用也可能受到远端访问延迟和链路压力影响。
先查看节点拓扑和目标进程的内存分布:

numactl --hardware
numastat -p "$PID"
numastat -p 可帮助观察进程内存分配在各节点的分布;系统级 NUMA 统计则可用于辅助观察节点活动。它们不能单独证明带宽饱和,但若发现进程主要运行在一个节点、内存却偏向另一个节点,或节点间分布明显失衡,就应把 NUMA 访问列为重点检查项。
可以在受控测试中比较不同 NUMA 放置策略,但不要在不了解进程、容器和主机其他负载的情况下,直接对生产进程强制绑核或绑内存。固定策略可能改善目标任务,也可能挤压同机其他工作负载。复测时要记录 CPU 亲和性、内存节点、线程数和容器限制,让对比结果可以解释和复现。
A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地的物理服务器,覆盖Xeon Gold、AMD EPYC单路与双路平台,并提供不同内存、NVMe存储和带宽线路组合,可为数据库、业务后台、接口服务及多任务计算提供面向CPU、内存与NUMA资源协同的部署基础。
排除看起来相似的替代原因
吞吐平台期常由多种因素造成。判断内存带宽前,至少要把同时出现的 CPU、内存容量、等待和数据来源现象放在一起看。
| 同期现象 | 更值得检查的方向 | 对带宽判断的影响 |
|---|---|---|
| CPU 长时间繁忙,内存带宽较低 | 计算量、指令效率、频率、同步开销 | 不支持“DRAM 带宽已饱和”的判断 |
| CPU 使用率不高,带宽也低,但延迟和访存停顿增加 | 串行随机访问、并行度不足、锁或任务依赖 | 可能是内存延迟或依赖链,而非带宽上限 |
| 可用内存减少,回收、换页或交换活动增加 | 工作集过大、容器内存限制、内存压力 | 属于容量与回收问题,不能等同于带宽饱和 |
| 磁盘读写或网络收发与吞吐变化同步 | 数据读取、持久化、远程调用或下游服务 | 应先核对数据供给是否限制了应用 |
| 增加线程后锁等待或上下文切换明显增加 | 锁竞争、队列争用、线程调度 | 增加并发可能放大争用,并非内存通道不足 |
| 整机平均带宽不高,但单个 NUMA 节点明显繁忙 | 线程与内存分布不均、远端访问 | 可能是局部瓶颈,整机平均值会掩盖问题 |
Linux 的进程观察工具可以补充 CPU、内存和 I/O 状态。例如,安装了 sysstat 时,可在测试期间按进程观察资源变化:
pidstat -u -r -d -w -p "$PID" 1
这类工具可以帮助发现 CPU 使用、缺页、I/O 和上下文切换的变化,但不能替代 DRAM 带宽计数器。还应结合应用自身的队列长度、请求延迟、线程池等待和错误率:若请求多数时间停留在队列或等待下游,增加内存带宽通常不会解决主要问题。
内存容量压力尤其容易与带宽问题混淆。机器装有大量内存、进程占用很高,并不代表数据传输速率接近上限;相反,频繁换页可能让应用变慢,却是在等待存储设备,而不是用满 DRAM 通道。应同步看可用内存、缺页和交换活动,再决定是否需要继续分析带宽。
通过可控对照让判断更可靠
确认指标关系后,可以用小规模对照测试判断瓶颈是否随访存需求变化。每次只改变一个主要因素,并记录应用吞吐、延迟、DRAM 读写带宽、CPU 利用和 NUMA 分布。

- 先记录基线。 固定负载和测试时长,记录稳定阶段的吞吐、延迟及同时采集的资源指标。
- 改变并发度。 逐步增加线程或并发请求。若吞吐趋于平台期,且带宽也接近同配置下的可持续水平,带宽限制的可能性提高;若带宽远未增长到该水平,则继续检查串行访问、CPU 计算和等待。
- 改变每项工作的数据量或复用方式。 在业务逻辑允许的测试中,降低重复读取、减少无效扫描或提高缓存复用。若带宽随数据流量下降、吞吐反而改善,说明内存流量可能是重要成本;但这一变化也可能来自 CPU 工作量减少,应同时比较单位请求的指令数与延迟。
- 检查访问布局和节点分布。 比较连续访问与原有访问模式,或在受控环境中比较 NUMA 放置。若布局或节点调整改善了吞吐,却没有提高整机 DRAM 总流量,问题可能更接近访问延迟或分布不均。
- 重复验证。 至少在相同条件下重复测试,确认现象不是短时背景负载、频率波动或缓存冷热差异造成的。正式环境中的短时峰值不宜直接与隔离测试的稳定带宽对比。
还可以用简单的流量估算来检查测量是否合理。若应用每秒处理 4 亿条记录,每条记录平均读取 16 字节、写入 8 字节,则仅按业务字段计算的名义数据量为每条 24 字节,乘以每秒 4 亿条,约为 9.6 GB/s。这里按十进制 GB 计算。实际 DRAM 流量可能高于或低于这个估算:缓存复用会减少 DRAM 访问,写分配、额外索引读取、对齐和临时数据则可能增加流量。因此,估算适合发现数量级明显不合理的结果,不能替代硬件计数器。
形成结论时区分“饱和”和“值得优化”
可以把结论分成三类,避免把所有内存相关问题都归为“带宽不足”。
- 较强支持带宽瓶颈: 吞吐进入平台期;DRAM 带宽在同一窗口内持续接近本机同配置的可持续水平;增加线程没有明显收益;减少访存量或改善数据复用后,吞吐有可重复的提升。
- 更像延迟、串行访问或 NUMA 问题: 吞吐受限且访存停顿明显,但 DRAM 总带宽并不高;数据访问依赖链长,或节点间分布不均。应先检查访问模式、并行度和本地性。
- 证据不足或其他瓶颈更突出: 带宽较低,CPU、磁盘、网络、锁等待或内存回收中有更强的同步信号。此时不宜仅凭内存占用、缓存未命中率或单次峰值,得出升级内存配置即可改善吞吐的结论。
如果带宽瓶颈得到验证,下一步再评估优化方向:减少不必要的数据搬运、提高缓存复用、改善访问连续性、调整线程与 NUMA 分布,或比较不同内存通道和处理器配置。硬件变化的收益取决于业务访问模式、并发规模和平台实际可持续带宽;如果主要成本来自串行依赖、锁或外部等待,仅增加内存通道未必能带来相应的吞吐提升。
下一次复测时,至少把应用吞吐与延迟、DRAM 读写带宽、CPU 访存相关事件、每插槽或 NUMA 节点的分布放在同一观察窗口。若出现内存容量压力或外部数据源等待,再同步加入缺页、换页、磁盘或网络指标。这样才能区分“通道已经用满”“访问延迟很高”和“应用其实在等别的环节”。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9883.html

