GPU显存与系统内存如何分工,训练和推理时怎样判断容量瓶颈

发布人:A5数据发布时间:2026-10-21 14:40阅读量:193

GPU显存主要承载模型在GPU上的计算状态:训练时包括权重、梯度、优化器状态和中间激活,推理时包括权重、KV Cache、输入输出张量及运行时工作区。系统内存则更多用于数据集缓存、数据加载进程、CPU侧预处理、Pinned Memory、检查点和模型卸载。显存不足通常限制单卡能否装下某个模型或批次,系统内存不足则更常表现为数据供给变慢、交换抖动或进程被系统终止。

GPU显存与系统内存如何分工配图

判断容量瓶颈不能只看“显存占用率”或“内存使用率”。显存接近上限但GPU计算持续稳定,可能只是正常装载;系统内存使用较高但仍有充足可用内存,也未必是瓶颈。更可靠的方法是建立同一时间窗口,把显存、系统内存、CPU、磁盘、网络、队列、响应时间和错误率放在一起观察,再通过改变一个变量复测。

先区分显存与系统内存的职责

显存通常承载什么

训练任务中的显存占用大致由以下部分组成:

  • 模型权重:参数数量乘以每个参数的存储字节数。
  • 梯度:反向传播后保存的梯度张量。
  • 优化器状态:例如自适应优化器常需要为每个参数保存多个状态变量。
  • 激活值:前向传播中为反向传播保留的中间结果。
  • 输入、标签和临时张量。
  • 深度学习框架、通信库和CUDA运行时的工作区。
  • 多卡训练中的通信缓冲区。

推理时通常不保存完整反向传播状态,但会增加KV Cache。批次、并发请求数、上下文长度增加后,KV Cache可能成为显存增长的主要来源。

显存容量的典型瓶颈表现包括:

  • 加载模型或增大批次时直接出现CUDA out of memory。
  • 显存已接近上限,改变序列长度或并发数后迅速失败。
  • 显存占用稳定较高,但GPU计算利用率仍然稳定,说明模型状态确实已经装入并持续参与计算。
  • 多卡场景下某一张卡先满,其他卡仍有余量,说明瓶颈可能是单卡分配、张量并行切分或通信缓冲,而不是总显存简单相加。

系统内存通常承载什么

系统内存常见用途包括:

  • 数据集索引、样本缓存和预取队列。
  • DataLoader工作进程及其复制的数据。
  • CPU侧解码、分词、增强和批处理结果。
  • 从磁盘读取后等待送入GPU的缓冲区。
  • Pinned Memory,用于加快CPU到GPU的数据传输。
  • 模型权重的CPU副本、检查点加载缓存或CPU Offload。
  • 推理服务中的请求队列、输入文本和输出结果。

系统内存使用率高不等于系统内存已经成为瓶颈。Linux会利用空闲内存做文件缓存,真正需要重点关注的是可用内存是否持续下降、是否发生Swap读写、内存压力是否升高,以及进程的常驻内存是否不断增长。

显存和系统内存之间也不是简单的替代关系。把部分模型或张量放到系统内存,通常需要通过PCIe等链路来回传输。这样可以缓解“装不下”,但可能明显增加等待时间;如果每个计算步骤都需要频繁搬运,GPU利用率会出现周期性下降。

建立可比较的观察窗口

先固定任务边界

训练和推理的观察方式不同,不能把不同阶段的数据直接比较。

训练时应区分:

  • 数据加载阶段。
  • 前向计算阶段。
  • 反向计算阶段。
  • 梯度累积阶段。
  • 参数更新阶段。
  • 检查点保存阶段。

推理时应区分:

  • 请求进入到排队的时间。
  • 首个Token生成时间,也就是常说的首Token延迟。
  • 连续Token生成速度。
  • 请求完成时间。
  • 并发数和上下文长度变化后的排队情况。

观察窗口最好覆盖多个完整的训练Step或多个完整请求。单个Step偶然触发缓存、日志写入或检查点保存,容易造成误判。可以使用秒级采样,并确保各类指标使用同一时间戳。

同时记录哪些指标

对象优先观察的指标用于回答的问题
GPU显存已用、总量、进程占用、框架allocated/reserved、每张卡分布是真正装不下,还是框架缓存或分配碎片
GPU计算GPU利用率、显存带宽利用率、功耗、计算周期是否连续GPU是在计算,还是在等待数据或同步
CPU每核利用率、运行队列、上下文切换、进程CPU占用是否由预处理、分词、调度或通信准备拖慢
系统内存available、进程RSS、Swap in/out、缺页、内存压力是否出现内存不足、泄漏或交换抖动
磁盘I/O吞吐、await、队列长度、util、iowait数据读取或检查点是否阻塞任务
网络吞吐、RTT、重传、连接队列、远端服务响应数据、模型或请求是否受网络影响
应用层Step耗时、排队时间、批次等待、超时、错误率资源正常时是否仍有调度或代码瓶颈
数据库查询延迟、活动连接、锁等待、慢查询、连接池队列检索或特征查询是否拖慢请求入口

Linux环境中可以使用只读监控命令做基础采样。nvidia-smi仅适用于已安装对应NVIDIA驱动的环境,iostat通常由sysstat工具包提供;不同发行版或GPU厂商应替换为本机可用工具。

nvidia-smi --query-gpu=index,memory.used,memory.total,utilization.gpu,utilization.memory,power.draw --format=csv -l 1
vmstat 1
iostat -xz 1

这些命令只能提供资源层面的线索,不能直接证明某一项就是根因。还应把采样时间与训练日志、服务访问日志、数据库查询日志对齐。

训练时如何判断显存还是系统内存先成为瓶颈

先估算固定占用,再看动态占用

模型参数量为 P 时,单项存储的估算方式是:

存储量 = 参数数量 × 每个参数的字节数

例如,7 billion参数的模型使用FP16权重:

  • 参数数量:7,000,000,000。
  • 每个参数:2字节。
  • 权重大小:14,000,000,000字节。
  • 按十进制计算约为14 GB,按二进制计算约为13.0 GiB。

这只是权重,不包括运行时工作区、激活、梯度和其他状态。

混合精度训练使用Adam类优化器时,常见状态可能包括FP16权重、梯度、FP32优化器状态以及FP32主权重副本。粗略估算时,每个参数可能需要约12至18字节,具体取决于框架、优化器、梯度精度、是否保存主权重以及是否启用分片。以每个参数约16字节估算,7 billion参数对应:

  • 7,000,000,000 × 16 = 112,000,000,000字节。
  • 按十进制计算约112 GB,按二进制计算约104.3 GiB。
  • 这仍未计入激活、批次数据、通信缓冲和框架开销。

因此,训练时“模型权重能放入显存”不代表“可以训练”。激活占用还会受到批次大小、序列长度、层数、隐藏维度和是否启用激活检查点影响。增大批次或序列长度时,显存可能在模型已经成功加载之后才快速上涨。

用联动变化判断显存瓶颈

典型的显存容量瓶颈通常有以下联动关系:

  • 增大批次或序列长度后,单卡显存占用同步上升。
  • GPU计算利用率可能仍然较高,说明GPU并不是单纯空闲等待。
  • 系统内存、磁盘等待和网络吞吐没有同步出现异常。
  • Step尚未完成就报CUDA内存分配失败,或者显存分配失败的位置与批次变化高度相关。
  • 降低批次、启用梯度累积或缩短序列长度后,任务可以继续运行。

例如,下面是一组用于说明判断过程的模拟数据,并非实际监控结果:

训练时如何判断显存还是系统内存先成为瓶颈配图

配置单卡显存GPU利用率系统内存磁盘awaitStep结果
批次8、序列204822.8/24 GiB91%31/64 GiB4 ms1.18秒完成
批次10、序列204823.7/24 GiB90%32/64 GiB4 ms1.46秒完成
批次12、序列204823.9/24 GiB后分配失败89%33/64 GiB5 msCUDA OOM

这里系统内存并不紧张,磁盘等待也没有明显变化,显存随批次增长并在分配新张量时失败,因此更接近显存容量瓶颈。若只是把GPU利用率从90%降到70%,并不能解决容量问题。

排除框架缓存和碎片影响

监控工具显示的显存已用量,有时包含框架保留但当前尚未使用的缓存。框架内部的allocated和reserved可能不同:

  • allocated更接近当前张量实际占用。
  • reserved表示框架已经向驱动申请并保留的显存。
  • reserved较高但allocated变化不大,可能是缓存策略。
  • 频繁创建不同尺寸的临时张量时,碎片可能导致“总剩余显存看似足够,但找不到连续空间”。

因此,遇到一次OOM时,应同时记录报错位置、实际张量变化、allocated/reserved和每张卡分布。若只在特定批次或特定序列长度失败,更像容量边界;若占用变化很小却在长时间运行后失败,还要检查动态缓存、张量引用未释放或碎片问题。

训练中系统内存、CPU、磁盘和网络的典型表现

系统内存瓶颈

系统内存更可能是瓶颈的组合包括:

  • DataLoader工作进程增加后,进程RSS按工作进程数量增长。
  • available持续下降,Swap in/out出现活动。
  • GPU利用率呈现“高一段、低一段”的周期,低谷与数据准备时间对应。
  • CPU利用率不一定很高,但内存压力和缺页明显上升。
  • 主机或容器触发Out of Memory,进程被终止,而不是CUDA OOM。

这时降低预取深度、工作进程数量或缓存规模,若GPU等待时间随之变化,说明问题更接近系统内存和输入管线。若主机还有空闲内存但容器仍被终止,还要检查容器或服务的cgroup内存上限。

CPU瓶颈

CPU瓶颈常见于图片解码、文本分词、数据增强、批次拼接或Python侧调度。典型组合是:

  • 某些CPU核心长期接近满载,运行队列升高。
  • GPU显存占用稳定,GPU利用率在高低之间周期性波动。
  • GPU空闲低谷与CPU预处理耗时、输入队列变空同步出现。
  • 提高GPU数量后吞吐没有同比增加,甚至因为CPU调度和数据准备更拥堵而下降。

CPU总利用率不高也不能排除CPU瓶颈。若任务只使用少数单线程步骤,可能表现为一个核心接近100%,而整机平均利用率仍然较低。

磁盘I/O瓶颈

磁盘瓶颈通常不表现为显存立即不足,而是输入供给或检查点保存变慢。需要同时看:

  • await和I/O队列是否在Step慢的时候上升。
  • iowait是否与GPU低利用率同步。
  • 磁盘利用率是否长期接近设备上限。
  • 读取吞吐是否呈现大量小文件随机读取。
  • 保存检查点时Step耗时是否周期性增加。

如果把同一小批数据放入内存缓存后,GPU等待明显减少,且显存、CPU和网络指标未改变,磁盘读取更可能是限制因素。若只是磁盘吞吐较高,但GPU计算和Step耗时没有变化,则不能仅凭吞吐高下结论。

网络瓶颈

远程数据集、对象存储、远程检查点或跨主机多卡训练都会引入网络因素。需要关注:

  • 网络吞吐是否接近链路或服务端限额。
  • RTT、重传率和连接队列是否在任务变慢时同步升高。
  • 多卡通信是否存在单链路拥塞。
  • GPU空闲低谷是否与远程读取或跨节点同步对应。

例如,单个批次需要读取1 GB数据,并在10秒内完成传输,所需平均速率是:

  • 1 GB按十进制计算为1,000 MB。
  • 1,000 MB ÷ 10秒 = 100 MB/s。
  • 100 MB/s × 8 = 800 Mb/s。

这还没有计算协议开销、并发读取和重传影响。如果实际可用带宽长期低于这一水平,数据读取就可能成为瓶颈。这里的MB/s和Mb/s不是同一单位,不能直接比较数值。

推理时如何判断显存与系统内存的容量边界

推理显存不只由模型权重决定

推理阶段的显存大致可以拆成:

权重 + KV Cache + 激活与临时工作区 +运行时开销

其中KV Cache与以下因素有关:

  • 层数。
  • KV头数量。
  • 每个头的维度。
  • 批次或并发请求数。
  • 已处理的上下文Token数量。
  • KV Cache使用的精度。
  • 是否启用前缀缓存或连续批处理。

一个简化估算公式是:

KV Cache字节数 ≈ 层数 × 2 × 上下文Token数 × 批次 × KV头数 × head_dim × 每元素字节数

其中“2”代表Key和Value。以32层、8个KV头、每头128维、批次4、上下文8192 Token、FP16为例:

  • 32 × 2 × 8192 × 4 × 8 × 128 × 2字节
  • = 4,294,967,296字节
  • 约为4.29 GB,或约4.00 GiB。

这只是KV Cache估算,实际运行还要留出权重、临时张量和框架空间。使用分组查询注意力时,应使用KV头数量,而不是总注意力头数量,否则会高估或低估结果。

针对训练与推理中显存、系统内存和存储协同承载的场景,A5数据提供香港、美国GPU物理服务器,配备A100 80GB或RTX 4090等显卡,并结合服务器CPU、内存与NVMe存储,为AI推理、模型测试、图像处理等任务提供从显存计算到主机数据处理的硬件资源组合;同时覆盖多地区服务器与线路资源,支持不同业务部署计算节点。

推理显存瓶颈的典型联动

如果出现以下现象,优先怀疑显存容量或KV Cache增长:

  • 模型加载后显存已经接近上限。
  • 并发数或上下文长度增加时,显存近似同步上涨。
  • 请求排队时间和OOM错误在达到某个并发范围后明显增加。
  • 降低最大上下文、限制并发或减少批次后恢复。
  • 系统内存和磁盘指标正常,但单卡显存先达到上限。

如果服务启用了CPU Offload,系统内存可能随着并发增加,但这不代表问题已经转移为纯系统内存瓶颈。需要继续观察PCIe传输、GPU空闲周期和首Token延迟。若模型层在CPU和GPU之间频繁切换,系统内存虽然足够,响应时间仍可能明显增加。

不要把生成慢都归因于显存

推理吞吐或响应时间下降,也可能来自其他层面:

  • GPU利用率长期接近满载、显存占用稳定,说明更像计算能力瓶颈。
  • GPU利用率低但CPU单核繁忙,可能是分词、采样、请求编排或数据后处理。
  • 首Token延迟高而生成阶段正常,可能是请求排队、模型加载、数据库检索或远程数据读取。
  • 首Token正常但后续Token速度下降,可能与GPU计算、KV Cache压力或并发调度有关。
  • GPU、CPU和内存都稳定,但应用队列持续增长,可能是服务线程池、批处理策略或限流配置问题。
  • 推理前需要查询业务数据库或向量数据服务时,查询延迟和锁等待可能只影响请求入口,不会直接造成GPU显存不足。

用同一时间线区分不同类型的瓶颈

可以把常见现象整理为条件化判断,而不是套用单一阈值:

用同一时间线区分不同类型的瓶颈配图

现象组合更可能的方向需要排除的替代解释
显存随批次或上下文增长,接近上限后OOM显存容量框架缓存、碎片、单卡分配不均
显存正常,GPU利用率周期性跌到低位,CPU或I/O同步升高输入管线、CPU或磁盘GPU同步、网络读取、检查点保存
系统available下降并伴随Swap活动,进程RSS持续增长系统内存文件缓存正常增长、容器内存限制
GPU持续高利用率,显存稳定,Step时间较稳定但吞吐不足GPU计算能力或模型计算量CPU同步、通信等待、功耗限制
首Token延迟上升,GPU尚未开始稳定计算,应用队列增长应用排队、网络或数据库冷启动、模型加载、锁等待
磁盘await和iowait在Step变慢时同步升高磁盘I/O远程存储网络、文件系统缓存失效
网络重传、RTT和远程读取等待同步升高网络或远端服务远端磁盘、服务端限流
GPU、CPU、内存都正常,但任务仍慢且队列增长应用调度或并发模型日志锁、数据库连接池、外部依赖

形成判断后如何复测

一次有效复测应只改变一个主要变量,并保留其他条件。训练场景可以固定模型、数据顺序、精度和GPU数量,只把批次从8调整到10;推理场景可以固定模型和输入长度,只把并发从4调整到8。每次至少记录多个完整Step或一组规模相近的请求,避免用单个异常样本作结论。

复测时可以按以下顺序执行:

  1. 记录基线:显存已用与总量、GPU利用率、CPU每核占用、系统available、Swap、磁盘await、网络吞吐、队列长度和响应时间。
  2. 只改变一个容量相关变量,例如批次、序列长度、并发数、DataLoader工作进程或缓存大小。
  3. 对齐变化时间,观察哪个指标先发生变化,哪些指标随后联动。
  4. 检查错误类型:CUDA OOM、主机OOM、超时、连接失败和应用异常对应的根因范围不同。
  5. 用一个反向操作验证,例如降低批次后显存回落并恢复任务,或将数据放入本地缓存后GPU等待减少。
  6. 对多卡任务分别记录每张卡,而不是只看总显存平均值。

下一次观察训练任务时,至少把“每张GPU的显存已用/总量、GPU利用率、Step耗时、CPU每核利用率、系统available与Swap、磁盘await和输入队列长度”放在同一时间轴上;观察推理服务时,再增加“并发数、上下文Token数、首Token延迟、生成速率、请求排队、错误率以及数据库或远程服务延迟”。只有这些指标在同一时间语境中相互印证,才能区分是显存容量、系统内存、计算、I/O、网络,还是应用和数据库链路真正限制了性能。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4999.html

相关推荐