GPU显存与系统内存如何分工,训练和推理时怎样判断容量瓶颈
GPU显存主要承载模型在GPU上的计算状态:训练时包括权重、梯度、优化器状态和中间激活,推理时包括权重、KV Cache、输入输出张量及运行时工作区。系统内存则更多用于数据集缓存、数据加载进程、CPU侧预处理、Pinned Memory、检查点和模型卸载。显存不足通常限制单卡能否装下某个模型或批次,系统内存不足则更常表现为数据供给变慢、交换抖动或进程被系统终止。

判断容量瓶颈不能只看“显存占用率”或“内存使用率”。显存接近上限但GPU计算持续稳定,可能只是正常装载;系统内存使用较高但仍有充足可用内存,也未必是瓶颈。更可靠的方法是建立同一时间窗口,把显存、系统内存、CPU、磁盘、网络、队列、响应时间和错误率放在一起观察,再通过改变一个变量复测。
先区分显存与系统内存的职责
显存通常承载什么
训练任务中的显存占用大致由以下部分组成:
- 模型权重:参数数量乘以每个参数的存储字节数。
- 梯度:反向传播后保存的梯度张量。
- 优化器状态:例如自适应优化器常需要为每个参数保存多个状态变量。
- 激活值:前向传播中为反向传播保留的中间结果。
- 输入、标签和临时张量。
- 深度学习框架、通信库和CUDA运行时的工作区。
- 多卡训练中的通信缓冲区。
推理时通常不保存完整反向传播状态,但会增加KV Cache。批次、并发请求数、上下文长度增加后,KV Cache可能成为显存增长的主要来源。
显存容量的典型瓶颈表现包括:
- 加载模型或增大批次时直接出现CUDA out of memory。
- 显存已接近上限,改变序列长度或并发数后迅速失败。
- 显存占用稳定较高,但GPU计算利用率仍然稳定,说明模型状态确实已经装入并持续参与计算。
- 多卡场景下某一张卡先满,其他卡仍有余量,说明瓶颈可能是单卡分配、张量并行切分或通信缓冲,而不是总显存简单相加。
系统内存通常承载什么
系统内存常见用途包括:
- 数据集索引、样本缓存和预取队列。
- DataLoader工作进程及其复制的数据。
- CPU侧解码、分词、增强和批处理结果。
- 从磁盘读取后等待送入GPU的缓冲区。
- Pinned Memory,用于加快CPU到GPU的数据传输。
- 模型权重的CPU副本、检查点加载缓存或CPU Offload。
- 推理服务中的请求队列、输入文本和输出结果。
系统内存使用率高不等于系统内存已经成为瓶颈。Linux会利用空闲内存做文件缓存,真正需要重点关注的是可用内存是否持续下降、是否发生Swap读写、内存压力是否升高,以及进程的常驻内存是否不断增长。
显存和系统内存之间也不是简单的替代关系。把部分模型或张量放到系统内存,通常需要通过PCIe等链路来回传输。这样可以缓解“装不下”,但可能明显增加等待时间;如果每个计算步骤都需要频繁搬运,GPU利用率会出现周期性下降。
建立可比较的观察窗口
先固定任务边界
训练和推理的观察方式不同,不能把不同阶段的数据直接比较。
训练时应区分:
- 数据加载阶段。
- 前向计算阶段。
- 反向计算阶段。
- 梯度累积阶段。
- 参数更新阶段。
- 检查点保存阶段。
推理时应区分:
- 请求进入到排队的时间。
- 首个Token生成时间,也就是常说的首Token延迟。
- 连续Token生成速度。
- 请求完成时间。
- 并发数和上下文长度变化后的排队情况。
观察窗口最好覆盖多个完整的训练Step或多个完整请求。单个Step偶然触发缓存、日志写入或检查点保存,容易造成误判。可以使用秒级采样,并确保各类指标使用同一时间戳。
同时记录哪些指标
| 对象 | 优先观察的指标 | 用于回答的问题 |
|---|---|---|
| GPU显存 | 已用、总量、进程占用、框架allocated/reserved、每张卡分布 | 是真正装不下,还是框架缓存或分配碎片 |
| GPU计算 | GPU利用率、显存带宽利用率、功耗、计算周期是否连续 | GPU是在计算,还是在等待数据或同步 |
| CPU | 每核利用率、运行队列、上下文切换、进程CPU占用 | 是否由预处理、分词、调度或通信准备拖慢 |
| 系统内存 | available、进程RSS、Swap in/out、缺页、内存压力 | 是否出现内存不足、泄漏或交换抖动 |
| 磁盘I/O | 吞吐、await、队列长度、util、iowait | 数据读取或检查点是否阻塞任务 |
| 网络 | 吞吐、RTT、重传、连接队列、远端服务响应 | 数据、模型或请求是否受网络影响 |
| 应用层 | Step耗时、排队时间、批次等待、超时、错误率 | 资源正常时是否仍有调度或代码瓶颈 |
| 数据库 | 查询延迟、活动连接、锁等待、慢查询、连接池队列 | 检索或特征查询是否拖慢请求入口 |
Linux环境中可以使用只读监控命令做基础采样。nvidia-smi仅适用于已安装对应NVIDIA驱动的环境,iostat通常由sysstat工具包提供;不同发行版或GPU厂商应替换为本机可用工具。
nvidia-smi --query-gpu=index,memory.used,memory.total,utilization.gpu,utilization.memory,power.draw --format=csv -l 1
vmstat 1
iostat -xz 1
这些命令只能提供资源层面的线索,不能直接证明某一项就是根因。还应把采样时间与训练日志、服务访问日志、数据库查询日志对齐。
训练时如何判断显存还是系统内存先成为瓶颈
先估算固定占用,再看动态占用
模型参数量为 P 时,单项存储的估算方式是:
存储量 = 参数数量 × 每个参数的字节数
例如,7 billion参数的模型使用FP16权重:
- 参数数量:7,000,000,000。
- 每个参数:2字节。
- 权重大小:14,000,000,000字节。
- 按十进制计算约为14 GB,按二进制计算约为13.0 GiB。
这只是权重,不包括运行时工作区、激活、梯度和其他状态。
混合精度训练使用Adam类优化器时,常见状态可能包括FP16权重、梯度、FP32优化器状态以及FP32主权重副本。粗略估算时,每个参数可能需要约12至18字节,具体取决于框架、优化器、梯度精度、是否保存主权重以及是否启用分片。以每个参数约16字节估算,7 billion参数对应:
- 7,000,000,000 × 16 = 112,000,000,000字节。
- 按十进制计算约112 GB,按二进制计算约104.3 GiB。
- 这仍未计入激活、批次数据、通信缓冲和框架开销。
因此,训练时“模型权重能放入显存”不代表“可以训练”。激活占用还会受到批次大小、序列长度、层数、隐藏维度和是否启用激活检查点影响。增大批次或序列长度时,显存可能在模型已经成功加载之后才快速上涨。
用联动变化判断显存瓶颈
典型的显存容量瓶颈通常有以下联动关系:
- 增大批次或序列长度后,单卡显存占用同步上升。
- GPU计算利用率可能仍然较高,说明GPU并不是单纯空闲等待。
- 系统内存、磁盘等待和网络吞吐没有同步出现异常。
- Step尚未完成就报CUDA内存分配失败,或者显存分配失败的位置与批次变化高度相关。
- 降低批次、启用梯度累积或缩短序列长度后,任务可以继续运行。
例如,下面是一组用于说明判断过程的模拟数据,并非实际监控结果:

| 配置 | 单卡显存 | GPU利用率 | 系统内存 | 磁盘await | Step结果 |
|---|---|---|---|---|---|
| 批次8、序列2048 | 22.8/24 GiB | 91% | 31/64 GiB | 4 ms | 1.18秒完成 |
| 批次10、序列2048 | 23.7/24 GiB | 90% | 32/64 GiB | 4 ms | 1.46秒完成 |
| 批次12、序列2048 | 23.9/24 GiB后分配失败 | 89% | 33/64 GiB | 5 ms | CUDA OOM |
这里系统内存并不紧张,磁盘等待也没有明显变化,显存随批次增长并在分配新张量时失败,因此更接近显存容量瓶颈。若只是把GPU利用率从90%降到70%,并不能解决容量问题。
排除框架缓存和碎片影响
监控工具显示的显存已用量,有时包含框架保留但当前尚未使用的缓存。框架内部的allocated和reserved可能不同:
allocated更接近当前张量实际占用。reserved表示框架已经向驱动申请并保留的显存。reserved较高但allocated变化不大,可能是缓存策略。- 频繁创建不同尺寸的临时张量时,碎片可能导致“总剩余显存看似足够,但找不到连续空间”。
因此,遇到一次OOM时,应同时记录报错位置、实际张量变化、allocated/reserved和每张卡分布。若只在特定批次或特定序列长度失败,更像容量边界;若占用变化很小却在长时间运行后失败,还要检查动态缓存、张量引用未释放或碎片问题。
训练中系统内存、CPU、磁盘和网络的典型表现
系统内存瓶颈
系统内存更可能是瓶颈的组合包括:
- DataLoader工作进程增加后,进程RSS按工作进程数量增长。
- available持续下降,Swap in/out出现活动。
- GPU利用率呈现“高一段、低一段”的周期,低谷与数据准备时间对应。
- CPU利用率不一定很高,但内存压力和缺页明显上升。
- 主机或容器触发Out of Memory,进程被终止,而不是CUDA OOM。
这时降低预取深度、工作进程数量或缓存规模,若GPU等待时间随之变化,说明问题更接近系统内存和输入管线。若主机还有空闲内存但容器仍被终止,还要检查容器或服务的cgroup内存上限。
CPU瓶颈
CPU瓶颈常见于图片解码、文本分词、数据增强、批次拼接或Python侧调度。典型组合是:
- 某些CPU核心长期接近满载,运行队列升高。
- GPU显存占用稳定,GPU利用率在高低之间周期性波动。
- GPU空闲低谷与CPU预处理耗时、输入队列变空同步出现。
- 提高GPU数量后吞吐没有同比增加,甚至因为CPU调度和数据准备更拥堵而下降。
CPU总利用率不高也不能排除CPU瓶颈。若任务只使用少数单线程步骤,可能表现为一个核心接近100%,而整机平均利用率仍然较低。
磁盘I/O瓶颈
磁盘瓶颈通常不表现为显存立即不足,而是输入供给或检查点保存变慢。需要同时看:
await和I/O队列是否在Step慢的时候上升。iowait是否与GPU低利用率同步。- 磁盘利用率是否长期接近设备上限。
- 读取吞吐是否呈现大量小文件随机读取。
- 保存检查点时Step耗时是否周期性增加。
如果把同一小批数据放入内存缓存后,GPU等待明显减少,且显存、CPU和网络指标未改变,磁盘读取更可能是限制因素。若只是磁盘吞吐较高,但GPU计算和Step耗时没有变化,则不能仅凭吞吐高下结论。
网络瓶颈
远程数据集、对象存储、远程检查点或跨主机多卡训练都会引入网络因素。需要关注:
- 网络吞吐是否接近链路或服务端限额。
- RTT、重传率和连接队列是否在任务变慢时同步升高。
- 多卡通信是否存在单链路拥塞。
- GPU空闲低谷是否与远程读取或跨节点同步对应。
例如,单个批次需要读取1 GB数据,并在10秒内完成传输,所需平均速率是:
- 1 GB按十进制计算为1,000 MB。
- 1,000 MB ÷ 10秒 = 100 MB/s。
- 100 MB/s × 8 = 800 Mb/s。
这还没有计算协议开销、并发读取和重传影响。如果实际可用带宽长期低于这一水平,数据读取就可能成为瓶颈。这里的MB/s和Mb/s不是同一单位,不能直接比较数值。
推理时如何判断显存与系统内存的容量边界
推理显存不只由模型权重决定
推理阶段的显存大致可以拆成:
权重 + KV Cache + 激活与临时工作区 +运行时开销
其中KV Cache与以下因素有关:
- 层数。
- KV头数量。
- 每个头的维度。
- 批次或并发请求数。
- 已处理的上下文Token数量。
- KV Cache使用的精度。
- 是否启用前缀缓存或连续批处理。
一个简化估算公式是:
KV Cache字节数 ≈ 层数 × 2 × 上下文Token数 × 批次 × KV头数 × head_dim × 每元素字节数
其中“2”代表Key和Value。以32层、8个KV头、每头128维、批次4、上下文8192 Token、FP16为例:
- 32 × 2 × 8192 × 4 × 8 × 128 × 2字节
- = 4,294,967,296字节
- 约为4.29 GB,或约4.00 GiB。
这只是KV Cache估算,实际运行还要留出权重、临时张量和框架空间。使用分组查询注意力时,应使用KV头数量,而不是总注意力头数量,否则会高估或低估结果。
针对训练与推理中显存、系统内存和存储协同承载的场景,A5数据提供香港、美国GPU物理服务器,配备A100 80GB或RTX 4090等显卡,并结合服务器CPU、内存与NVMe存储,为AI推理、模型测试、图像处理等任务提供从显存计算到主机数据处理的硬件资源组合;同时覆盖多地区服务器与线路资源,支持不同业务部署计算节点。
推理显存瓶颈的典型联动
如果出现以下现象,优先怀疑显存容量或KV Cache增长:
- 模型加载后显存已经接近上限。
- 并发数或上下文长度增加时,显存近似同步上涨。
- 请求排队时间和OOM错误在达到某个并发范围后明显增加。
- 降低最大上下文、限制并发或减少批次后恢复。
- 系统内存和磁盘指标正常,但单卡显存先达到上限。
如果服务启用了CPU Offload,系统内存可能随着并发增加,但这不代表问题已经转移为纯系统内存瓶颈。需要继续观察PCIe传输、GPU空闲周期和首Token延迟。若模型层在CPU和GPU之间频繁切换,系统内存虽然足够,响应时间仍可能明显增加。
不要把生成慢都归因于显存
推理吞吐或响应时间下降,也可能来自其他层面:
- GPU利用率长期接近满载、显存占用稳定,说明更像计算能力瓶颈。
- GPU利用率低但CPU单核繁忙,可能是分词、采样、请求编排或数据后处理。
- 首Token延迟高而生成阶段正常,可能是请求排队、模型加载、数据库检索或远程数据读取。
- 首Token正常但后续Token速度下降,可能与GPU计算、KV Cache压力或并发调度有关。
- GPU、CPU和内存都稳定,但应用队列持续增长,可能是服务线程池、批处理策略或限流配置问题。
- 推理前需要查询业务数据库或向量数据服务时,查询延迟和锁等待可能只影响请求入口,不会直接造成GPU显存不足。
用同一时间线区分不同类型的瓶颈
可以把常见现象整理为条件化判断,而不是套用单一阈值:

| 现象组合 | 更可能的方向 | 需要排除的替代解释 |
|---|---|---|
| 显存随批次或上下文增长,接近上限后OOM | 显存容量 | 框架缓存、碎片、单卡分配不均 |
| 显存正常,GPU利用率周期性跌到低位,CPU或I/O同步升高 | 输入管线、CPU或磁盘 | GPU同步、网络读取、检查点保存 |
| 系统available下降并伴随Swap活动,进程RSS持续增长 | 系统内存 | 文件缓存正常增长、容器内存限制 |
| GPU持续高利用率,显存稳定,Step时间较稳定但吞吐不足 | GPU计算能力或模型计算量 | CPU同步、通信等待、功耗限制 |
| 首Token延迟上升,GPU尚未开始稳定计算,应用队列增长 | 应用排队、网络或数据库 | 冷启动、模型加载、锁等待 |
| 磁盘await和iowait在Step变慢时同步升高 | 磁盘I/O | 远程存储网络、文件系统缓存失效 |
| 网络重传、RTT和远程读取等待同步升高 | 网络或远端服务 | 远端磁盘、服务端限流 |
| GPU、CPU、内存都正常,但任务仍慢且队列增长 | 应用调度或并发模型 | 日志锁、数据库连接池、外部依赖 |
形成判断后如何复测
一次有效复测应只改变一个主要变量,并保留其他条件。训练场景可以固定模型、数据顺序、精度和GPU数量,只把批次从8调整到10;推理场景可以固定模型和输入长度,只把并发从4调整到8。每次至少记录多个完整Step或一组规模相近的请求,避免用单个异常样本作结论。
复测时可以按以下顺序执行:
- 记录基线:显存已用与总量、GPU利用率、CPU每核占用、系统available、Swap、磁盘await、网络吞吐、队列长度和响应时间。
- 只改变一个容量相关变量,例如批次、序列长度、并发数、DataLoader工作进程或缓存大小。
- 对齐变化时间,观察哪个指标先发生变化,哪些指标随后联动。
- 检查错误类型:CUDA OOM、主机OOM、超时、连接失败和应用异常对应的根因范围不同。
- 用一个反向操作验证,例如降低批次后显存回落并恢复任务,或将数据放入本地缓存后GPU等待减少。
- 对多卡任务分别记录每张卡,而不是只看总显存平均值。
下一次观察训练任务时,至少把“每张GPU的显存已用/总量、GPU利用率、Step耗时、CPU每核利用率、系统available与Swap、磁盘await和输入队列长度”放在同一时间轴上;观察推理服务时,再增加“并发数、上下文Token数、首Token延迟、生成速率、请求排队、错误率以及数据库或远程服务延迟”。只有这些指标在同一时间语境中相互印证,才能区分是显存容量、系统内存、计算、I/O、网络,还是应用和数据库链路真正限制了性能。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4999.html



