选购深度学习训练服务器时,如何按模型规模确定GPU显存容量?
GPU显存容量不能只按“模型有多少参数”直接对照购买。真正决定训练能否运行的,是单张GPU在一次训练步骤中能否同时容纳模型权重、梯度、优化器状态、激活值、临时工作区以及多卡通信缓冲;其中任一部分超出显存,都可能出现显存不足,而不是简单地降低一点速度。

实际选型可以先用模型规模做第一轮筛选:小于1B参数的模型通常从12GB至24GB显存起步,1B至7B模型进行参数高效微调时常见起点为24GB至48GB,7B至13B模型进行全参数训练通常需要多张48GB或80GB级GPU并配合显存切分,数十亿以上的大模型则应按总模型状态、序列长度和并行策略规划整机或集群。这个范围只能用于缩小候选,最终容量仍需用目标精度、批大小、输入长度和训练框架做实测验证。
训练显存到底要装下什么
参数量只是显存估算的起点
模型参数量描述的是权重规模,不等于训练时的完整显存占用。同一个7B参数模型,采用4bit量化做推理、使用LoRA微调,或使用BF16进行全参数训练,显存需求可能相差数倍。
一次训练步骤的显存峰值,可以近似理解为:
显存峰值 ≈ 模型状态 + 激活值 + 临时工作区 + 框架与显存分配开销 + 多卡通信缓冲
其中各部分的作用不同。
| 显存组成 | 主要内容 | 对容量的影响 |
|---|---|---|
| 模型权重 | 当前模型参数及部分副本 | 与参数量和精度直接相关 |
| 梯度 | 反向传播后为参数计算的梯度 | 全参数训练时通常接近权重规模 |
| 优化器状态 | Adam、AdamW等保存的一阶、二阶动量 | 可能比权重本身占用更多显存 |
| 激活值 | 前向传播中为反向传播保留的中间结果 | 受批大小、序列长度、图像分辨率影响明显 |
| 临时工作区 | 矩阵计算、算子转换、通信和重排所需空间 | 受框架、算子和GPU架构影响 |
| 分配与通信开销 | 内存碎片、显存缓存、梯度同步缓冲 | 使理论计算值不能直接当作可用容量 |
因此,某个模型文件只有10GB,并不代表安装一张12GB显存的GPU就能完成训练。模型文件可能是半精度或量化格式,而训练时还要额外保存梯度、优化器状态和激活值。
精度和优化器会改变基础容量
以混合精度全参数训练为例,常见的近似构成为:
- BF16或FP16权重:约2字节/参数;
- 梯度:约2至4字节/参数,取决于框架和训练实现;
- FP32主权重副本:约4字节/参数;
- Adam类优化器的一阶、二阶状态:合计约8字节/参数。
按较常见的配置估算,Adam类优化器的模型状态约为16至18字节/参数,这还没有计算激活值和临时工作区。使用不同优化器、低精度优化器、参数分片或特定内存优化技术后,实际数值会变化。
以16字节/参数作为便于理解的估算口径:
| 模型参数量 | 仅权重、梯度和优化器状态的粗略占用 | 未计入的内容 |
|---|---|---|
| 1B | 约16GB | 激活值、临时工作区、框架开销 |
| 7B | 约112GB | 激活值、临时工作区、通信缓冲 |
| 13B | 约208GB | 激活值、临时工作区、通信缓冲 |
| 70B | 约1120GB | 激活值、临时工作区、通信缓冲 |
表中的GB按十进制估算,即1GB按十亿字节计算。操作系统或框架可能以GiB显示容量,此外GPU驱动、运行时和显存分配器还会占用一部分空间,所以不能把显卡标称容量全部用于模型。
这组数字的作用是说明量级,而不是直接生成购买清单。例如,7B模型全参数训练的模型状态本身就可能超过100GB,单张24GB GPU无法通过“把批大小调小”解决全部问题;调小批大小只能减少激活值,不能消除权重、梯度和优化器状态。
单卡显存与多卡总显存不是一回事
四张24GB GPU的标称总显存是96GB,但它通常不等于一张96GB GPU。
在普通数据并行训练中,每张GPU都保存一份完整模型和优化器状态,多卡主要用于同时处理不同数据,不会自动把显存拼成一个大池。此时每张卡都必须单独装下模型状态和本卡激活值,4张卡的总容量并不能解决单卡装不下的问题。
在张量并行、流水线并行、参数分片或优化器分片模式下,模型状态可以分散到多张GPU,但会带来额外条件:

- 需要训练框架支持对应的并行策略;
- 每张GPU仍要保存部分激活值和通信缓冲;
- GPU之间的通信带宽和拓扑会影响效率;
- 模型切分不一定完全均匀;
- 多卡同步、重计算和参数聚合会增加运行开销。
因此,选购时应分别记录“单卡显存”“GPU数量”“可用于分片的总显存”和“并行方式”,不能只看最后一个总数。
按模型规模建立第一轮显存范围
小模型不代表所有训练任务都适合小显存
参数量较小的模型,如果输入尺寸大、序列长、批大小高,也可能产生很高的激活值。反过来,参数量较大的模型,如果只是短序列LoRA微调,并使用梯度检查点和较小微批次,也可能在相对有限的显存中运行。
以下范围适合作为训练服务器初筛时的起点,不是特定品牌或在售型号的官方规格。
| 模型规模与任务 | 可作为起点的单卡显存 | 更适合的工作负载 | 主要限制 |
|---|---|---|---|
| 小于1B,普通训练或轻量视觉模型 | 12GB至24GB | 小型分类、检测、文本模型、实验开发 | 高分辨率和大批次会迅速增加激活值 |
| 1B至7B,参数高效微调 | 24GB至48GB | LoRA、Adapter、短序列指令微调 | 基础模型精度、序列长度和微批次决定能否落地 |
| 1B至7B,全参数训练 | 48GB起,通常需要多卡 | 中型语言模型、部分多模态模型 | Adam状态可能达到模型权重的数倍 |
| 7B至13B,参数高效微调 | 48GB至80GB级,或多卡分片 | 长序列微调、较大微批次、多模态输入 | 激活值和基础模型加载方式影响很大 |
| 7B至70B,全参数训练 | 多张高显存GPU | 大模型预训练或全量微调 | 需要按总状态、并行通信和检查点容量规划 |
| 70B以上 | 多机多卡或专用集群方案 | 大规模预训练、复杂多模态训练 | 不能仅按单台服务器显存做判断 |
其中“参数高效微调”并不等于显存需求只剩下适配器参数。基础模型仍然要加载到GPU或可被GPU访问的内存中,前向和反向过程还会产生激活值。它主要减少的是需要更新和保存的参数、梯度及优化器状态。
用7B模型看清不同训练方式
以一个约7B参数的语言模型为例:
- 使用BF16加载权重,权重本身约占14GB;
- 使用4bit加载基础模型,权重数据通常可降到约3.5GB量级,但还会有量化比例、元数据和运行时开销;
- 使用LoRA时,优化器主要维护适配器参数,状态规模明显小于全参数训练;
- 使用Adam进行BF16全参数训练时,仅模型状态就可能达到约112GB;
- 序列长度从2048提高到4096后,激活相关占用会显著上升,具体增幅取决于注意力实现、重计算策略和网络结构。
所以,“7B模型能否在24GB GPU上训练”必须补充任务条件。如果是短序列、低微批次的LoRA微调,24GB可以作为候选起点;如果是全参数训练,即使使用多卡,也要确认参数和优化器是否分片,否则单卡容量仍可能成为瓶颈。
视觉模型需要特别关注输入尺寸
卷积网络、视觉Transformer、检测模型和分割模型的显存峰值,经常由中间特征图而不是参数量主导。
例如,输入图像从512×512提高到1024×1024,像素数量增加到原来的4倍。实际显存不一定严格增加4倍,因为网络会下采样、不同层通道数不同,算子也可能采用不同的内存策略,但高分辨率通常会显著推高激活值。目标检测和实例分割还可能受到候选框数量、掩码尺寸和标签结构影响。
视频模型还要把帧数纳入估算。相同分辨率下,从8帧增加到32帧,时序特征和注意力计算的内存压力可能成倍增加。此类任务不能只按照模型参数量选择GPU,更应优先拿目标分辨率、帧数和每卡微批次做小规模试跑。
影响显存容量判断的几个变量
序列长度、图像尺寸和批大小
三个变量经常比模型文件大小更早触发显存不足:
- 微批次大小决定一次放入单张GPU的样本数,通常会直接增加激活值。
- 序列长度决定语言模型需要保存的中间状态,注意力相关内存通常随长度快速增加。
- 图像分辨率、视频帧数和特征图尺寸决定视觉模型在前向和反向阶段保存多少中间结果。
全局批大小不一定等于单卡批大小。通过梯度累积,可以让多个微批次合成更大的全局批次,同时把单次显存峰值控制在较低水平,但训练时间会增加,参数更新频率和吞吐表现也会变化。
梯度检查点可以减少激活值保存,通过重新计算部分前向过程换取显存空间。它适合显存紧张但可以接受更多计算时间的场景,不会减少模型权重和优化器状态,所以不能替代足够的基础显存。
精度降低不等于所有占用都按比例降低
FP16、BF16、FP8、INT8和INT4可能减少权重或部分计算的存储,但实际节省比例取决于训练方式。
- 推理时,量化权重可以显著降低显存;
- LoRA微调时,基础模型可以采用低比特加载,但适配器和激活仍需额外空间;
- 全参数训练时,梯度、主权重和优化器状态可能仍以较高精度保存;
- 某些算子需要临时转换到FP32或保留额外副本;
- 量化训练需要支持对应的硬件、框架和算子组合。
因此,不能看到“4bit模型文件只有几GB”,就把几GB直接当作训练服务器的GPU容量需求。
优化器和训练策略影响很大
Adam或AdamW通常需要保存两组动量状态,显存消耗明显高于只保存梯度的简单优化器。使用低精度优化器、8bit优化器或分片优化器,可以降低占用,但可能改变兼容性、收敛特性或调试方式。
预训练、全参数微调、LoRA、冻结骨干网络和只训练分类头,对显存的影响不同:
- 全参数训练:权重、梯度和优化器状态都需要覆盖大部分参数;
- 冻结骨干网络:更新状态减少,但前向激活仍可能占用显存;
- LoRA或Adapter:可训练参数较少,通常更容易在较小显存上运行;
- 只训练分类头:基础网络仍需执行前向,输入和中间特征仍会影响显存;
- 推理或验证:没有完整反向传播和优化器状态,需求通常低于训练。
计算速度和显存容量是两个指标
更大显存主要解决“能否装下”和“能否使用更大的批次、分辨率或序列长度”,不一定直接带来更高训练速度。
同一代GPU中,显存更大的版本可能采用相近的计算单元,但显存带宽、核心数量和功耗配置不同;不同代际之间也不能只按容量推断性能。GPU利用率较低时,瓶颈可能在CPU数据处理、磁盘读取、网络存储或多卡通信,而不是显存不够。
选型时应把以下指标分开记录:
- 单卡显存容量:决定单卡能否容纳模型及本卡状态;
- 显存带宽:影响部分内存访问密集型任务;
- 计算能力:影响矩阵运算和每步训练时间;
- GPU数量:影响并行吞吐和可用总资源;
- GPU互联:影响参数同步和模型切分效率;
- 功耗与散热:影响长期满载运行的稳定性和机柜部署条件。
GPU之外,服务器配置要跟着工作负载变化
CPU负责把GPU“喂饱”
CPU并不参与所有模型计算,但会承担数据解码、增强、分词、批处理、数据加载、检查点整理和训练进程调度。GPU显存足够而CPU核心不足时,可能出现GPU利用率周期性下降、每步时间抖动和数据等待。
视觉训练通常更依赖图像解码和增强线程;语言模型训练则可能在分词、样本拼接和数据整理上占用CPU。多卡服务器还要考虑PCIe通道数量、CPU插槽与GPU的NUMA关系,以及网卡和NVMe是否争用同一组通道。
配置重点可以这样判断:
- GPU长期利用率高、数据队列充足:CPU不必盲目堆高;
- GPU利用率周期性降到很低:检查数据加载、CPU核数和存储延迟;
- 多卡服务器中某些卡明显更慢:检查PCIe拓扑、NUMA和卡间通信;
- 采用图像实时增强或复杂文本处理:优先增加CPU核心和数据加载线程。
内存用于缓存、预处理和溢出保护
主机内存不能直接替代GPU显存。将模型或优化器状态卸载到内存,通常会增加PCIe传输和同步等待;数据集缓存到内存可以减少磁盘读取,但不会让单卡自动获得更多显存。
作为配置起点,可以按GPU总显存的约1至2倍规划主机内存,用于普通本地数据训练;如果需要大规模数据缓存、CPU卸载、参数交换或运行多个数据处理进程,则应进一步增加,并通过实际峰值确认。这个比例不是硬性规则,数据集大小和训练框架才是决定因素。
例如,4张48GB GPU的总显存为192GB:
- 本地顺序读取、数据集不全部缓存时,128GB至256GB主机内存可能是一个起始范围;
- 大量样本预解码并驻留内存时,可能需要更高容量;
- 采用CPU卸载时,主机内存不仅要容纳数据,还要容纳被卸载的模型状态;
- 多个训练任务共享同一台服务器时,应按并发任务的峰值叠加,而不是只看单个任务。
磁盘既要看容量,也要看写入和读取模式
训练服务器通常需要区分系统盘、数据盘和高速临时盘。大模型训练中的数据读取可能是大量小文件,也可能是连续分片;检查点保存则常常是大文件顺序写入。只看磁盘容量而不看读写模式,容易出现GPU等待数据或保存检查点过慢。
检查点容量可以先做粗略估算。若模型状态需要112GB,保存权重、梯度、优化器和随机状态后,单个完整检查点可能超过模型权重文件本身的大小。保留5个检查点时,不能只按“5倍权重文件”预留空间,而应按训练框架实际保存内容计算,并留下临时文件和失败重试的空间。
检查点网络传输也可用单位换算判断瓶颈。以100GB十进制检查点通过10Gbps链路传输为例:
- 100GB × 8 = 800Gb;
- 800Gb × 1000 = 800000Mb;
- 800000Mb ÷ 10000Mb/s = 80秒。
80秒是理想理论时间,协议开销、存储速度、并发访问和链路拥塞都会使实际耗时更长。换成25Gbps时,理论时间约为32秒,但如果后端存储只能持续写入500MB/s,网络提速也不会等比例缩短保存时间。
网络在单机和多机环境中的重点不同
单机单卡训练,网络通常只影响远程数据集、远程检查点和管理访问;多卡单机则主要关注GPU间通信拓扑;多机训练还要重点考察节点间带宽、时延、网卡数量和交换网络拥塞。
| 工作负载 | 网络配置关注点 | 常见瓶颈 |
|---|---|---|
| 单卡本地数据训练 | 管理网络、远程备份 | 通常不是训练主瓶颈 |
| 单机多卡数据并行 | GPU互联、PCIe拓扑 | 梯度同步和CPU数据供给 |
| 多机数据并行 | 节点间带宽与时延 | 每步同步等待 |
| 共享存储训练 | 存储网络与并发吞吐 | 多节点同时读数据 |
| 频繁保存大型检查点 | 上行带宽与存储写入 | 保存期间训练暂停或变慢 |
如果只是把多张小显存GPU放进服务器,却没有匹配的通信和PCIe条件,理论上的总显存可能无法转化为有效训练吞吐。
购买前怎样验证显存容量
第一步:固定业务训练条件
购买前应先写清楚一组可复现的目标条件,而不是只写“训练某类大模型”:
- 模型参数量和模型结构;
- 训练、全参数微调还是参数高效微调;
- FP32、FP16、BF16或量化方式;
- 单卡微批次、全局批次和梯度累积步数;
- 最大序列长度、图像分辨率或视频帧数;
- 是否使用梯度检查点、混合精度和显存分片;
- 是否需要同时运行验证、推理或第二个训练任务;
- 检查点保留数量和保存周期。
这些条件一旦变化,显存峰值和服务器其他部件的需求都可能变化。
第二步:用状态估算排除明显不合适的方案
先计算权重、梯度和优化器状态的粗略规模,再为激活值、通信和框架开销预留空间。若单卡容量连基础模型状态都放不下,就不应把希望寄托在降低批次上;此时需要改用参数分片、多卡并行、更低精度或参数高效微调。
如果采用多卡分片,可以把模型状态除以参与分片的GPU数量作为初步估算,但不要把除法结果当成最终占用。实际还要加上每卡激活、通信缓冲、分片不均衡和显存碎片。
对于不确定的任务,建议把目标峰值控制在额定显存的75%至85%以内作为初始安全范围。低于这个范围不代表一定更快,但可以为不同批次、数据形状和框架临时开销留出余量。
第三步:用真实输入做短跑测试
验证时不要只加载模型后查看显存,而要执行完整的前向、反向、优化器更新和检查点保存流程。至少应覆盖:
- 目标精度和目标序列长度或图像尺寸;
- 目标单卡微批次;
- 一个完整训练步骤;
- 若使用梯度累积,覆盖完整累积周期;
- 若使用多卡,覆盖真实通信和同步;
- 至少运行若干个数据形状不同的步骤;
- 测试验证阶段和保存检查点阶段。
在采用NVIDIA驱动环境时,可以使用只读查询查看GPU显存和利用率:
nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu --format=csv
框架内部还应记录已分配显存、已保留显存和峰值显存。已分配显存反映张量实际使用量,已保留显存还包含分配器缓存,峰值显存更适合判断训练步骤是否接近容量边界。只看某一时刻的显存使用量,可能错过反向传播或优化器更新时的峰值。
第四步:把性能和容量一起验收
显存不溢出只是最低要求,还需要确认业务指标是否达到预期。可按以下维度记录:
| 验证项 | 关注内容 |
|---|---|
| 显存峰值 | 是否在不同批次、不同输入长度下保持余量 |
| 每步耗时 | 前向、反向、更新和同步是否稳定 |
| 吞吐量 | 图像任务看samples/s,语言任务看tokens/s |
| GPU利用率 | 是否持续有计算,是否频繁等待CPU或存储 |
| 多卡扩展效率 | 增加GPU后吞吐提升是否抵消通信开销 |
| 检查点耗时 | 保存期间是否影响训练窗口 |
| 长时间运行 | 是否出现温度、降频、进程退出或内存逐步增长 |
如果24GB GPU可以运行目标任务,但每步只能处理很小的微批次,且梯度累积导致吞吐不足,那么48GB GPU或更高显存方案可能具有更好的业务价值。反过来,如果任务主要受数据读取限制,单纯更换更大显存GPU也未必解决问题。
围绕模型实验、参数高效微调和大显存计算需求,A5数据在香港和美国提供GPU物理服务器租用,涵盖A100 80GB与RTX 4090等显卡选项,并搭配服务器CPU、主机内存和NVMe存储,为模型计算、数据预处理与训练文件读写提供硬件基础。香港GPU系列提供CN2线路配置,美国GPU系列提供三网直连回国或国际带宽方案,可承接不同部署地区的数据传输与远程访问需求。
按业务目标反推服务器配置
以“能跑”为目标的实验开发
适合个人研发、小模型验证和短周期参数高效微调。重点是单卡显存有余量、驱动和框架兼容、主机内存足够运行数据处理流程。此时不必为尚未确定的模型规模一次性配置多机多卡,但应确认机箱、电源和PCIe插槽是否具备后续扩展空间。
以“稳定训练”为目标的团队生产
除显存外,应重点配置本地高速NVMe数据盘、足够的主机内存、可靠的散热和冗余的检查点存储。训练任务通常需要长时间运行,GPU容量只留出很小余量会让一次数据长度变化就导致任务中断。
如果计划使用4张或8张GPU,应在采购前确认:
- 电源是否能覆盖GPU、CPU、内存和磁盘的持续功耗;
- 机箱是否支持对应数量和厚度的GPU;
- PCIe通道是否足够,是否存在插槽降速;
- GPU之间的通信拓扑是否适合目标并行方式;
- 多卡满载时的进风、排风和噪声条件;
- 检查点是否有独立存储或备份路径。
以“提高吞吐”为目标的批量训练
此时不能只追求单卡显存最大。应比较单卡吞吐、GPU数量、卡间通信效率、功耗和多卡扩展效率。
在多个相互独立的训练任务之间分配资源时,多张中等显存GPU可能更灵活;在一个无法拆分或需要大单卡批次的任务中,大显存GPU可能更合适。4张24GB卡与1张96GB卡在任务调度、并行通信、故障影响范围和软件支持方面都不同,应按具体工作负载比较,而不是只比较总GB数。

以“长期扩展”为目标的训练平台
如果模型规模会从7B扩展到13B或更高,采购时应提前确认GPU数量、互联、主机内存、网络和存储是否能随规模增长。单台服务器能够容纳多卡,不代表以后可以无缝扩展到多节点;机房电力、交换网络、远程存储和作业调度也可能成为新的限制。
较稳妥的做法是把配置分成三层:
- 当前任务的最低可运行配置:保证目标模型和训练条件可以稳定完成;
- 当前业务的生产配置:为显存峰值、检查点和长时间运行留下余量;
- 下一阶段扩展配置:确认增加模型规模或并发任务时,哪些部件可以继续使用。
最终的判断路径可以概括为:先根据参数量估算模型状态,再根据序列长度、分辨率和批大小估算激活值,随后确认是否需要显存分片和多卡通信,最后把CPU、内存、磁盘、网络、电源与散热纳入验收。这样得到的GPU显存容量,才是与实际训练业务相匹配的配置,而不是仅凭模型名称或模型文件大小做出的静态选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3770.html


