GPU服务器使用MIG划分资源时,实例规格与显存需求怎么匹配
GPU服务器上的MIG实例不能只按“显存有多少”来匹配。显存决定任务能否装入实例,是比较硬的上限;计算切片、显存带宽、时钟频率以及CPU、PCIe和网络,决定任务装入之后能否达到目标延迟和吞吐。一个标称显存足够的实例,可能仍然无法支撑持续推理、批量训练或高并发服务。
更稳妥的匹配方法是:先计算业务在目标批量、上下文长度和并发下的峰值显存,再核对MIG实例实际可见的显存上限;随后用持续负载测试计算切片和I/O是否满足要求。页面上的“整卡性能”“最高吞吐”或“可突发”不能自动等同于单个MIG实例的长期可用性能,服务商是否限速、能否共享未使用资源,也需要单独确认。
先区分物理GPU、MIG实例和可用资源
MIG通常会把一张支持该功能的GPU切分为多个相互隔离的GPU实例。实例配置名称常见类似 1g.10gb、2g.20gb,但具体命名、显存容量、计算切片数量和可创建实例数,取决于GPU型号、显存版本、驱动以及当前MIG模式。
其中,1g表示某种计算资源切片规格,10gb表示该配置对外呈现的显存容量。1g不是“1GB”,也不代表性能必然是整卡的七分之一;不同架构的计算单元、频率、带宽和执行效率并不完全相同。
选型时至少要区分以下几层资源:
| 资源层级 | 代表含义 | 对业务的影响 | 不能直接推出的结论 |
|---|---|---|---|
| 物理GPU显存 | 整张卡安装的显存总量 | 决定整卡可容纳的任务规模 | 不能说明单个MIG实例能使用全部显存 |
| MIG实例显存 | 分配给某个实例、系统可见的显存容量 | 决定模型、激活值和缓存能否装入 | 不能说明计算吞吐一定足够 |
| 计算切片 | 实例可使用的SM及相关计算资源 | 影响推理延迟、训练速度和批处理吞吐 | 不能简单按切片数量线性换算整卡性能 |
| 显存带宽和缓存 | 实例可使用的内存访问能力及缓存资源 | 影响大模型推理、矩阵运算和带宽敏感型任务 | 不能只看显存容量判断性能 |
| CPU、内存、PCIe、网卡 | GPU之外的服务器资源 | 影响数据准备、数据传输和多卡协作 | 不能由MIG规格自动保证 |
| 平台配额与服务限速 | 租户、实例或API层面的用量限制 | 影响并发、调用频率和可持续吞吐 | 不能视为GPU硬件能力 |
例如,整卡有80GB显存,并不代表可以随意创建8个10GB实例。实际可创建数量还受到MIG profile、资源布局、实例放置规则和系统预留的影响。即便可以创建多个小实例,也不能把两个10GB实例直接当成一个20GB显存池使用。需要合并显存的训练或推理程序,必须明确支持多GPU或分布式执行,并承担通信开销。
MIG划分为什么会改变业务表现
显存是硬上限,不能依赖“借用空闲容量”
MIG实例通常只能使用配置给自己的显存区域。当模型申请的显存超过实例上限时,常见结果是框架报出显存不足,而不是自动借用同一张物理卡上其他实例的空闲显存。
业务峰值显存可以按以下思路估算:
峰值显存 = 模型权重或参数 + 激活值 + KV Cache或中间缓存 + 框架工作区 + 输入输出缓冲 + 内存分配碎片
推理服务还要把并发数、输入长度、输出长度和批处理策略纳入估算。训练任务则要额外考虑梯度、优化器状态、检查点缓存和通信缓冲区。
显存标称值与程序实际可用值也可能存在差异。驱动、运行时、框架和服务管理组件会占用一部分资源,动态批处理还会让峰值随请求变化。对于固定输入的离线任务,可以从峰值上增加较小余量;对于上下文长度和并发不固定的在线服务,通常需要更大的缓冲。10%至30%可以作为初步估算区间,但不能替代实测。
计算切片决定“装得下”之后能跑多快
同一个模型如果能装入10GB和20GB实例,并不表示两个实例会有相同的延迟。较小的MIG实例通常拥有更少的计算资源,单请求延迟可能变长,批量吞吐也可能下降。
以下几类任务对计算切片的敏感程度不同:
- 小模型、低并发推理:显存通常是首要约束,计算切片较小也可能满足需求。
- 图像分类、目标检测、视频分析:批量大小增加后,计算吞吐的重要性上升,不能只按模型权重匹配。
- 大语言模型推理:显存由权重、KV Cache和并发共同决定;计算切片会影响首Token延迟和生成速度。
- 模型训练或微调:显存和持续计算能力都重要,小实例即使勉强装下模型,也可能无法满足训练周期。
- 数据预处理较重的任务:CPU、内存和PCIe传输可能先成为瓶颈,扩大MIG实例不一定解决问题。
MIG的计算资源是硬件划分的一部分,但“1g”“2g”与实际吞吐之间不是简单的倍数关系。频率、算子类型、精度、框架版本、批量大小和内存访问模式都会改变结果。
MIG隔离不等于整台服务器完全独占
MIG主要解决GPU实例之间的资源隔离问题,但服务器仍可能共享以下资源:

- 主机CPU核心和系统内存;
- PCIe链路及其带宽;
- 本地SSD、网络存储和网卡;
- 数据读取服务、容器运行时和调度系统;
- GPU功耗、散热和板卡级管理资源;
- 同一MIG实例内部的多个进程。
因此,服务商如果只展示“GPU型号和MIG显存”,还不足以判断在线服务的持续延迟。需要继续确认CPU配额、主机内存、PCIe拓扑、网络带宽以及是否与其他租户共享I/O。
显存需求要按业务峰值而不是模型名称匹配
推理任务:权重之外,KV Cache可能成为主要变量
以一个13B参数模型的4-bit推理为例,参数本身的理论存储量约为:
13×10^9×4÷8 = 6.5×10^9字节
按十进制计算约为6.5GB,换算成二进制单位约为6.05GiB。这只是未计入量化元数据、运行时工作区、激活值和缓存的理论下限。
如果某个测试场景中还需要约0.5GiB量化元数据、0.8GiB运行时工作区、0.8GiB激活值和2.5GiB KV Cache,则估算占用为:
6.05 + 0.5 + 0.8 + 0.8 + 2.5 = 10.65GiB
再预留20%的变化空间,所需容量约为:
10.65×1.2 = 12.78GiB
这个结果只是示例。KV Cache会随着上下文长度、输出长度、并发请求数和模型结构变化。如果实例只有约10GB可见显存,即使权重能够加载,服务也可能在长上下文或并发上升时出现OOM。约20GB的实例在显存层面会更宽松,但是否达到目标吞吐,还要继续测试计算切片。

对于大语言模型,至少应记录以下四个场景,而不是只测试一次短文本:
- 单请求、短上下文;
- 单请求、目标上下文长度;
- 目标并发、平均输入长度;
- 峰值并发或动态批处理场景。
训练和微调:不要用权重大小直接推算
训练时,显存通常不只存放一份模型权重,还可能包含梯度、优化器状态、激活值和通信缓冲。即使使用混合精度、量化或参数高效微调,也不能据此直接断定某个小MIG实例一定能运行。
对于训练和微调,应该实际测量以下参数:
- 单卡或单实例的最大序列长度;
- micro-batch size和梯度累积步数;
- 是否启用激活检查点;
- 优化器类型及其状态占用;
- 是否需要保存全量检查点;
- 是否需要跨实例通信;
- 训练过程中显存峰值出现在哪个阶段。
如果目标是短期实验、低批量微调,小型MIG实例可能适合开发和验证;如果目标是持续训练或稳定缩短训练周期,则应优先核对计算切片、显存带宽和持续功耗,而不是只看能否启动任务。
图像和视频任务:批量大小会同时放大显存与计算压力
图像模型通常比大语言模型更容易估算,但输入分辨率、批量大小和数据增强仍会明显改变峰值显存。一个模型权重占用2GB,并不意味着2GB或4GB实例就一定够用;中间特征图和推理工作区可能在高分辨率输入下快速增加。
可以使用以下方式做初步判断:
| 任务特征 | 显存匹配重点 | 计算资源匹配重点 | 常见适用方向 |
|---|---|---|---|
| 小模型、单张或小批量推理 | 权重、激活和运行时余量 | 单请求延迟 | 开发测试、低并发接口 |
| 中等模型、固定批量离线推理 | 批量放大后的激活值 | 每小时处理量 | 批处理、内容审核、图片转换 |
| 视频流分析 | 帧缓存和多路输入 | 持续帧率、解码和传输 | 实时或准实时视频任务 |
| 大模型、高上下文推理 | 权重、KV Cache、并发 | 首Token延迟、生成速度 | 在线问答、代码生成 |
| 训练和微调 | 权重、梯度、优化器、激活 | 训练步耗时和持续吞吐 | 实验训练、模型适配 |
标称性能、持续性能、突发额度和限速不是同一个指标
产品页面上的性能描述需要拆开看。
标称性能:用于判断上限和兼容性
标称显存、计算精度和理论算力适合用来做第一轮筛选,例如判断模型是否有机会加载、某种精度是否受支持。但理论算力通常基于特定精度和理想利用率,不能直接换算为真实的每秒请求数或每秒生成Token数。
“整卡支持某种算力”也不能直接套用到单个MIG实例。需要确认性能数字对应的是整卡、单个profile,还是多个实例合计。
持续性能:决定在线服务和长期任务是否适用
持续性能应至少说明测试持续时间、并发、输入规模、精度和软件版本。短时间跑出的峰值可能受到以下因素影响:
- GPU尚未达到稳定温度;
- 请求队列尚未形成;
- 批处理尚未达到真实并发;
- 数据已在缓存中;
- 只测了短输入,未覆盖长上下文;
- 只记录平均值,未记录P95或P99延迟。
对于持续服务,更有价值的指标包括:
- 稳态tokens/s、images/s或samples/s;
- P50、P95和P99延迟;
- 首Token延迟和后续生成速度;
- 长时间运行后的GPU时钟、温度和功耗;
- CPU利用率、主机内存、PCIe和网络吞吐;
- 发生请求突增时的队列长度和错误率。
突发额度:必须确认“突发什么资源”
“支持突发”可能指不同内容:
- 短时间使用更高的GPU计算利用率;
- 临时获得共享CPU或网络带宽;
- API允许短时超过基础请求速率;
- 未被其他实例使用时,调度系统提供额外资源;
- 账户在某个时间窗口内拥有额外调用量。
这些含义不能混用。对MIG显存来说,实例通常不能因为其他实例空闲就临时借用其显存。对计算资源来说,是否存在额外突发能力,则取决于硬件隔离方式、云平台调度和服务条款。若产品页面只写“最高吞吐”而没有持续基线,应将其视为峰值参考,不能直接作为容量承诺。
限速条件:可能不在GPU本身
实际吞吐低于预期时,限速来源可能包括:
- 单实例并发数上限;
- 每秒请求数或每分钟Token数上限;
- 租户级GPU配额;
- CPU或内存配额;
- 网络出口或存储读取带宽;
- 容器运行时的设备暴露策略;
- GPU温度、功耗或时钟管理;
- 服务商的共享调度策略。
因此,核对时要把“GPU能跑多快”和“平台允许调用多快”分开询问。一个实例可能具备较高的理论计算能力,但API层有较低的QPS限制;也可能API不限制请求数,却因CPU预处理或网络读取导致GPU长期吃不满。
购买或开通前需要核对的资源边界
对于MIG产品,不建议只问“这台服务器是什么GPU、多少显存”。更有用的问题是:
- 具体GPU型号和板卡显存是多少?
需要确认是整卡物理显存,还是租户实际可见显存。
- 实例profile的完整名称是什么?
例如是否为某种 1g.10gb 或 2g.20gb 配置,g对应多少计算切片,具体规格是否随GPU批次变化。
- 显存容量是标称容量、可见容量还是可分配容量?
需要确认系统预留、驱动占用和容器内显示结果。
- 实例是硬件MIG隔离,还是普通GPU虚拟化、时间片共享?
两者的显存边界、计算稳定性和邻居影响不同,不能用同一口径比较。
- 持续性能如何定义?
应要求说明测试时长、输入长度、批量、并发、精度、框架和驱动版本。
- 是否存在突发额度或平台限速?
明确突发的是GPU计算、CPU、网络还是API调用,并确认持续时间、恢复规则和超出后的处理方式。
- 同一物理GPU上的其他实例是否共享CPU、PCIe、网卡和存储?
对实时推理和视频分析尤其重要。
- 实例能否重建或调整profile?
如果调整需要停机、迁移或重新部署,应计入运维成本。
- 如何验收?
应提前约定模型、输入、并发、持续时间、吞吐、P95延迟和显存峰值,而不是只验收一条理论规格。
用实际测试验证显存和持续性能
在具备主机权限、且驱动支持相应查询的环境中,可以先查看GPU和MIG状态。下面只包含查询命令,不涉及创建、删除或重配置MIG实例:
nvidia-smi -L
nvidia-smi mig -lgi
nvidia-smi mig -lgip
nvidia-smi mig -lgipp
nvidia-smi -q -d MIG
不同驱动版本或云平台权限下,部分子命令可能不可用。容器内部看到的设备列表也可能与宿主机不同,因此需要分别确认宿主机配置、容器设备映射和应用实际使用的设备。
显存验证不能只看任务开始时的占用。应记录峰值,而不是某个时间点的采样值。使用深度学习框架时,可以在业务测试前后记录峰值显存,例如PyTorch场景可以采用类似方式:
import torch
torch.cuda.reset_peak_memory_stats()
# 在这里运行与生产相同的模型、输入长度、批量和并发逻辑
# run_inference_or_training()
allocated_gib = torch.cuda.max_memory_allocated() / (1024 ** 3)
reserved_gib = torch.cuda.max_memory_reserved() / (1024 ** 3)
print(f"peak allocated: {allocated_gib:.2f} GiB")
print(f"peak reserved: {reserved_gib:.2f} GiB")
测试时应保持以下条件一致:
- 使用生产计划中的模型精度和量化方式;
- 使用相同的输入分辨率或上下文长度;
- 使用相同的batch size、并发和动态批处理策略;
- 先进行预热,再记录稳定阶段;
- 至少覆盖正常负载和峰值负载;
- 同时记录GPU利用率、时钟、温度、功耗、CPU和网络;
- 观察P95或P99延迟,不只看平均值。
例如,某个在线推理服务在预热后短时间达到每秒120个请求,但持续30分钟后稳定在每秒85个请求,且P95延迟从180毫秒上升到320毫秒,那么采购容量时应按85个请求每秒附近的持续能力评估,而不是按120个请求每秒的短时峰值评估。这里的数字只是容量测试示例,实际结果必须以目标模型和实例为准。
从业务反推适合的MIG实例
可以把选择过程压缩成五个判断:
第一,先确定业务硬约束
记录模型版本、精度、最大输入长度、最大输出长度、并发数、目标P95延迟、目标吞吐和任务持续时间。没有这些条件,单独讨论“需要几GB显存”通常只能得到粗略答案。
第二,计算峰值显存并保留变化空间
将权重、激活值、KV Cache、工作区和输入输出缓冲分别列出。在线服务还要按并发峰值计算,而不是按单请求占用计算。显存需求接近实例上限时,应优先选择更大profile,而不是依赖压缩缓存或偶然的空闲容量。
第三,在显存合格的profile中比较计算切片
如果两个profile都能容纳任务,再用持续吞吐和P95延迟比较。对于低并发、轻量推理,小profile可能更适合;对于高并发、实时视频、长上下文或训练任务,较大的计算切片通常更有价值,但仍需测试验证。
第四,核对服务器外部资源
当GPU利用率不高而服务吞吐仍不足时,检查CPU预处理、内存、PCIe、网络和存储。单纯升级MIG profile并不一定有效。多实例部署还要确认每个实例是否拥有足够的CPU和系统内存配额。
第五,以持续测试结果确定采购数量
假设单个实例在目标条件下的持续吞吐为85个请求每秒,业务峰值为150个请求每秒,则不能按理论峰值120个请求每秒来配置,也不宜只部署两个刚好达到170个请求每秒的实例。还应考虑发布、故障、请求分布和流量波动,保留可解释的容量余量。
最终形成的采购规格,最好同时写明“实例profile、可见显存、持续吞吐、P95延迟、测试条件、突发规则和限速边界”。这样才能把GPU服务器的硬件参数与实际业务体验对应起来,也能避免把整卡标称性能、短时峰值或平台宣传中的上限,误当成单个MIG实例可以长期获得的资源。
面向MIG相关的AI推理、模型测试与图像处理任务,A5数据提供香港和美国GPU服务器,配备A100 80GB或RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型运行和数据读写提供硬件资源。香港GPU产品页面列有CN2线路配置;美国GPU产品则有三网直连回国或国际带宽方案,可对应不同地区的部署与网络需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5578.html



