多任务共用GPU服务器时,MIG资源如何按显存需求划分?
MIG 划分应先按每类任务的峰值显存需求选择可用的 GPU 实例规格,再核对该规格提供的计算资源能否满足吞吐和延迟要求。并发越高、模型或数据驻留越多,通常需要更大的显存档位;但显存够用不代表算力也够用,不能只把物理显存平均切成若干份。
规划时,先估算模型、缓存、批次和运行时开销在峰值下的总需求,再留出余量,并结合实际 GPU 型号支持的 MIG 规格与组合方式安排实例。MIG 的规格和可组合布局因 GPU 型号、代际及软件环境而异,因此以下估算用于制定方案,不等同于某台服务器的实测承载保证。
先画出负载画像
共用 GPU 的任务,往往并不是同一种负载:在线推理关注请求并发和响应时间,批量推理关注批次大小与吞吐,训练则可能长时间占用显存和计算资源。规划前应把任务分组,而不是只按团队或容器数量分配。
每类任务至少记录以下变量:
| 负载变量 | 需要确认的内容 | 对 MIG 规划的影响 |
|---|---|---|
| 请求量 | 平均与峰值请求速率、日内波动、突发时长 | 决定需要承接的吞吐和排队余量 |
| 并发量 | 同时运行的请求、任务或批次数 | 影响缓存、激活值和工作区的峰值显存 |
| 请求类型 | 输入长度、输出长度、批次大小、模型版本 | 同一模型也可能因输入和批次不同产生不同资源需求 |
| 数据规模 | 模型参数量、数据是否驻留 GPU、单批数据大小 | 影响权重、缓存、激活值及数据搬运压力 |
| 延迟要求 | 响应时间目标、可接受排队时间 | 影响实例的计算资源和余量,不只是显存容量 |
| 增长预期 | 业务量增长、模型升级、上下文长度变化 | 决定现在的配置是否需要预留扩展空间 |
对于在线服务,可用“到达速率 × 平均处理时间”粗略估计平均在途请求数。例如,单位时间内请求到达更多,或者单次推理变慢,都会增加同时占用资源的请求数。这个关系适合做初步画像,不能代替对峰值、突发流量和长尾请求的测量。
还要区分“请求并发”与“GPU 上实际并行执行量”。推理服务可能通过批处理合并请求,也可能把部分请求放入队列;因此相同的并发数,在不同推理框架、批处理策略和请求长度下,显存与算力表现都可能不同。容量规划应使用接近生产的请求分布进行验证。
把显存需求拆成可估算的资源变量
一个 MIG 实例能使用的显存受其规格限制。任务能否放入实例,不应只看模型权重大小,还要计入运行过程中的其他占用:
峰值显存需求 ≈ 模型权重 + 请求缓存 + 激活值或批次数据 + 框架与内核工作区 + 运行时开销
这里的每一项都可能随负载变化。模型权重通常相对固定;缓存、激活值和工作区则会受到并发、上下文长度、批次大小、精度及框架实现影响。实际运行中,显存分配器也可能保留缓存或产生碎片,所以估算结果应留出余量,不能把实例标称容量全部当成业务可用容量。
在线推理:关注权重之外的缓存
以自回归文本模型为例,权重显存可以先按参数量和权重精度粗算:参数量乘以每个参数占用的字节数。以 70 亿参数、每参数 2 字节的权重为例,理论权重数据约为 14 GB,约合 13.0 GiB;这还没有计入框架、工作区和请求缓存。
KV 缓存可以用下面的简化关系估算:
KV 缓存字节数 ≈ 2 × 层数 × KV 头数 × 每个头的维度 × token 数 × 每个元素的字节数
假设某模型有 32 层、8 个 KV 头、每头维度为 128,缓存使用 16 位数据,单个请求上下文长度为 8192 token,则单个请求的 KV 缓存约为:
2 × 32 × 8 × 128 × 8192 × 2 = 1,073,741,824 字节,约为 1 GiB。
若同时有 4 个请求都达到这一上下文长度,仅 KV 缓存就约需 4 GiB。实际占用还会受模型结构、缓存精度、框架实现、输入输出长度和批处理策略影响;如果采用分页缓存或动态分配,显存使用曲线也可能不同。
训练和批量任务:核对峰值而非数据集总量
训练任务的显存不仅包括模型权重,还可能包括梯度、优化器状态、激活值和临时工作区。具体比例与训练框架、优化器、精度策略、检查点方式和并行策略有关,不能只用参数量直接推定 MIG 档位。批量任务则应核对单批数据、批次并发和预处理后张量是否需要驻留 GPU。
如果数据集保存在磁盘或主机内存,并按批次送入 GPU,数据集总大小不一定等于 GPU 显存需求;但批次增大、多个作业同时预取或缓存策略变化,仍可能抬高峰值。规划时要记录真实执行路径,而不是把“数据有多大”和“显存要多大”简单画等号。
MIG 规格不是只按显存容量排序
MIG 将支持的 GPU 划分为相互隔离的实例。一个 GPU 实例规格会关联一定的显存和硬件计算资源;具体包含哪些资源、有哪些可选组合,取决于 GPU 型号和支持的 MIG 配置。常见规格标识会包含计算切片和显存信息,但相同格式不意味着不同型号之间可以直接按名称或容量互换。

选择时至少要核对三个方面:
- 显存是否放得下峰值工作集。 依据模型、缓存、批次和运行时开销估算,并留余量。
- 计算资源是否够用。 MIG 实例的计算资源也有限;即使显存有余,计算饱和仍可能造成吞吐下降或排队。
- GPU 是否支持目标规格和组合布局。 单个实例规格存在,不代表同一张卡上可以按任意组合创建多个实例;可用布局还受硬件和当前配置约束。
MIG 有助于把资源划分给不同任务,降低任务之间争用同一计算实例的影响,但它不会自动解决主机 CPU、主机内存、PCIe、网络、存储或调度层的瓶颈。实例之间也不能简单合并成一个跨分区的大显存池。如果一个模型或单项任务超过可用实例容量,应评估模型并行、分布式执行或更大规格 GPU,而不是假定多个小实例可以拼接使用。
用瓶颈指标决定实例大小
为任务选择规格时,显存是准入条件之一,服务目标还需结合计算利用率、吞吐和延迟判断。可以把一段稳定运行期内的指标放在一起看:
| 观察指标 | 常见信号 | 可能需要核对的方向 |
|---|---|---|
| 显存已分配量与峰值 | 接近实例容量、频繁分配失败或出现内存不足 | 实例显存规格、缓存上限、批次和并发 |
| GPU 计算利用率 | 长时间较高且队列持续增长 | 计算资源不足、批次策略或需要更大计算规格 |
| 请求队列长度 | 峰值时持续累积,低谷时恢复 | 突发流量、实例数量、任务调度与限流 |
| 响应时间分位数 | 平均值尚可但高分位延迟明显上升 | 长请求、排队、并发争用及尾部负载 |
| 实际吞吐 | 请求量增加但完成速率没有同步提升 | 计算饱和、数据搬运或其他共享资源瓶颈 |
| 主机与数据通路 | CPU、内存、PCIe、网络或存储先达到瓶颈 | 主机侧资源配置及数据输入输出路径 |
不能把某一个利用率阈值当作所有业务的通用扩容线。GPU 利用率较高,如果吞吐满足目标、队列稳定且延迟符合要求,未必需要立即扩容;反之,利用率不高但延迟超标,也可能是请求形态、数据准备或共享链路的问题。应把资源指标与业务 SLO 放在同一时间轴上分析。
如果系统能提供按 MIG 实例观察的显存、利用率和错误指标,应尽量按实例分别统计。只看整卡平均值,可能掩盖某个小实例已经接近容量上限、而其他实例仍有余量的情况。
估算示例:从请求并发推到显存档位
下面用一个假设的在线推理负载演示估算过程,不代表特定服务器或 GPU 的实测结果:
- 模型约 70 亿参数,使用 16 位权重,权重理论占用约 13.0 GiB。
- 每个请求的上下文长度按 8192 token 估算,KV 缓存约 1 GiB。
- 峰值同时处理 4 个同等长度请求,KV 缓存合计约 4 GiB。
- 框架、工作区和其他运行时开销暂按 3 GiB 作为规划示例。
因此,基础估算约为 13 + 4 + 3 = 20 GiB。若再预留 25% 的容量余量,规划需求约为 25 GiB。余量用于覆盖显存波动、框架差异、动态请求和分配碎片等风险;实际比例应通过代表性负载验证,而不是固定套用。

若候选 GPU 支持约 40 GB 显存档位,可把该档位作为进一步测试的候选,而不是直接认定它一定满足服务要求。GB 与 GiB 口径不同,实例可供框架使用的容量还可能小于标称值;上线前应检查实际可见显存,并确认计算吞吐、延迟和并发目标也达标。如果 4 个请求的长度差异很大,或者上下文上限继续增加,应按更高峰值重新估算,而不宜沿用平均长度。
这类估算也说明了容量规划中的两个独立问题:一个是“能否放下”,另一个是“能否按时处理”。若显存通过但计算资源不足,可以评估更大计算规格、降低并发或调整批处理;若计算资源有余但显存接近上限,则应优先减少驻留缓存、限制上下文或选择更大显存规格。
从单实例需求推到整卡布局
确认各类任务的候选规格后,再规划整张 GPU 的实例布局。不能仅用物理显存总量除以单任务显存需求来计算可容纳数量,因为 MIG 规格的计算资源和显存容量按硬件配置成组划分,支持的实例组合也有约束。
可以按以下顺序推演:
- 为每类任务确定候选规格。 用峰值显存和服务目标筛选规格;对推理、训练和批处理分别评估,不混用未经验证的平均数。
- 按峰值同时运行量计算实例数。 若某类任务高峰期需要同时运行 N 个副本,先考虑是否需要 N 个相应实例,再结合任务可否排队或错峰调整。
- 核对可用的整卡组合。 检查 GPU 型号支持的实例规格、组合布局和当前实例配置。各型号的能力不同,不能从一张卡推断另一张卡的可用布局。
- 验证整卡共享瓶颈。 即使每个实例分别满足资源要求,主机侧 CPU、内存、PCIe、网络、存储和调度系统仍可能成为共同瓶颈。
- 为低谷与峰值制定调度策略。 对可排队的批处理作业,可考虑错峰运行;对延迟敏感的在线服务,需留出能承接突发请求的实例和计算余量。
需要隔离的在线服务与可排队的离线任务,适合分别核算。若把低优先级批处理安排在在线流量高峰期,在线延迟可能受共同的主机资源或调度行为影响。MIG 规划应与任务优先级、并发上限和排队策略一起确定。
容量余量与增长空间
容量余量不是把每个规格都随意放大一档,而是针对不确定性设置可监测、可复算的缓冲。常见需要纳入余量的因素包括:
- 请求峰值高于日常均值,或流量突发持续时间较长;
- 模型升级后权重、缓存或工作区增加;
- 上下文长度、批次大小、输出长度或并发上限提高;
- 多个任务的高峰时段发生重叠;
- 框架、驱动或推理引擎升级后显存分配方式发生变化;
- GPU 以外的主机资源无法按相同比例扩展。
对于已知稳定的任务,可以先按代表性峰值评估,再留出一段可解释的余量;对于请求波动大、模型频繁更新或增长预测不确定的服务,应扩大缓冲,或者把可扩容时间纳入服务设计。余量应以实际观测结果调整:如果连续多个高峰周期都远低于预留值,且服务目标达标,可以评估是否重新分配;如果峰值频繁触及上限,则说明余量可能不足。
增长测算可用简单的复利关系辅助规划:未来负载约等于当前负载 ×(1 + 单期增长率)的期数次方。例如增长率只是粗略预测时,结果也只能用于容量预算,不能替代持续监控。还应分别预测请求量、请求长度、模型规模和并发变化,因为它们对显存和计算资源的影响并不相同。
扩容触发点应同时看业务与资源
扩容触发条件宜在部署前定义,并使用连续时间窗口过滤短时抖动。以下区间可作为初步讨论的参考起点,需根据服务目标和负载特征校准:
- 若显存高水位在多个峰值窗口持续超过实例可用容量的约 80%—85%,并且还存在增长或分配失败风险,应复核实例规格、并发限制和缓存策略。
- 若 GPU 计算利用率长期处于高位,队列长度持续增长,且吞吐不能满足请求到达速率,应评估更大计算规格、增加可用实例或调整批处理策略。
- 若高分位延迟连续超过服务目标,即使显存或计算利用率未到预设阈值,也应检查请求结构、排队、主机资源和数据传输瓶颈。
- 若单个实例频繁出现显存不足,而整卡其他实例仍有空闲资源,应检查实例划分是否与实际负载匹配;整卡容量有余不代表现有实例能跨分区借用显存。
- 若模型、上下文长度、并发上限或数据规模发生变化,应重新测算峰值,而不是等监控告警出现后再调整。
扩容前应先确认瓶颈所在:显存受限时,优先核对模型驻留、KV 缓存、批次和实例规格;计算受限时,检查计算资源、吞吐和调度;队列或延迟受限时,还要排查 CPU、主机内存、网络和存储。只有瓶颈与拟扩资源对应,扩容才有可能改善服务指标。
部署前核对与验收
选择 GPU 服务器或 MIG 方案时,应把硬件、软件和交付条件放在同一口径下确认:
- 核实具体 GPU 型号是否支持 MIG,以及该型号支持哪些实例规格和组合方式。
- 确认驱动、CUDA、容器运行时和推理框架版本与目标 GPU 及 MIG 工作方式相容。
- 明确实例是按何种规格交付、实例配置是否允许调整,以及重配置是否需要中断任务或重启服务。
- 分别验收每类任务的显存高水位、吞吐、延迟和队列表现,不用整卡的平均指标代替单实例结果。
- 对代表性的峰值并发、请求长度和批次进行压测;测试结果仅对所用硬件、软件版本和负载条件有效。
- 确认监控能区分 GPU 与 MIG 实例,并能关联到业务队列、错误和延迟指标。
具体规格清单和操作方式应以实际 GPU 型号、驱动版本及服务器交付配置为准。规划阶段可先核对供应商提供的硬件规格和 MIG 支持情况,再在目标环境中检查实例配置与可见资源;不要仅凭实例名称或物理显存总量推断可用容量。
最终,MIG 划分应由“峰值工作集能否装下、计算资源能否满足服务目标、整卡布局是否可实现、增长时如何扩容”共同决定。建立按实例和业务分别统计的基线,观察完整的高峰周期,再据显存高水位、队列、吞吐和延迟共同设定告警阈值;当这些指标持续越线或负载结构变化时,重新计算规格与实例数量。
围绕多任务 GPU 负载,A5idc数据提供香港和美国 GPU 服务器,显卡选项包括 A100 80GB 与 RTX 4090,并配套服务器 CPU、内存和 NVMe 存储,为 AI 推理、模型测试及图像处理提供 GPU 计算与主机资源。两地产品各有相应网络方案,可围绕模型服务的计算、存储和访问需求组合部署。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9534.html



