多任务共用A100 80GB,如何按模型大小和并发规划显存余量?

发布人:A5数据发布时间:2026-10-10 13:44阅读量:154

多任务共用一张A100 80GB,显存余量应按“模型常驻占用+峰值并发带来的动态占用+执行峰值+安全余量”计算,而不是把80GB除以任务数。模型参数量决定基础占用,请求长度、批次和实际执行并发决定增量占用;同样是三个服务,短文本分类与长上下文生成需要的余量可能相差很大。

对于香港GPU服务器上的A100 80GB,适合先把在线推理、批处理、检索编码等任务分别建立预算,再确定它们允许同时运行的范围。如果模型能装下,但峰值时显存余量不足,应先限制长请求和后台任务的同时执行;如果显存仍有余量,而首字延迟、生成速度或队列长度已经超标,则要按计算吞吐扩容,不能只看剩余显存。

把业务需求转换成显存负载

容量规划需要回答两个不同的问题:哪些模型必须同时留在GPU上,以及哪些请求必须同时在GPU上执行。前者决定常驻显存,后者决定动态显存。

区分常驻任务、在线请求和后台批次

可以先按下表整理业务负载,不必一开始就追求精确到每个MiB。

任务类型需要确认的业务变量主要显存变量主要服务约束
大语言模型生成请求率、输入长度、输出长度、长文本占比权重、KV Cache、预填充峰值首字延迟、生成速度、完成时间
向量编码或文本分类每批条数、文本长度、峰值请求率权重、输入张量、中间激活批处理延迟、每秒处理条数
图像推理分辨率、每批图片数、模型数量权重、特征图、中间缓冲区单图延迟、批次吞吐
离线批处理待处理数据量、完成时限批次大小、执行缓冲区作业完成时间
训练或微调可训练参数、序列长度、微批次大小梯度、优化器状态、激活每步时间、完成周期

生成模型的“并发”尤其需要定义清楚。业务连接数、排队请求数、正在执行的序列数,并不相同。一个接口有100个连接,不代表GPU同时为100个请求保留完整KV Cache;反过来,一个请求生成多个候选,也可能对应多条执行序列。

显存预算应以GPU实际驻留的执行序列数为基础,业务请求数则用于评估排队和服务时限。两者不能直接替换。

把业务需求转换成显存负载/区分常驻任务、在线请求和后台批次配图

用请求率和执行时间估算平均并发

在统计边界一致、系统处于相对稳定状态时,可以用以下关系估算平均执行并发:

平均执行并发 ≈ 每秒进入执行阶段的请求数 × 平均执行驻留时间。

例如,进入GPU执行阶段的请求率为2次/秒,平均执行驻留时间为3.5秒,平均执行并发约为7。这里的3.5秒不包含执行前的排队等待,否则会把尚未占用GPU资源的请求也算进去。

这个结果只适合估算平均负载。真正设置并发上限,还要考虑突发流量、长请求以及任务之间的竞争。生成请求输出变长后,既可能占用更多缓存,又会停留更久,因此并发不会总是与请求量保持简单比例。

数据规模也要区分“总量”和“当前批次”。千万条文档可以分批编码,并不要求全部装入显存;但完成时限缩短,往往会迫使系统增大批次或延长GPU高负载时间。增长规划应同时记录请求量、长度分布和任务截止时间,而不是只写一个日请求总量。

建立统一口径的显存账本

以下容量推演使用GiB和MiB:1GiB=1024MiB,1MiB=1024²字节。参数量中的B表示十亿,例如7B约为70亿参数。

A100 80GB是产品容量标识。制定预算时,应以交付设备的驱动报告、实际可用资源范围和测试结果为准,不直接把产品名称中的80当作80GiB业务预算。若使用MIG实例或其他受限资源,也应以分配到的资源为上限。

一张卡的预算可以写成:

所需显存=所有常驻模型权重+运行时固定占用+允许同时出现的动态峰值+安全余量。

模型权重:参数量只是起点

未量化权重可以先按“参数量×每参数字节数”估算。FP16和BF16通常都是每参数2字节。

模型规模2字节权重的理论占用如何使用这个估算
7B约13.0GiB用于判断多模型常驻是否有基础空间
13B约24.2GiB还需叠加缓存和执行峰值
32B约59.6GiB在多任务共卡时,动态空间可能明显受限
70B约130.4GiB不能按单张A100 80GB全精度常驻来规划

这些数值不包含运行时缓冲区、量化元数据、临时张量及其他辅助结构。4位量化的原始权重位数约为FP16的四分之一,但完整加载占用通常不等于理论值。

量化权重也不意味着KV Cache同步缩小。权重精度和缓存精度可能分别设置,是否支持以及如何影响质量、速度,需要按推理框架和模型验证。

多进程同样值得注意:两个进程分别加载同一个模型,不能默认只占一份权重。若业务允许,使用同一个推理服务承接多个接口或业务队列,通常更容易避免重复常驻;若必须独立部署,则应按独立实例核算。

KV Cache:把上下文长度转换成字节数

对采用常规KV缓存的生成模型,可用以下关系估算缓存占用:

KV Cache字节数 ≈ 2 × 层数 × KV头数 × 每个头的维度 × 缓存元素字节数 × 所有驻留序列的token总数。

其中,2代表Key和Value两部分。使用分组查询注意力的模型,应填入KV头数,而不是直接填查询头数。缓存分块、共享前缀和具体分配策略,也会影响实际占用。

以一个示例结构说明:40层、40个KV头、每头128维,缓存采用2字节精度,则每token需要:

2 × 40 × 40 × 128 × 2=819,200字节=0.78125MiB。

一条已缓存4096个token的序列,理论KV占用约为3.125GiB;四条同时驻留,约为12.5GiB。

这里的4096个token包括已经缓存的输入及已生成内容,不能只统计提示词。如果服务允许4096输入再生成2048输出,那么请求后期可能需要按6144个token计算。

对于同一个模型和缓存精度,KV占用通常随驻留token总量近似线性增长。因此,“并发上限+驻留token总量上限”比单独设置并发数更适合长短请求混合的服务。

执行峰值:不能只测空闲加载状态

除了权重和KV缓存,还要考虑预填充阶段的临时张量、中间激活、工作区、执行图相关分配以及内存分配器保留空间。

长提示词进入预填充时,可能出现明显的短时峰值。若图像任务或编码批次恰好同时执行,静态加载测试中看似充足的空闲显存就可能被迅速消耗。

训练任务更不能套用“权重+KV”的推理预算。梯度、优化器状态和激活可能成为主要占用;参数高效微调也仍有激活等成本。在线推理与训练共卡时,应分别测量峰值,再判断是否允许重叠。

推演三个任务共用一张卡的容量

下面用一个透明的预算例子说明计算方法。这不是某台服务器的实测承载结果,模型结构、框架和请求分布变化后,需要重新计算。

先列出不可压缩的常驻占用

设某次规划按驱动报告和资源范围,将78GiB作为单卡核算总额,同时运行:

  • 一个13B生成模型,2字节权重,约24.2GiB;
  • 一个7B生成模型,2字节权重,约13.0GiB;
  • 一个编码模型,常驻权重预算1.0GiB。

三者权重合计约38.2GiB,再为运行时固定占用安排4.0GiB,则动态请求进入前的基础预算为42.2GiB。

进一步为允许重叠执行的临时峰值安排6.0GiB,并保留10.0GiB安全余量。这样可用于动态缓存的预算为:

78-42.2-6-10=19.8GiB。

这里各项必须保持互斥口径。如果框架已经预留了一个包含KV缓存的显存池,就不能把整个池计入“固定占用”,之后又把其中的KV使用量重复相加。

再把执行并发换算成缓存预算

沿用前面的13B示例结构,其4096 token序列需要约3.125GiB缓存。

再为7B模型设定一个示例结构:32层、32个KV头、每头128维、2字节缓存。每token约0.5MiB,因此4096 token序列需要约2.0GiB。

任务并发执行序列数每条驻留token数单条KV占用KV合计
13B生成模型440963.125GiB12.5GiB
7B生成模型340962.0GiB6.0GiB
编码任务按受控批次执行不适用生成式KV计算纳入临时峰值预算不重复计入

两个生成任务的KV合计为18.5GiB,总预算为:

42.2+18.5+6+10=76.7GiB。

相对于78GiB核算总额,还剩1.3GiB未分配空间。这个结果只说明该组合在所列预算下能够成立,不代表服务器一定能在目标延迟内处理7个并发请求。

若13B再增加一条同等长度序列,需要增加3.125GiB,总预算变为79.825GiB,已经超过边界。若两个生成任务的驻留长度都翻倍至8192 token,KV合计变为37GiB:

42.2+37+6=85.2GiB。

即使不保留10GiB安全余量,也已经超出预算。可见,模型大小未变、并发数未变,上下文长度增长仍然会使原规划失效。

推演三个任务共用一张卡的容量/再把执行并发换算成缓存预算配图

将预算落实为执行约束

上述预算不能仅靠文档约定执行。业务入口或调度层应落实最大输入长度、最大输出长度、执行并发以及驻留token总量限制。

长请求可以进入单独队列,避免与全部短请求按同一档位处理;编码批次应设置大小上限,并在在线任务繁忙时降低批次或暂停执行。如果某个推理框架提供预分配缓存预算,还要验证该预算与其他进程的峰值是否能共存。

运行时、模型版本或量化方式改变后,即使参数量相同,也应重新测试加载占用和执行峰值。

判断瓶颈:显存够用不等于容量够用

多任务共用A100 80GB可能先遇到显存瓶颈,也可能先遇到计算竞争。容量判断应结合业务指标,而不是只看GPU利用率。

观察到的现象优先检查容量决策方向
长请求或大批次出现显存不足KV增长、临时峰值、缓存预分配、碎片限长、减批次、减少执行重叠
显存仍有余量,但首字延迟明显变差预填充计算、任务争抢、队列等待调整调度或增加计算资源
高并发下生成速度下降解码吞吐、显存带宽、调度效率调整批处理、拆分服务
GPU利用率低,任务仍然很慢CPU预处理、存储读取、网络、数据供给补齐非GPU瓶颈
新版本发布时出现内存压力新旧模型是否同时驻留增加发布预算或调整切换方式

指标还应按任务拆开。在线生成服务关注首字延迟、每秒生成token数和完成时间;编码服务关注每秒处理条数和批次延迟;后台任务则关注能否在截止时间前完成。

香港服务器上的链路与本机瓶颈要分开

服务器部署在香港,不会改变模型权重或KV缓存的计算方式,但客户端到香港机房的链路可能改变端到端体验。

容量测试最好分别记录客户端总耗时、服务端排队时间和GPU执行时间。若GPU执行正常,而跨地域访问耗时上升,不应直接用增加显存解决。对于图片上传、数据集传输等负载,还应单独确认公网带宽、CPU预处理、主机内存及本地存储能力。

选用香港GPU服务器时,也要确认交付的是完整独占GPU、明确划分的实例,还是与其他任务共享的资源。不同交付范围下,可支配显存、计算资源和性能波动边界并不相同,不能只凭“A100 80GB”名称推断。

围绕多模型常驻与在线、离线任务共用GPU的部署场景,A5数据提供香港A100 80GB GPU服务器,搭配服务器CPU、内存和NVMe存储,为模型运行、请求预处理及批次数据读写提供硬件基础。香港GPU系列配有CN2线路,可衔接跨境业务的接口访问需求;另有香港AMD EPYC服务器与大容量存储产品,可承接业务后台、数据处理及模型文件归档,形成计算、网络与存储相配合的部署资源组合。

给余量分工,并选择合适的共享方式

安全余量不是统一固定的百分比。它应覆盖具体变化,而且不能替代对已知峰值的预算。

区分运行、增长和发布空间

运行余量用于吸收分配波动、短时峰值和碎片。可以先用总可用显存的约10%—20%作为压测起点,再根据结果调整;这只是初始参考,不是通用验收标准。

增长空间则应用于未来的请求率、长度和数据处理量。以此前18.5GiB的KV预算为例,若平均长度不变、实际驻留序列需求增长30%,缓存需求约变为24.05GiB:

42.2+24.05+6+10=82.25GiB。

原方案已不能维持同样的余量。若输出长度同时增长20%,应重新估算执行驻留时间和token总量,不能只加一个“流量增长30%”。

发布空间用于模型切换。旧实例未退出、新实例已加载时,可能产生额外权重和运行时占用。无法容纳双实例时,可以安排排空旧请求后切换,或使用其他GPU承接升级,但这会影响发布流程和服务连续性。

共享进程、独立进程与MIG的取舍

共享方式适用条件需要接受的取舍
同一推理服务承接多个业务使用同一模型,希望统一调度业务边界主要依靠应用层队列、限额和权限
多个独立进程共用整卡模型不同,预算可控,允许一定性能干扰权重和运行时可能重复,需协调峰值
MIG划分实例更重视资源隔离,单任务能放入对应实例按支持的固定规格划分,闲置显存不一定能灵活借用

MIG是否可用、支持哪些配置,应以交付设备、驱动和服务权限为准。大模型的权重与峰值装不进某个实例时,其他实例空闲也不能自动解决。

多进程调度机制可以改善执行共享,但不等同于MIG的资源隔离;即使使用进程级限制,也应验证其实际约束范围。对于需要独立交付边界的业务,不宜把普通共卡当作严格隔离方案。

成本比较也应落在业务单位上:在线推理看满足延迟目标的每请求成本,编码看每批数据成本,离线任务看满足截止时间的处理成本。把显存占满但增加排队、超时和发布风险,未必能降低有效成本。

用验收结果确定监控与扩容阈值

交付验收应同时确认资源范围和业务容量。可先用只读查询核对GPU型号、显存报告和MIG状态:

nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free --format=csv
nvidia-smi -L

查询到的空闲显存只是当时状态,不能代替峰值测试。验收测试至少覆盖正常业务组合、长请求组合、短时请求突发,以及在线服务与后台任务重叠。若生产需要新旧模型同时驻留,还应单独验证发布场景。

显存阈值按“剩余空间能承受什么”确定

定义:

所需保护空间=允许进入的下一批请求增量+尚未计入的临时峰值+测量误差与碎片缓冲。

当剩余显存低于所需保护空间时,调度层就应停止接纳对应工作量,而不是等到显存耗尽才处理。如果框架提前占满缓存池,则要监控池内剩余token容量、缓存占用率或驱逐行为,不能仅依赖设备显示的空闲显存。

容量表中已计入的峰值和余量不应在监控公式里再次累加。关键是确认:下一批任务进入后,是否仍能保留既定安全边界。

扩容阈值同时看内存、时限和增长

可以分别设置三类触发条件:

  • 显存触发:目标业务组合无法在保留安全余量的条件下运行,或必须持续拒绝合规的长请求。
  • 吞吐触发:显存尚有余量,但首字延迟、完成时间或队列等待持续超出业务目标。
  • 增长触发:预测需求将在资源交付周期内越过已验证容量,需要提前准备。

阈值应建立在持续窗口上,而不是由一次瞬时利用率触发。窗口长度可根据流量周期和业务容忍度确定,同时记录超标发生时的请求长度、执行并发和后台任务状态。

若已验证的安全吞吐为Q,需求峰值为q,预计每周期增长率为g,那么第n个周期的需求估算为q×(1+g)^n。应在预测需求接近安全吞吐边界、且仍来得及完成采购与迁移时启动扩容。

增加第二张卡也不会自动把所有软件中的显存变成一个连续空间。多任务场景可以把模型分别放到不同GPU;单模型需要跨卡时,则必须验证并行方式、通信开销和部署支持。最终容量表应明确记录模型版本、精度、长度分布、并发上限、缓存预算、峰值占用及延迟结果,后续每次增长或变更都按同一口径复核。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3099.html

相关推荐