A100 80GB做大模型推理,权重、KV Cache与并发的显存预算怎么算?

发布人:A5数据发布时间:2026-10-10 12:55阅读量:310

请求量从每天几千次增长到几万次,并不能直接推导出需要多少张A100。对大模型推理而言,显存预算首先取决于模型权重、同时驻留的上下文Token数量,以及推理框架在峰值批次下占用的运行空间。同样是单张A100 80GB,短问答、长文档分析和持续生成代码,对可承载并发的要求可能相差很大。

计算时,应先从实际可见显存中扣除权重、运行开销和安全余量,再用剩余空间计算KV Cache能容纳多少Token;随后用请求到达率、平均处理时间和输出Token量,检查算力是否支持这些并发。对于“香港服务器A100 80GB+64GB内存”的配置,还要单独验证主机内存是否足够完成模型加载、请求预处理和辅助服务运行,不能把64GB内存当成额外显存使用。

一、负载画像:把请求量换成同时在场的Token

容量规划需要回答的不是“有多少用户”,而是高峰时有多少请求正在处理、每个请求携带多少上下文,以及这些请求要生成多少内容。

请求类型决定显存增长方式

建议把实际请求按以下口径统计,而不是只记录一个平均请求长度。

负载变量建议记录的口径对容量的影响
输入长度输入Token的平均值、P95和上限影响Prefill耗时、瞬时计算量和KV占用
输出长度输出Token的平均值、P95和上限影响请求驻留时间及后续KV增长
活跃序列数同时进入推理调度的序列数量决定KV Cache需要同时服务多少上下文
到达率峰值持续窗口内的请求数/秒决定系统需要持续消化的工作量
请求类型短问答、长文档、多轮会话、代码生成等决定长度分布和批处理效果
增长变量请求量、上下文长度、输出长度的增长决定容量消耗增加的方向

这里的“并发”应明确为活跃推理序列数,不是网页在线人数、HTTP连接数或等待队列长度。一个请求若要求生成多个候选,也可能对应多条活跃序列。

多轮对话尤其需要关注:最新一条问题很短,不代表输入很短。如果每轮都携带完整历史,模型实际接收的Token会持续增加。知识库中的文档总量也不会全部进入显存,真正影响这次推理的是检索后拼接到提示词中的内容。

用请求率估算活跃并发

在负载相对稳定的窗口内,可以使用以下关系:

平均活跃并发 ≈ 每秒进入执行阶段的请求数 × 平均执行时间。

例如,规划场景中的持续到达率为0.8次/秒,平均执行时间为35秒,则:

平均活跃并发 ≈ 0.8 × 35 = 28

这里的35秒是从进入推理调度到完成生成的平均时间,不含外部等待队列时间。该结果只描述平均状态,不能覆盖瞬时突发,也不能直接当作并发上限。

若平均每次输出512 Token,则输出侧的需求为:

0.8次/秒 × 512 Token/次 = 409.6 Token/秒

这个数要与目标模型、精度和请求组合下的稳定生成吞吐比较。即使显存能放下28条序列,如果GPU无法持续提供相应吞吐,请求仍会排队。

此外,Prefill也要处理输入Token。长文档请求不能只按输出Token/秒判断容量,必须同时考察输入长度对首Token延迟和批次计算的影响。

二、资源变量:分别计算权重、KV Cache和运行空间

显存规划可拆成一个总式:

实际可用显存 ≥ 权重占用+KV Cache占用+峰值运行开销+安全余量。

二、资源变量:分别计算权重、KV Cache和运行空间配图

其中,“实际可用显存”应使用服务器交付后、目标进程可使用的容量,而不是直接把产品名称中的80GB代入。

本文计算统一使用GiB、MiB:1 GiB=1024 MiB=1,073,741,824字节。若配置明确采用十进制GB,则1 GB=1,000,000,000字节,80 GB约为74.51 GiB;但不能据此直接判断标称“A100 80GB”的工具可见容量,具体仍应以设备输出及分配边界为准。

权重预算:参数量乘以存储字节数

不考虑附加元数据时,权重的基础估算为:

权重字节数 ≈ 参数数量 × 每个参数的存储字节数。

FP16和BF16通常按2字节/参数估算,8位按1字节/参数,4位按0.5字节/参数。以下采用十进制参数量,仅表示理想权重存储量:

参数规模FP16/BF168位权重4位权重
8B约14.9 GiB约7.5 GiB约3.7 GiB
13B约24.2 GiB约12.1 GiB约6.1 GiB
32B约59.6 GiB约29.8 GiB约14.9 GiB
70B约130.4 GiB约65.2 GiB约32.6 GiB

实际加载量还可能包括量化尺度、分组信息、未量化的层、对齐填充和框架缓冲区。磁盘上的模型文件大小,也不一定等于加载后的显存占用。

因此,量化可以降低权重预算,但不能直接得出“4位模型的总显存是FP16的四分之一”。激活和KV Cache可能仍采用更高精度,量化推理内核也可能需要额外工作空间。

从选型角度看:

  • 8B、13B级模型的权重通常不会吃满单张80GB级GPU,剩余显存有机会支持较长上下文或更高并发。
  • 32B级FP16权重约59.6 GiB,扣除运行开销后,留给KV Cache的空间已经比较紧张。
  • 70B级FP16权重超过单张80GB级GPU的容量;采用4位权重后可以进一步评估单卡方案,但仍须验证KV、运行开销和加载路径。

这些是容量判断,不是具体服务器的性能承诺。

KV Cache预算:模型结构比参数量更关键

对于常见Transformer解码模型,在所有注意力层均保留完整上下文、K和V采用相同精度的情况下:

每Token的KV字节数=2 × 层数 × KV头数 × 每个头的维度 × 每个元素的字节数。

公式中的“2”分别对应Key和Value。采用GQA或MQA时,必须使用KV头数,不能把查询头数直接代入。

下面给出三个结构示例,KV均按FP16、每元素2字节计算;它们只用于说明结构差异,不代表某个参数规模必然采用该结构。

二、资源变量:分别计算权重、KV Cache和运行空间配图

结构示例层数KV头数头维度每Token KV单条8192 Token序列
8B级GQA示例328128128 KiB1 GiB
13B级MHA示例4040128800 KiB6.25 GiB
70B级GQA示例808128320 KiB2.5 GiB

以第一行为例:

2 × 32 × 8 × 128 × 2=131,072字节/Token

131,072 × 8192=1,073,741,824字节=1 GiB

这解释了为什么不能只按“8B、13B、70B”判断并发:参数量较小、但KV头数较多的模型,每条长上下文的KV占用可能更大。

对于不共享缓存的活跃序列:

KV总占用 ≈ 每Token KV字节数 × 所有活跃序列已缓存Token数之和。

当前占用看已经进入缓存的Token数;准入预算则还应考虑请求预计继续生成的Token。若只按当前输入计算,在多个请求同时生成长答案时,后续可能耗尽KV空间。

分页式KV管理会按块分配,尾部块可能没有填满。前缀缓存共享可以降低重复提示词的成本,但复用率会随请求内容变化,不宜把理想命中率作为硬性容量保证。滑动窗口、混合注意力或其他缓存结构,则应依据具体模型逐层计算。

运行开销:不能把权重以外的空间全部给KV

权重和KV之外,还需要为激活、临时张量、算子工作空间、CUDA上下文、执行图及内存分配器保留空间。

这部分不适合按一个固定百分比机械计算。它受到最大批次Token数、Prefill分块方式、内核实现和执行图配置等因素影响。长输入集中到达时,峰值运行开销可能高于短问答场景。

可先用数GiB到十余GiB作为预算观察区间,再用目标框架测量;如果并发上限、批次Token数或图捕获范围改变,应重新测试峰值。

能完成模型加载,不等于能稳定完成高峰推理。 容量验收至少需要经过加载、长输入Prefill、混合长度连续批处理和持续生成几个阶段。

64GB主机内存:重点检查加载与辅助服务

主机内存和GPU显存是两个独立预算。

若64GB明确采用十进制口径,其容量约为59.6 GiB;若实际交付为64 GiB,应按系统识别值记录。主机内存需要承担操作系统、模型加载器、分词与请求处理、框架进程,以及可能同机运行的检索或向量服务。

加载方式会显著改变峰值需求。已经预量化、可分片加载的模型,与先加载FP16权重再进行量化的模型,并不是同一种内存需求。例如,70B级FP16理想权重约130.4 GiB,如果加载路径需要在CPU内存中完整展开,64GB级主机内存就不适合这种方式。

二、资源变量:分别计算权重、KV Cache和运行空间配图

验收时应观察加载峰值、进程内存、可用内存和Swap活动。文件缓存通常可以回收,不应简单把它与进程内存重复相加;但持续换页、加载失败或主机OOM,都说明配置需要调整。

CPU卸载可以改变显存需求,却会增加主机内存及CPU与GPU之间的数据传输压力。它不应被理解为“64GB内存可以无损扩展显存”。

三、瓶颈判断:用一个完整预算区分“装得下”和“跑得动”

下面推演一个8B级模型的单卡容量。所有数值均为规划示例,实际采购应替换成目标模型和框架的数据。

从剩余显存推导KV容量

采用以下预算条件:

项目示例预算
进程可使用的设备显存79 GiB
模型加载后权重占用16 GiB
峰值运行开销8 GiB
安全余量8 GiB
留给KV Cache的空间47 GiB

计算关系为:

79-16-8-8=47 GiB

模型结构采用前述32层、8个KV头、128头维度,KV为FP16,因此每Token占128 KiB。

单条序列规划长度单条KV预算47 GiB对应的理论序列数上限
4096 Token0.5 GiB94
8192 Token1 GiB47
32768 Token4 GiB11

这里的长度是输入加计划输出的总长度,并且必须处于模型和框架支持的上下文范围内。序列数上限向下取整,未进一步扣除尾块浪费或额外缓存结构。

这张表只能回答显存是否可能容纳,不能回答每条请求的速度。94条短序列即使可以驻留,也可能因计算或显存带宽竞争,导致单请求生成速度下降。

对于混合长度业务,可以分别计算:20条4096 Token序列占10 GiB,4条32768 Token序列占16 GiB,总KV为26 GiB。相比把24条序列全部按最长上下文预留,这更接近真实分布,但需要准入控制防止长请求比例突然上升。

显存、计算与主机瓶颈要分别判断

观察现象重点检查对应调整方向
KV可用块不足、调度频繁抢占或请求等待活跃Token数、上下文上限、缓存复用降低长请求占比、调整KV精度或增加实例
显存仍有余量,但生成速度明显下降Decode吞吐、活跃序列数、调度参数调整批处理,或增加GPU计算资源
长请求到达后首Token延迟上升Prefill时长、输入Token量、批次限制分块Prefill、长短请求隔离或增加实例
GPU利用不充分,CPU持续繁忙分词、检索、请求处理及CPU配额增加CPU资源或拆分辅助服务
模型启动失败、主机持续换页加载路径、主机内存峰值增加内存或改用匹配的加载方式

GPU利用率不能单独作为扩容依据。利用率较高但延迟达标,可能是资源使用合理;利用率较低却排队,也可能是CPU预处理或调度限制导致的。

四、容量余量:把增长放进预算,而不是只留一个百分比

增长至少分为请求数增长、上下文增长和输出增长,三者会消耗不同资源。

仍以前面的负载为例,到达率为0.8次/秒,平均执行时间35秒,平均活跃并发约28。若请求率增长25%,而请求结构和执行时间暂时不变,则:

增长后到达率=0.8 × 1.25=1次/秒

平均活跃并发=1 × 35=35

平均输出需求=1 × 512=512 Token/秒

按每条8192 Token、1 GiB KV的预算,35条序列需要35 GiB,仍低于示例中的47 GiB。然而,这只说明显存预算尚可,512 Token/秒的输出需求是否可持续,还必须通过测试确认。

更重要的是,执行时间不一定保持35秒。接近吞吐瓶颈后,请求变慢会增加活跃序列数,进一步加重资源压力,因此不能把上述线性结果无限外推。

如果请求率不变,但总上下文从8192增长到16384 Token,每条KV预算就从1 GiB变成2 GiB,28条序列需要56 GiB,已超过47 GiB。对长文档业务来说,输入长度增长可能比用户数增长更早触发扩容。

余量应分成三类

  • 显存余量:覆盖运行峰值、分配误差和缓存波动,不能全部作为可售并发。
  • 吞吐余量:覆盖突发到达、长度变化和延迟目标,避免长期运行在吞吐拐点附近。
  • 业务增长余量:为预计增长和新请求类型预留,需同时计算显存与处理能力。

候选配置也应按模型分别判断。8B或13B方案适合先评估单卡实例及副本扩展;32B FP16方案需要重点确认KV剩余空间;70B量化方案除了显存,还应重点核对64GB主机内存的加载可行性。

若一个请求本身无法放入单卡,应评估模型并行、多卡拓扑或调整模型与精度;若单请求可以放入、只是请求量增加,通常先评估增加独立实例。不同模型副本会重复占用权重,不能把全部新增显存都视为KV容量。

围绕大模型推理的算力与部署需求,A5数据提供香港和美国GPU服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、主机内存与NVMe存储,为模型权重加载、推理计算及数据读写提供硬件基础。香港GPU系列配有CN2线路,美国GPU系列提供回国直连或国际带宽方案,可承接面向不同访问地区的对话接口、知识库问答与模型测试业务。

香港服务器的选型与交付验收

面向A5IDC咨询香港GPU服务器时,建议把“模型+负载+延迟目标”一起提交,而不是只提供“A100 80GB+64GB内存”。

交付前后重点核对:

  • GPU是否为完整设备,是否存在分区或共享限制;目标进程实际可见显存是多少。
  • A100具体形态及资源限制是否匹配;需要多卡时,设备互联和框架并行方式是否适配。
  • CPU型号、分配核数和主机内存,是否能支持模型加载、分词及同机辅助服务。
  • 磁盘是否能容纳当前模型、候选版本和必要缓存,加载时间是否满足维护窗口。
  • 模型格式、量化方式、KV精度、上下文上限和推理框架版本是否一致。

香港部署还应单独验证目标访问地区的端到端延迟、首Token时间和流式输出稳定性。机房位置与网络表现会影响用户等待体验,但不会改变权重和KV的计算公式。

验收应使用有代表性的输入、输出长度分布,并包含长短请求混合和突发场景。只测试一次短提示词,无法证明生产容量。

五、扩容触发点:以压测拐点和增长预测确定阈值

监控首先要区分“显存已经分配”与“KV已经用完”。一些框架启动时就预留较大的缓存池,此时GPU显存使用率可能长期较高;更有判断价值的是KV池使用率、剩余可分配块、活跃Token数和调度抢占情况。

建议同时保留四组指标:

指标组核心指标用途
显存与缓存显存峰值、KV池使用率、剩余块、抢占次数判断是否接近容量边界
推理性能Prefill时长、首Token延迟、每Token耗时、吞吐判断计算与延迟瓶颈
请求压力到达率、活跃序列数、队列长度、长度分布判断负载变化来源
主机资源可用内存、加载峰值、Swap、CPU与磁盘状态判断64GB配置是否匹配

阈值可以按以下步骤确定:

五、扩容触发点:以压测拐点和增长预测确定阈值配图

  1. 定义服务目标。 明确短请求和长请求允许的首Token延迟、完成时间、排队时间及错误率。
  2. 逐级增加负载。 固定模型与配置,观察不同请求组合下延迟开始明显上升、队列无法回落或KV抢占增加的位置。
  3. 在拐点前设置运行上限。 不使用单次峰值吞吐作为长期承载能力,给输入长度波动和突发保留空间。
  4. 设置分级触发条件。 例如,测试表明某负载下KV池超过85%后抢占增加,可先在70%至75%持续占用时预警,在接近风险区间且队列持续增长时启动扩容;这些比例应由本机测试调整。
  5. 纳入交付提前量。 用近期增长趋势预测何时触及运行上限,并把采购、模型加载和验收时间算进去。

如果显存接近预算,但吞吐仍有余量,优先检查上下文限制、KV精度与长请求分流;如果显存宽裕而吞吐已经到达延迟拐点,继续缩小权重未必有效,应评估增加实例;如果问题发生在启动加载或CPU处理阶段,则应先调整主机内存、CPU或辅助服务布局。

最终应形成三个可持续更新的容量数字:允许驻留的Token预算、延迟达标时的稳定吞吐、带增长余量的准入上限。用它们共同决定扩容时机,才能把A100 80GB从一个硬件规格,转化为可执行的大模型推理容量计划。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3052.html

相关推荐