A100 80GB做大模型推理,权重、KV Cache与并发的显存预算怎么算?
请求量从每天几千次增长到几万次,并不能直接推导出需要多少张A100。对大模型推理而言,显存预算首先取决于模型权重、同时驻留的上下文Token数量,以及推理框架在峰值批次下占用的运行空间。同样是单张A100 80GB,短问答、长文档分析和持续生成代码,对可承载并发的要求可能相差很大。
计算时,应先从实际可见显存中扣除权重、运行开销和安全余量,再用剩余空间计算KV Cache能容纳多少Token;随后用请求到达率、平均处理时间和输出Token量,检查算力是否支持这些并发。对于“香港服务器A100 80GB+64GB内存”的配置,还要单独验证主机内存是否足够完成模型加载、请求预处理和辅助服务运行,不能把64GB内存当成额外显存使用。
一、负载画像:把请求量换成同时在场的Token
容量规划需要回答的不是“有多少用户”,而是高峰时有多少请求正在处理、每个请求携带多少上下文,以及这些请求要生成多少内容。
请求类型决定显存增长方式
建议把实际请求按以下口径统计,而不是只记录一个平均请求长度。
| 负载变量 | 建议记录的口径 | 对容量的影响 |
|---|---|---|
| 输入长度 | 输入Token的平均值、P95和上限 | 影响Prefill耗时、瞬时计算量和KV占用 |
| 输出长度 | 输出Token的平均值、P95和上限 | 影响请求驻留时间及后续KV增长 |
| 活跃序列数 | 同时进入推理调度的序列数量 | 决定KV Cache需要同时服务多少上下文 |
| 到达率 | 峰值持续窗口内的请求数/秒 | 决定系统需要持续消化的工作量 |
| 请求类型 | 短问答、长文档、多轮会话、代码生成等 | 决定长度分布和批处理效果 |
| 增长变量 | 请求量、上下文长度、输出长度的增长 | 决定容量消耗增加的方向 |
这里的“并发”应明确为活跃推理序列数,不是网页在线人数、HTTP连接数或等待队列长度。一个请求若要求生成多个候选,也可能对应多条活跃序列。
多轮对话尤其需要关注:最新一条问题很短,不代表输入很短。如果每轮都携带完整历史,模型实际接收的Token会持续增加。知识库中的文档总量也不会全部进入显存,真正影响这次推理的是检索后拼接到提示词中的内容。
用请求率估算活跃并发
在负载相对稳定的窗口内,可以使用以下关系:
平均活跃并发 ≈ 每秒进入执行阶段的请求数 × 平均执行时间。
例如,规划场景中的持续到达率为0.8次/秒,平均执行时间为35秒,则:
平均活跃并发 ≈ 0.8 × 35 = 28
这里的35秒是从进入推理调度到完成生成的平均时间,不含外部等待队列时间。该结果只描述平均状态,不能覆盖瞬时突发,也不能直接当作并发上限。
若平均每次输出512 Token,则输出侧的需求为:
0.8次/秒 × 512 Token/次 = 409.6 Token/秒
这个数要与目标模型、精度和请求组合下的稳定生成吞吐比较。即使显存能放下28条序列,如果GPU无法持续提供相应吞吐,请求仍会排队。
此外,Prefill也要处理输入Token。长文档请求不能只按输出Token/秒判断容量,必须同时考察输入长度对首Token延迟和批次计算的影响。
二、资源变量:分别计算权重、KV Cache和运行空间
显存规划可拆成一个总式:
实际可用显存 ≥ 权重占用+KV Cache占用+峰值运行开销+安全余量。

其中,“实际可用显存”应使用服务器交付后、目标进程可使用的容量,而不是直接把产品名称中的80GB代入。
本文计算统一使用GiB、MiB:1 GiB=1024 MiB=1,073,741,824字节。若配置明确采用十进制GB,则1 GB=1,000,000,000字节,80 GB约为74.51 GiB;但不能据此直接判断标称“A100 80GB”的工具可见容量,具体仍应以设备输出及分配边界为准。
权重预算:参数量乘以存储字节数
不考虑附加元数据时,权重的基础估算为:
权重字节数 ≈ 参数数量 × 每个参数的存储字节数。
FP16和BF16通常按2字节/参数估算,8位按1字节/参数,4位按0.5字节/参数。以下采用十进制参数量,仅表示理想权重存储量:
| 参数规模 | FP16/BF16 | 8位权重 | 4位权重 |
|---|---|---|---|
| 8B | 约14.9 GiB | 约7.5 GiB | 约3.7 GiB |
| 13B | 约24.2 GiB | 约12.1 GiB | 约6.1 GiB |
| 32B | 约59.6 GiB | 约29.8 GiB | 约14.9 GiB |
| 70B | 约130.4 GiB | 约65.2 GiB | 约32.6 GiB |
实际加载量还可能包括量化尺度、分组信息、未量化的层、对齐填充和框架缓冲区。磁盘上的模型文件大小,也不一定等于加载后的显存占用。
因此,量化可以降低权重预算,但不能直接得出“4位模型的总显存是FP16的四分之一”。激活和KV Cache可能仍采用更高精度,量化推理内核也可能需要额外工作空间。
从选型角度看:
- 8B、13B级模型的权重通常不会吃满单张80GB级GPU,剩余显存有机会支持较长上下文或更高并发。
- 32B级FP16权重约59.6 GiB,扣除运行开销后,留给KV Cache的空间已经比较紧张。
- 70B级FP16权重超过单张80GB级GPU的容量;采用4位权重后可以进一步评估单卡方案,但仍须验证KV、运行开销和加载路径。
这些是容量判断,不是具体服务器的性能承诺。
KV Cache预算:模型结构比参数量更关键
对于常见Transformer解码模型,在所有注意力层均保留完整上下文、K和V采用相同精度的情况下:
每Token的KV字节数=2 × 层数 × KV头数 × 每个头的维度 × 每个元素的字节数。
公式中的“2”分别对应Key和Value。采用GQA或MQA时,必须使用KV头数,不能把查询头数直接代入。
下面给出三个结构示例,KV均按FP16、每元素2字节计算;它们只用于说明结构差异,不代表某个参数规模必然采用该结构。

| 结构示例 | 层数 | KV头数 | 头维度 | 每Token KV | 单条8192 Token序列 |
|---|---|---|---|---|---|
| 8B级GQA示例 | 32 | 8 | 128 | 128 KiB | 1 GiB |
| 13B级MHA示例 | 40 | 40 | 128 | 800 KiB | 6.25 GiB |
| 70B级GQA示例 | 80 | 8 | 128 | 320 KiB | 2.5 GiB |
以第一行为例:
2 × 32 × 8 × 128 × 2=131,072字节/Token
131,072 × 8192=1,073,741,824字节=1 GiB
这解释了为什么不能只按“8B、13B、70B”判断并发:参数量较小、但KV头数较多的模型,每条长上下文的KV占用可能更大。
对于不共享缓存的活跃序列:
KV总占用 ≈ 每Token KV字节数 × 所有活跃序列已缓存Token数之和。
当前占用看已经进入缓存的Token数;准入预算则还应考虑请求预计继续生成的Token。若只按当前输入计算,在多个请求同时生成长答案时,后续可能耗尽KV空间。
分页式KV管理会按块分配,尾部块可能没有填满。前缀缓存共享可以降低重复提示词的成本,但复用率会随请求内容变化,不宜把理想命中率作为硬性容量保证。滑动窗口、混合注意力或其他缓存结构,则应依据具体模型逐层计算。
运行开销:不能把权重以外的空间全部给KV
权重和KV之外,还需要为激活、临时张量、算子工作空间、CUDA上下文、执行图及内存分配器保留空间。
这部分不适合按一个固定百分比机械计算。它受到最大批次Token数、Prefill分块方式、内核实现和执行图配置等因素影响。长输入集中到达时,峰值运行开销可能高于短问答场景。
可先用数GiB到十余GiB作为预算观察区间,再用目标框架测量;如果并发上限、批次Token数或图捕获范围改变,应重新测试峰值。
能完成模型加载,不等于能稳定完成高峰推理。 容量验收至少需要经过加载、长输入Prefill、混合长度连续批处理和持续生成几个阶段。
64GB主机内存:重点检查加载与辅助服务
主机内存和GPU显存是两个独立预算。
若64GB明确采用十进制口径,其容量约为59.6 GiB;若实际交付为64 GiB,应按系统识别值记录。主机内存需要承担操作系统、模型加载器、分词与请求处理、框架进程,以及可能同机运行的检索或向量服务。
加载方式会显著改变峰值需求。已经预量化、可分片加载的模型,与先加载FP16权重再进行量化的模型,并不是同一种内存需求。例如,70B级FP16理想权重约130.4 GiB,如果加载路径需要在CPU内存中完整展开,64GB级主机内存就不适合这种方式。

验收时应观察加载峰值、进程内存、可用内存和Swap活动。文件缓存通常可以回收,不应简单把它与进程内存重复相加;但持续换页、加载失败或主机OOM,都说明配置需要调整。
CPU卸载可以改变显存需求,却会增加主机内存及CPU与GPU之间的数据传输压力。它不应被理解为“64GB内存可以无损扩展显存”。
三、瓶颈判断:用一个完整预算区分“装得下”和“跑得动”
下面推演一个8B级模型的单卡容量。所有数值均为规划示例,实际采购应替换成目标模型和框架的数据。
从剩余显存推导KV容量
采用以下预算条件:
| 项目 | 示例预算 |
|---|---|
| 进程可使用的设备显存 | 79 GiB |
| 模型加载后权重占用 | 16 GiB |
| 峰值运行开销 | 8 GiB |
| 安全余量 | 8 GiB |
| 留给KV Cache的空间 | 47 GiB |
计算关系为:
79-16-8-8=47 GiB
模型结构采用前述32层、8个KV头、128头维度,KV为FP16,因此每Token占128 KiB。
| 单条序列规划长度 | 单条KV预算 | 47 GiB对应的理论序列数上限 |
|---|---|---|
| 4096 Token | 0.5 GiB | 94 |
| 8192 Token | 1 GiB | 47 |
| 32768 Token | 4 GiB | 11 |
这里的长度是输入加计划输出的总长度,并且必须处于模型和框架支持的上下文范围内。序列数上限向下取整,未进一步扣除尾块浪费或额外缓存结构。
这张表只能回答显存是否可能容纳,不能回答每条请求的速度。94条短序列即使可以驻留,也可能因计算或显存带宽竞争,导致单请求生成速度下降。
对于混合长度业务,可以分别计算:20条4096 Token序列占10 GiB,4条32768 Token序列占16 GiB,总KV为26 GiB。相比把24条序列全部按最长上下文预留,这更接近真实分布,但需要准入控制防止长请求比例突然上升。
显存、计算与主机瓶颈要分别判断
| 观察现象 | 重点检查 | 对应调整方向 |
|---|---|---|
| KV可用块不足、调度频繁抢占或请求等待 | 活跃Token数、上下文上限、缓存复用 | 降低长请求占比、调整KV精度或增加实例 |
| 显存仍有余量,但生成速度明显下降 | Decode吞吐、活跃序列数、调度参数 | 调整批处理,或增加GPU计算资源 |
| 长请求到达后首Token延迟上升 | Prefill时长、输入Token量、批次限制 | 分块Prefill、长短请求隔离或增加实例 |
| GPU利用不充分,CPU持续繁忙 | 分词、检索、请求处理及CPU配额 | 增加CPU资源或拆分辅助服务 |
| 模型启动失败、主机持续换页 | 加载路径、主机内存峰值 | 增加内存或改用匹配的加载方式 |
GPU利用率不能单独作为扩容依据。利用率较高但延迟达标,可能是资源使用合理;利用率较低却排队,也可能是CPU预处理或调度限制导致的。
四、容量余量:把增长放进预算,而不是只留一个百分比
增长至少分为请求数增长、上下文增长和输出增长,三者会消耗不同资源。
仍以前面的负载为例,到达率为0.8次/秒,平均执行时间35秒,平均活跃并发约28。若请求率增长25%,而请求结构和执行时间暂时不变,则:
增长后到达率=0.8 × 1.25=1次/秒
平均活跃并发=1 × 35=35
平均输出需求=1 × 512=512 Token/秒
按每条8192 Token、1 GiB KV的预算,35条序列需要35 GiB,仍低于示例中的47 GiB。然而,这只说明显存预算尚可,512 Token/秒的输出需求是否可持续,还必须通过测试确认。
更重要的是,执行时间不一定保持35秒。接近吞吐瓶颈后,请求变慢会增加活跃序列数,进一步加重资源压力,因此不能把上述线性结果无限外推。
如果请求率不变,但总上下文从8192增长到16384 Token,每条KV预算就从1 GiB变成2 GiB,28条序列需要56 GiB,已超过47 GiB。对长文档业务来说,输入长度增长可能比用户数增长更早触发扩容。
余量应分成三类
- 显存余量:覆盖运行峰值、分配误差和缓存波动,不能全部作为可售并发。
- 吞吐余量:覆盖突发到达、长度变化和延迟目标,避免长期运行在吞吐拐点附近。
- 业务增长余量:为预计增长和新请求类型预留,需同时计算显存与处理能力。
候选配置也应按模型分别判断。8B或13B方案适合先评估单卡实例及副本扩展;32B FP16方案需要重点确认KV剩余空间;70B量化方案除了显存,还应重点核对64GB主机内存的加载可行性。
若一个请求本身无法放入单卡,应评估模型并行、多卡拓扑或调整模型与精度;若单请求可以放入、只是请求量增加,通常先评估增加独立实例。不同模型副本会重复占用权重,不能把全部新增显存都视为KV容量。
围绕大模型推理的算力与部署需求,A5数据提供香港和美国GPU服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、主机内存与NVMe存储,为模型权重加载、推理计算及数据读写提供硬件基础。香港GPU系列配有CN2线路,美国GPU系列提供回国直连或国际带宽方案,可承接面向不同访问地区的对话接口、知识库问答与模型测试业务。
香港服务器的选型与交付验收
面向A5IDC咨询香港GPU服务器时,建议把“模型+负载+延迟目标”一起提交,而不是只提供“A100 80GB+64GB内存”。
交付前后重点核对:
- GPU是否为完整设备,是否存在分区或共享限制;目标进程实际可见显存是多少。
- A100具体形态及资源限制是否匹配;需要多卡时,设备互联和框架并行方式是否适配。
- CPU型号、分配核数和主机内存,是否能支持模型加载、分词及同机辅助服务。
- 磁盘是否能容纳当前模型、候选版本和必要缓存,加载时间是否满足维护窗口。
- 模型格式、量化方式、KV精度、上下文上限和推理框架版本是否一致。
香港部署还应单独验证目标访问地区的端到端延迟、首Token时间和流式输出稳定性。机房位置与网络表现会影响用户等待体验,但不会改变权重和KV的计算公式。
验收应使用有代表性的输入、输出长度分布,并包含长短请求混合和突发场景。只测试一次短提示词,无法证明生产容量。
五、扩容触发点:以压测拐点和增长预测确定阈值
监控首先要区分“显存已经分配”与“KV已经用完”。一些框架启动时就预留较大的缓存池,此时GPU显存使用率可能长期较高;更有判断价值的是KV池使用率、剩余可分配块、活跃Token数和调度抢占情况。
建议同时保留四组指标:
| 指标组 | 核心指标 | 用途 |
|---|---|---|
| 显存与缓存 | 显存峰值、KV池使用率、剩余块、抢占次数 | 判断是否接近容量边界 |
| 推理性能 | Prefill时长、首Token延迟、每Token耗时、吞吐 | 判断计算与延迟瓶颈 |
| 请求压力 | 到达率、活跃序列数、队列长度、长度分布 | 判断负载变化来源 |
| 主机资源 | 可用内存、加载峰值、Swap、CPU与磁盘状态 | 判断64GB配置是否匹配 |
阈值可以按以下步骤确定:

- 定义服务目标。 明确短请求和长请求允许的首Token延迟、完成时间、排队时间及错误率。
- 逐级增加负载。 固定模型与配置,观察不同请求组合下延迟开始明显上升、队列无法回落或KV抢占增加的位置。
- 在拐点前设置运行上限。 不使用单次峰值吞吐作为长期承载能力,给输入长度波动和突发保留空间。
- 设置分级触发条件。 例如,测试表明某负载下KV池超过85%后抢占增加,可先在70%至75%持续占用时预警,在接近风险区间且队列持续增长时启动扩容;这些比例应由本机测试调整。
- 纳入交付提前量。 用近期增长趋势预测何时触及运行上限,并把采购、模型加载和验收时间算进去。
如果显存接近预算,但吞吐仍有余量,优先检查上下文限制、KV精度与长请求分流;如果显存宽裕而吞吐已经到达延迟拐点,继续缩小权重未必有效,应评估增加实例;如果问题发生在启动加载或CPU处理阶段,则应先调整主机内存、CPU或辅助服务布局。
最终应形成三个可持续更新的容量数字:允许驻留的Token预算、延迟达标时的稳定吞吐、带增长余量的准入上限。用它们共同决定扩容时机,才能把A100 80GB从一个硬件规格,转化为可执行的大模型推理容量计划。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3052.html


