GPU服务器运行vLLM推理,如何按上下文长度估算显存需求?

发布人:A5数据发布时间:2026-10-12 10:35阅读量:222

业务请求量不变,GPU显存需求也可能持续增长:知识库检索返回的内容更长、多轮对话保留更多历史、单次输出上限提高,都会增加vLLM运行期间保存的Token数量。估算GPU服务器显存,不能只看模型参数量或“支持多少K上下文”,而要同时计算模型权重、运行时开销,以及所有活跃请求占用的KV Cache。

对于常见的Transformer模型,可以先按“每Token的KV Cache字节数 × 同时驻留的Token总数”估算动态显存,再加上权重和其他运行开销。上下文长度决定单个请求可能占用多少缓存,并发决定有多少份缓存同时存在;最终承载量还要通过压测确认,因为显存装得下,不代表吞吐和响应时间也能达标。

一、先把业务负载换算成驻留Token

上下文长度不是单独的输入长度

推理容量规划中的上下文,通常包含当前请求的输入和已经生成的输出:

单请求当前驻留Token数 ≈ 输入Token数 + 已生成输出Token数。

输入不仅是用户问题,还包括系统提示词、对话历史、检索文档和工具返回内容。中文字符数、文件大小或英文单词数不能直接替代Token数,应使用目标模型对应的Tokenizer统计。

例如,一次请求输入为6,000 Token,最多生成2,000 Token,容量上限评估应按8,000 Token计算,而不是只算输入。实际运行时,请求在生成初期的缓存占用通常低于结束前,因此必须区分两个口径:

  • 当前占用估算:根据正在执行的请求已经驻留多少Token,解释当前资源状态。
  • 峰值需求估算:根据输入长度与输出上限,判断这些请求持续生成后是否仍能容纳。

只使用第一个口径,可能出现“开始时都能接入,生成到后半段却发生缓存压力”的情况。

用长度分布描述请求,而不是只看平均值

建议先整理以下负载变量:

负载变量需要记录的内容对容量判断的影响
输入长度平均值、P95、P99、允许上限决定预填充工作量和初始KV占用
输出长度实际分布、输出上限决定缓存增长和请求持续时间
到达率平稳与峰值请求数/秒决定同时执行与排队规模
请求类型短问答、长文档、多轮对话等占比决定长短请求混合后的资源压力
响应目标首Token延迟、生成速度、总完成时间决定可接受的调度与并发范围
增长变量请求量、输入长度、输出长度的变化决定未来容量余量

长请求虽然数量少,却可能占用大部分KV Cache。举一个用于计算的峰值快照:18个请求按2,048 Token预算,9个按8,192 Token预算,3个按32,768 Token预算。

总需求为:

18 × 2,048 + 9 × 8,192 + 3 × 32,768
= 208,896 Token

其中3个长请求贡献了98,304 Token,占总量约47%。因此,“30并发”并不是完整的容量描述,必须附带长度结构。

到达率需要结合请求持续时间

在负载稳定、没有持续积压的条件下,可以近似使用:

平均执行并发 ≈ 每秒进入执行的请求数 × 平均执行时间。

例如,每秒进入执行2个请求,平均执行时间12秒,对应约24个同时执行的请求。若请求量增长30%,且执行时间不变,平均执行并发约为31.2个,规划时可按约32个考虑。

这里的执行时间不包含等待执行的排队时间。若用端到端响应时间计算,得到的是系统内请求数,包括等待中的请求,不应全部算作GPU上的活跃KV需求。

这一关系也说明,长输出会产生双重影响:既增加单请求KV占用,又延长请求驻留时间,从而抬高活跃并发。

二、把显存拆成权重、运行开销和KV Cache

先确定KV Cache真正可用的预算

可以把单张GPU的显存需求拆成:

总显存需求 ≈ 模型权重 + 非KV运行开销 + KV Cache + 预留空间。

模型权重可先粗算为:

权重字节数 ≈ 参数量 × 每参数存储字节数。

BF16或FP16权重通常按每参数2字节估算。量化模型还包含缩放因子、分组信息、未量化层和可能的格式转换开销,不能简单认定4 bit模型加载后一定等于原始FP16权重的四分之一。

本文统一采用二进制容量口径:

  • 1 KiB = 1,024字节。
  • 1 MiB = 1,024 KiB。
  • 1 GiB = 1,024 MiB。

一个80亿参数模型,按每参数2字节计算:

8,000,000,000 × 2 ÷ 1,073,741,824
≈ 14.90 GiB

非KV运行开销则包括中间激活、算子工作空间、通信缓冲区、CUDA Graph相关占用等。这部分与模型、并行方式、执行后端、批处理设置及vLLM版本有关,应以目标环境的加载和预热结果校准,不能固定套用一个通用数字。

gpu_memory_utilization是vLLM实例使用GPU显存的预算比例,不是GPU计算利用率,也不是KV Cache占用率。单卡场景下,可先采用:

KV预算 ≈ GPU总显存 × 显存预算比例 − 权重占用 − 非KV开销。

如果同卡还有其他进程,或显式设置了KV缓存容量,预算口径需要相应调整。不要把同一张卡的完整显存重复分配给多个服务。

常见Transformer的每Token KV公式

对于使用常规K、V缓存,且各层注意力结构一致的模型:

每Token KV字节数 = 2 × 层数 × KV头数 × 每个头的维度 × KV元素字节数。

其中:

  • 系数2表示分别保存K和V。
  • 层数对应保存缓存的注意力层。
  • KV头数应使用模型配置中的KV头数量,不能直接拿查询头数量替代。
  • 每个头的维度通常可从配置读取,或根据模型结构确定。
  • KV元素字节数取决于缓存数据类型,而不是权重数据类型。

GQA模型的KV头通常少于查询头,缓存需求因此可能明显降低。两个参数量相近的模型,KV Cache成本也可能差异很大。

GQA模型的KV头通常少于查询头,缓存需求因此可能明显降低示意图

下面给出一个明确参数的计算示例:

参数示例值
模型参数量80亿
注意力层数32
KV头数8
每头维度128
权重存储BF16,按2字节/参数估算
KV Cache存储BF16,2字节/元素

每Token KV需求为:

2 × 32 × 8 × 128 × 2
= 131,072字节
= 128 KiB

对应单请求缓存需求如下:

请求驻留Token数KV Cache估算
2,048256 MiB
4,096512 MiB
8,1921 GiB
16,3842 GiB
32,7684 GiB

这些结果只适用于上述参数与缓存类型。采用滑动窗口、局部注意力、混合注意力、MLA或其他特殊缓存结构时,需要按实际缓存布局计算,不能直接套用这张表。多模态模型还可能包含额外编码器和中间表示开销。

从单请求成本推到并发上限

继续使用上述模型,设单卡可见显存为48 GiB,vLLM显存预算比例为0.90,非KV运行开销暂按4 GiB估算:

vLLM显存预算 = 48 × 0.90 = 43.20 GiB
KV预算 ≈ 43.20 − 14.90 − 4.00 = 24.30 GiB

为便于推演,向下取24 GiB作为候选KV容量:

24 GiB ÷ 128 KiB/Token
= 196,608 Token

按所有请求都达到预算长度计算:

单请求预算长度单请求KV需求理论同时容纳数量保留25% KV余量后的数量
4,096 Token0.5 GiB4836
8,192 Token1 GiB2418
16,384 Token2 GiB129
32,768 Token4 GiB64

最后一列使用18 GiB,即24 GiB的75%,再向下取整。

这张表表达的是KV容量边界,不是吞吐保证。它没有证明36个4K请求能够满足首Token延迟目标,也没有证明所有请求都能维持期望的生成速度。

前面30个请求的混合峰值需要208,896 Token,在本示例中对应25.5 GiB KV,已经超过24 GiB候选容量。虽然30小于短请求场景的48,但长度结构不同,结果也不同。

PagedAttention仍有分配粒度

vLLM按块管理KV Cache,估算时应考虑块大小带来的向上取整。若采用每块B个Token的分配粒度,单请求可粗算为:

分配Token槽位 = 向上取整(驻留Token数 ÷ B)× B。

这意味着大量很短的请求可能产生更明显的块内未使用空间。块大小应从实际后端和配置确认。

前缀缓存能够在具备可复用前缀时减少重复工作,部分共享机制也可能减少重复缓存占用,但命中率取决于请求内容与流量分布。首次冷启动或前缀变化较大时,不应默认获得相同收益。持续容量预算宜先采用不依赖高命中率的保守口径,再用压测结果修正。

三、判断瓶颈:装得下、跑得快和及时返回是三件事

KV容量紧张不一定表现为显存数字继续上涨

vLLM通常会按预算建立KV缓存池。因此,nvidia-smi中的显存占用可能长期保持高位,即使实际活跃请求不多。

判断容量压力,应同时观察活跃请求、等待队列、KV块使用率、抢占或重计算事件,以及请求延迟。仅凭“显存已使用90%”无法认定服务接近满载。

当活跃请求的Token总量逐步逼近可用缓存时,具体版本和配置下可能发生等待、抢占或重计算。即使进程没有直接显存溢出,请求完成时间也可能明显恶化。

预填充和解码需要分开测试

长输入主要增加预填充工作量,而长输出会让请求持续进入解码阶段。两者对服务的影响不同:

  • 长输入集中到达,可能拉高首Token延迟,并干扰已有请求的生成节奏。
  • 活跃解码请求增多,可能增加总输出吞吐,但单请求每Token延迟也可能上升。
  • 缓存仍有余量时,也可能先遇到计算、显存带宽或调度瓶颈。

几个关键指标应分别统计:

指标主要反映的问题
首Token延迟(TTFT)排队、预填充和调度等待
每输出Token延迟(TPOT)解码阶段的生成节奏
单请求完成时间用户完整等待体验
输入Token吞吐长输入处理能力
输出Token吞吐生成能力与批处理效率
达标完成请求数/秒满足服务目标的有效容量

输入和输出Token吞吐不能混为一个数字解释。长输入请求可能贡献很高的总Token吞吐,却仍让交互响应变慢。容量规划更应关注满足延迟目标的有效吞吐,而不是单纯追求吞吐峰值。

用阶梯压测找出先触达的边界

建议在相同模型、相同量化与服务配置下,建立三组负载:短输入短输出、长输入短输出,以及包含长输出的业务混合负载。

缓存压力、TTFT超标、TPOT超标、等待队列无法回落,并汇聚到“确定当前容量边界”

  1. 从低负载开始。 完成预热,记录无明显排队时的TTFT、TPOT、完成时间和缓存占用,建立基线。
  2. 逐级提高并发或到达率。 并发控制测试适合观察批处理行为;固定到达率测试更适合暴露持续积压。只使用固定并发闭环测试,可能因请求变慢而自动降低发送速率。
  3. 让请求充分执行。 每一级应覆盖足够长的生成过程,避免只测预填充结束时的低缓存状态。
  4. 加入长请求集中到达。 检查混合负载下短请求是否被影响,并测试冷缓存与可复用前缀场景。
  5. 记录第一个失效点。 判断是缓存压力、TTFT超标、TPOT超标,还是等待队列无法回落。

max_model_len控制单请求允许的上下文上限;max_num_seqs限制同时调度的序列数量;max_num_batched_tokens影响单次调度的Token预算。它们不是同一种容量参数。

调高序列数不会创造更多KV空间,调高批处理Token预算也不一定改善交互延迟。参数名称、约束和统计指标可能随vLLM版本及执行后端变化,压测前应核对实际运行版本。

四、给容量留余量,而不是把理论上限当上线配置

多卡规划要按每个GPU分别计算

张量并行能够拆分权重,KV Cache在满足模型和实现条件时也可随KV头分布到不同GPU。每个GPU上的缓存成本可写成:

每Token本地KV字节数 = 2 × 本地注意力层数 × 本地KV头数 × 每头维度 × KV元素字节数。

但不能直接把单卡并发乘以GPU数量。KV头数量、并行度和复制规则会影响本地缓存;当并行度超过KV头数量时,可能出现复制,而非继续等比例缩小。通信缓冲区及运行开销也需要单独测量。

流水线并行则要关注各阶段的层分布与显存开销,整组容量通常受缓存槽位或资源较紧张的阶段限制。

因此,多卡实例应以每个GPU实际可用的KV容量和整组压测结果为准。若单卡已经能装下模型,新增独立副本通常更适合扩展请求吞吐;若单卡无法满足权重或长上下文需求,才需要进一步评估模型并行。

把余量分成两层

容量规划至少需要区分:

第一层是GPU显存余量。 用于覆盖运行开销波动、同卡其他进程及配置变化,不能全部算入KV池。

第二层是KV运营余量。 即使缓存池已经分配,也不应长期把全部Token槽位用满,需要为长请求比例变化、输出长度偏差和突发流量留空间。

前面的25% KV余量仅是示例。若长度分布稳定、入口限制严格,可以结合测试评估较小余量;若长文档占比波动明显、生成时间长,或扩容交付周期较长,就应提高预留。

增长也不应只按请求量计算。若活跃并发增长20%,平均驻留Token增长25%,在其他条件相近时:

KV需求增长系数 ≈ 1.20 × 1.25 = 1.50

这意味着缓存需求约增长50%,而不是20%。如果输出变长还延长了请求执行时间,并发本身也会被进一步抬高,需重新推演而不能重复套用旧并发值。

资源不足时,先确认是哪一项该调整

权重量化主要降低权重占用,不会自动降低KV Cache每Token成本。改变KV缓存精度可能降低缓存体积,但需要确认硬件、后端和模型支持,并验证输出质量与性能。

对于不同瓶颈,可采用不同方向:

  • 权重占用过大:评估权重量化或模型并行。
  • KV占用过大:评估上下文上限、长请求并发、缓存精度或更大显存。
  • 缓存有余量但响应超标:调整批处理与调度,或增加推理副本。
  • 长短请求互相干扰:评估分池服务,为长请求设置独立容量预算。

CPU卸载或跨层级存储不能视为无成本增加显存。数据搬运和同步可能增加延迟,应重新测试,不能沿用原配置的服务承载结果。

A5数据提供香港和美国GPU物理服务器,配置涵盖A100 80GB、RTX 4090等显卡,并搭配服务器级CPU、内存与NVMe存储,为vLLM推理、模型测试和AI应用运行提供显存、计算与数据读写资源。结合不同地区的网络线路和带宽方案,可承载面向不同访问区域的推理服务部署。

五、用压测曲线确定监控与扩容阈值

扩容触发点应来自实际负载曲线,而不是单独设置一个GPU利用率百分比。对A5IDC GPU服务器上的vLLM服务,可按以下方法形成容量边界。

先找临界点,再设置预警线

将逐级压测得到的KV占用、活跃Token、等待请求、TTFT、TPOT和达标吞吐放在同一条时间线上,找出:

五、用压测曲线确定监控与扩容阈值 / 先找临界点,再设置预警线配图

  1. 延迟开始持续偏离基线的位置。
  2. 等待队列无法在流量回落后恢复的位置。
  3. 抢占或重计算明显增加的位置。
  4. 满足延迟目标的吞吐不再增长的位置。

其中最先触达业务限制的点,才是当前配置的有效容量边界。

例如,若某组测试中KV使用率达到约85%后,长请求混合负载的P95首Token延迟持续超标,可以把预警线设在更低的位置,再根据扩容周期确定触发线。这里的85%只是示例,不是vLLM通用阈值。

同时监控资源、体验和增长

监控维度建议持续观察的指标阈值确定方式
缓存容量活跃Token、KV使用率、抢占或重计算依据缓存压力出现前的安全区间
服务体验P95/P99 TTFT、TPOT、完成时间依据业务响应目标
流量积压等待请求数、队列增长速度检查峰值后能否及时回落
有效吞吐达标完成请求数/秒依据满足延迟目标的压测结果
负载增长长请求占比、输入输出长度、到达率预测扩容完成时的需求

扩容通常有准备与验证周期。若预计扩容完成时,峰值负载已经超过现有实例的安全区间,就应提前触发,而不是等服务持续超标后再启动。

最终,每个模型和配置组合都应保留一张容量记录:模型结构、权重与KV类型、上下文上限、每Token缓存成本、每卡KV预算、混合负载、达标吞吐及预警线。模型、vLLM版本、量化方式或请求长度分布变化后,重新校准这些数据。

显存估算给出“能容纳多少Token”的边界,压测给出“这些Token能以什么速度完成”的边界。 将两者与增长预测结合,才能确定可执行的并发限制、GPU容量余量和扩容触发点。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3359.html

相关推荐