GPU服务器运行vLLM推理,如何根据模型显存占用规划并发?

发布人:A5数据发布时间:2026-11-11 10:33阅读量:61

业务高峰从每秒多少次请求增长到多少次、每次带入多少上下文、需要生成多长的回答,决定了GPU服务器能否持续承接vLLM推理。即使模型已经装入显存,也不能用“剩余显存÷模型大小”推算并发:运行中的请求还会占用KV Cache,长输入会增加预填充计算量,长输出会延长请求占用资源的时间。

规划时,应先把目标写成峰值请求速率、输入与输出Token分布、可接受的首Token时间和总响应时间,再估算显存可容纳的运行中请求数,并通过目标负载压测校验吞吐与延迟。显存计算给出的是容量上界,不是某台服务器的并发承载保证。

先把请求量换成负载画像

“同时有100人使用”和“同时有100个请求正在推理”不是同一个指标。用户可能在阅读回答,请求也可能排队等待;真正消耗推理资源的是进入处理流程的请求及其Token。对在线问答、知识库检索和批量生成,应分别统计,而不是只看一天的请求总数。

需要记录的变量建议统计口径对容量的影响
请求到达量平均与峰值请求数/秒,记录峰值持续时长决定排队压力和所需吞吐
输入长度按请求类型统计Token数的中位数、P95及长尾影响预填充计算和KV Cache占用
输出长度统计实际生成Token数,并记录设置的上限影响生成阶段耗时及资源占用时长
响应目标分别约定首Token时间、总响应时间的P95目标决定何时算“能承接”,而非仅看是否成功返回
增长变量业务增长率、活动峰值、检索片段数变化决定预留多少扩容提前量

请求速率与并发可以先用近似关系连接:平均在途请求数≈每秒到达请求数×平均请求完成时间。例如目标负载为0.8次/秒,按8秒的平均完成时间估算,平均约有6.4个请求在途;若到达量增长25%、完成时间暂不变,则约为8个。这只是确定压测起点的方法:负载上升后,请求可能排队,完成时间也会变长,不能把8直接当作所需GPU并发的最终答案。

还要区分“数据规模”的两层含义。知识库中有多少文档,主要影响检索、存储及索引系统;进入模型的检索片段有多少Token,才直接影响这次vLLM推理的输入长度。如果扩大知识库的同时把每次检索片段从3段增加到10段,应重新统计输入Token分布,不能只因模型没有变化就沿用原并发估算。

从模型显存占用推到KV Cache预算

一张GPU的显存至少要容纳模型权重、运行时开销和KV Cache。权重体积可由参数量与存储精度作初估,但实际部署还受模型结构、量化方式、计算图、临时张量及所用vLLM配置影响。--gpu-memory-utilization是当前vLLM实例用于模型执行的显存比例设置,不等于“把所设比例全部留给KV Cache”;若显式设置--kv-cache-memory-bytes,则需按该参数核对KV Cache预算。

对常规Transformer注意力结构,可用以下关系估算KV Cache:

每Token的KV Cache字节数≈层数×KV头数×每头维度×2(K和V)×每元素字节数。

这里必须使用KV头数,不能直接拿查询头数替代。不同模型的分组查询注意力、混合注意力结构,以及KV Cache数据类型,会改变结果;分页分块、共享前缀等机制也使实际可用容量与简化公式不完全一致。估算完成后,应以部署时报告的KV Cache容量和目标负载下的表现复核。vLLM展示的“最大并发”按指定的每请求Token长度计算,是缓存容量估计,并非吞吐或响应时间承诺。

以一个仅用于演算的单GPU方案说明计算顺序:GPU标称显存为24 GiB;模型按80亿参数、每参数2字节估算权重,约为16 GB,即约14.90 GiB;规划将20.4 GiB用于模型执行,并暂按2 GiB估算权重之外、KV Cache之外的运行时开销。则留给KV Cache的估算空间约为:

从模型显存占用推到KV Cache预算配图

20.4 GiB-14.90 GiB-2 GiB=3.50 GiB。

若该示例模型有32层、8个KV头、每头维度128,KV采用每元素2字节,则每Token约占:

32×8×128×2×2=131,072字节,即128 KiB。

按二进制单位换算,3.50 GiB约可存放28,672个Token的KV数据。如果业务入口将单请求输入和输出分别限制在1,000 Token以内,按每个运行中请求最多2,000 Token做保守预算,则缓存容量上界约为14个这样的请求;若初步只使用约70%的估算Token预算,起步规划可按约10个运行中请求安排压测。实际可运行数量还需由启动配置、分块占用及压测验证,不能将“10并发”写成该配置的实测值。

这组数字有两个明确边界。第一,前述“2 GiB运行时开销”只是演算条件,换模型、精度或执行配置后必须重测。第二,如果允许单请求达到4,000 Token,10个同时运行的请求可能需要约40,000个Token的KV容量,原规划就不成立;应限制长请求比例、设置单请求Token上限,或增加资源。

分清显存瓶颈与计算瓶颈

显存够用,只说明请求有机会同时留在运行队列;业务是否能按时收到答案,还取决于预填充和生成阶段的处理能力。长输入密集的知识库问答更容易推高预填充耗时,使首Token变慢;短输入、长输出的生成任务则可能长时间占用运行位置,使后续请求排队。vLLM的分块预填充及max_num_batched_tokens等设置可以改变两类请求的调度取舍,但不能凭调大批处理参数认定吞吐和延迟都会改善。

判断瓶颈时,可把现象与指标对应起来:

分清显存瓶颈与计算瓶颈配图

  • KV Cache紧张:缓存使用率持续处于压测确定的高位,同时运行中请求数受限、等待数增加,或出现抢占;优先核对输入长度、输出上限和可用KV容量。
  • 预填充能力不足:长输入到达时,首Token时间和预填充耗时上升;检查输入Token速率、长请求占比及批处理设置。
  • 生成能力不足:输出Token需求上升,首Token尚可接受,但Token间隔或总响应时间明显变长;检查输出Token速率和运行中请求数。
  • 请求入口或其他组件受限:GPU和KV Cache尚有空间,却出现持续排队或端到端延迟上升;继续检查API服务进程、分词、检索服务、CPU、内存和网络,避免把所有问题归因于显存。

vLLM提供运行中与等待请求数、KV Cache使用率、抢占次数,以及首Token、请求排队和端到端延迟等指标。监控时应确认所部署版本实际暴露的指标名称,并将指标按模型和实例分别观察;只看整机GPU显存使用量,无法判断等待请求是否正在累积。

用容量余量选择GPU服务器

选择GPU服务器时,先问目标模型和最大上下文是否能在指定精度下装入,再问典型与长尾请求的KV Cache是否放得下,最后问在峰值请求速率下能否满足延迟目标。这三个问题缺一不可:仅靠量化缩小权重,可能腾出缓存空间,但仍需验证模型输出质量、支持情况和实际性能;仅靠增加显存,也不代表预填充或生成吞吐按比例增加。

对模型能装入单卡、但并发吞吐不足的业务,可评估增加独立推理实例并分流请求。每个实例都需要自己的模型权重和KV Cache,容量按实例压测结果汇总,同时为故障切换预留空间。对模型本身装不进单卡的业务,才重点评估多GPU模型并行;此时要同时核对每张卡的显存,以及GPU之间的通信条件,不能简单把多张卡显存相加后当作一张大卡。vLLM也将模型装载与并行扩展作为不同的资源问题处理。

用容量余量选择GPU服务器配图

容量验收最好同时覆盖三组负载:常态请求组合、业务预计峰值组合,以及少量长输入与长输出同时到达的组合。压测应按目标请求速率逐步升载,并记录每一级的实际成功吞吐、P95首Token时间、P95总响应时间、等待队列与KV Cache状态。vllm bench serve支持控制请求到达速率和最大并发;设置客户端并发上限时,还要区分客户端等待与服务端排队,否则容易高估服务能力。

围绕vLLM推理的模型装载与并发容量规划,A5idc数据提供香港和美国的GPU物理服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存及NVMe存储,为模型运行、KV Cache预留和推理请求处理提供不同的硬件资源组合。香港GPU系列提供CN2线路配置,美国GPU系列则有三网直连回国或国际带宽方案,便于面向不同地区的业务安排推理实例与网络接入。

把监控结果变成扩容触发点

扩容阈值不宜直接套用一个固定的“GPU使用率达到多少”。更可执行的做法,是在压测曲线上找到仍满足业务延迟目标的最高稳定请求速率,再结合活动峰值、实例故障切换需求和采购交付时间,确定日常运行水位。

把监控结果变成扩容触发点配图

例如,将预计峰值控制在该稳定速率的70%~80%,可以作为初始余量讨论;这个比例并非通用性能标准。如果请求长度波动大、活动流量突发,或新增服务器需要较长交付周期,应留出更大的可用空间。反过来,若请求形态稳定、可快速增加实例,则可在验证自动扩容和故障切换后调整余量。

最终应形成一组同时成立的触发条件:在约定观察窗口内,峰值请求速率接近预留水位;等待请求持续增加;P95首Token或总响应时间接近业务上限;KV Cache高占用伴随抢占,或输出Token吞吐不再随负载提高。触发后先按瓶颈选择动作——压缩不必要的上下文、限制长输出、调整调度参数、增加独立实例,或升级显存与计算资源——再用同一组请求样本复测。这样得到的“可承接并发”才对应具体模型、请求结构和验收目标,而不是脱离条件的服务器参数。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8743.html

相关推荐