美国GPU服务器运行vLLM推理时,如何估算显存与并发容量?
美国 GPU 服务器运行 vLLM 时,显存能装下模型,不代表服务就能承接目标并发。实际容量还受输入长度、输出长度、请求到达速度和延迟目标影响;如果只看 GPU 利用率或单条请求的生成速度,容易把可启动误当成可上线。比较稳妥的做法,是先明确业务负载和响应时间要求,再估算权重与 KV cache 的显存占用,最后用接近真实流量的压测确认吞吐和并发边界。
先定义要验证的容量目标
测试前先把“能承载多少”转换成可测的目标。对在线推理服务,至少要同时回答三个问题:在目标请求量下,响应时间是否可接受;在延迟目标内,每秒能处理多少请求或生成多少 token;高峰时是否还有足够的显存和计算余量。
请求吞吐与生成吞吐不是一回事。请求吞吐通常写作 requests/s,反映服务每秒完成多少条请求;生成吞吐常写作 output tokens/s,反映每秒产出的回答 token 数。两者要结合平均输出长度解释。例如,服务每秒生成 1,000 个 token,若每条回答平均 100 个 token,理论上相当于每秒约 10 条回答;但这不代表 10 条请求都能在同一时间内快速完成,也没有体现输入处理成本。
测试目标可按业务服务等级写成类似下面的条件:
| 测试目标 | 示例条件 | 主要观察项 |
|---|---|---|
| 日常负载 | 5 个请求/秒,输入约 1,000 token、输出约 200 token | 请求吞吐、P95 延迟、GPU 利用率 |
| 高峰负载 | 10 个请求/秒,输入约 2,000 token、输出约 300 token | 排队时间、P95/P99 延迟、生成吞吐 |
| 突发承载 | 短时间内并发增加到 30 | 排队是否持续增长、显存是否越界、恢复时间 |
这些数字只是设计测试的示例,不是某种 GPU 或 vLLM 配置的性能承诺。实际目标应来自业务峰值、请求长度分布和用户可接受的等待时间。美国服务器还要把客户端到机房的网络往返时间单独纳入端到端延迟:网络时延会影响用户看到的总响应时间,但通常不能用来解释 GPU 上的 token 生成速度。
指标怎样关联起来看
延迟:首 token 与后续生成分开
总响应时间可拆成请求到达服务后的排队时间、输入处理时间、首 token 生成时间,以及后续 token 逐步生成的时间。常见指标包括:
- TTFT(Time to First Token):从请求进入服务到首个输出 token 返回的时间。它容易受输入长度、排队和提示词处理影响。
- ITL(Inter-Token Latency):相邻输出 token 之间的间隔。它更能反映生成阶段的速度和调度竞争。
- 端到端延迟:从客户端发起请求到收到完整回答的时间。输出越长,即使 ITL 不变,总耗时也会增加。
- P50、P95、P99:不同分位点的延迟。平均值正常,不代表高峰请求没有长尾等待;容量评估应重点关注 P95 或 P99。
如果 TTFT 随并发上升明显变长,而 ITL 相对稳定,常见原因是请求排队或输入处理压力增加。若 TTFT 尚可、ITL 却持续恶化,则要检查生成阶段的 GPU 竞争、批处理效果和显存带宽压力。应将首 token、生成间隔和总耗时分开记录,避免只凭平均响应时间判断。
并发:正在处理的请求不等于每秒到达量
并发表示某一时刻同时处于服务过程中的请求数;requests/s 表示单位时间内的请求到达或完成速率。两者可用平均响应时间做初步关联:稳定状态下,平均在途请求数约等于请求速率乘以平均响应时间。例如每秒处理 4 个请求、平均耗时 5 秒,平均在途请求约为 20 个。
这个关系只能用于估算平均状态,不能替代压测。请求长度不同、排队时间变化或流量突发时,尾部并发可能显著高于平均值。压测也要区分两种模式:固定并发的闭环测试会等请求完成后再发起后续请求;固定到达速率的开环测试则按计划持续送入请求。后者更容易暴露“到达速度超过处理能力,队列越积越长”的情况。
吞吐与资源利用率:高占用不是高效率的同义词
GPU 利用率需要与生成吞吐、延迟和显存占用一起看。GPU 利用率偏低,可能是请求不足、输入处理或 CPU 调度跟不上,也可能是模型并未充分批处理;GPU 利用率很高,则可能代表设备忙碌,但如果同时出现 ITL 变长和 P99 上升,往往已经接近延迟边界。
CPU、主机内存和 I/O 也不能忽略。CPU 可能承担请求预处理、分词、调度和数据传输;主机内存不足可能引发换页或进程异常;模型加载阶段还会受到磁盘读取速度影响。持续运行的推理服务通常不应依赖频繁换页来“补”显存。若 GPU 利用率低、CPU 某个核心长期饱和,或者输入较长时 TTFT 特别差,先确认 CPU 与分词链路,而不是立即增加 GPU 数量。
显存估算:权重之外还要留出 KV cache
显存预算可拆成模型权重、KV cache、运行时开销和安全余量:
可用于 KV cache 的显存 ≈ GPU 可用显存 − 权重占用 − 运行时及工作区占用 − 安全余量
权重占用可先用参数量和精度做粗算。以 8B 参数模型为例,BF16 每个参数约占 2 字节,权重理论值约为 16GB(十进制口径);实际运行还会有框架、工作区和其他开销。量化权重能降低权重显存,但量化格式、尺度参数、内核实现和运行时行为都会影响实际占用,不能简单把理论位数直接当成最终显存需求。
KV cache 用于保存请求上下文中的键和值。对常见 Transformer 架构,每 token 的 KV cache 可粗略估为:
每 token KV 字节数 ≈ 2 × 层数 × KV 头数 × 单头维度 × 每元素字节数
其中 2 对应 Key 和 Value。以一个假设的 8B 模型为例,若有 32 层、8 个 KV 头、每头维度 128,使用 BF16(每元素 2 字节),则每 token 的 KV cache 约为:
2 × 32 × 8 × 128 × 2 = 131,072 字节,约 128 KiB。
若一条在途请求当前占用的上下文约 4,096 token,KV cache 粗估为 128 KiB × 4,096,约 512 MiB。十条同等长度的请求就约需 5 GiB。这里的 token 数应按当前实际保留的输入与已生成内容估算,而非只看回答长度;不同模型的层数、KV 头数、精度和缓存策略都会改变结果。
例如,在一张 24GB 显存卡上运行该 8B BF16 模型,权重约占 16GB,剩余空间还要容纳运行时开销、工作区和 KV cache。若把几 GB 留作运行开销及波动余量,能分给 KV cache 的空间可能只剩数 GB;按每条约 512 MiB 的示例,理论上大约能容纳若干条 4K token 级别的活动序列,但这不是可直接配置的并发承诺。实际还受 vLLM 的缓存块分配、最大序列数、最大模型长度、批处理调度和临时显存峰值影响。

因此,显存估算适合用于排除明显不合适的配置和设置初始测试范围;最终可用并发要以服务运行时的显存水位和压测结果为准。启用前缀缓存可能减少重复前缀的计算,但不能据此假设所有请求的 KV cache 都会按相同幅度下降。
A5数据提供美国GPU服务器,配备A100 80GB或RTX 4090等显卡,并可选相应的服务器CPU、内存与NVMe存储,为vLLM推理和模型测试提供硬件资源。美国GPU产品还提供三网直连回国或国际带宽方案,可用于承载面向不同用户群体的AI推理服务。
影响容量的变量与压测方法
同一张美国 GPU 服务器,在不同业务负载下可能得到完全不同的容量结果。测试记录至少应包含模型及精度、GPU 型号与数量、vLLM 版本和关键启动参数、输入长度分布、输出长度上限、请求到达模式,以及是否启用前缀缓存等条件。
重点变量包括:
- 输入与输出长度:长输入会增加提示词处理成本和 KV cache 占用;长输出会延长请求驻留时间,并消耗更多生成计算。
- 请求到达模式:平滑流量和突发流量即使平均 requests/s 相同,排队情况也可能不同。
- 批处理与并发限制:vLLM 的调度和批处理能力会影响吞吐;最大并发序列等限制可能先于显存成为瓶颈。
- 模型与精度:参数量、层数、KV 头数、量化方法及模型实现都会改变计算和显存需求。
- GPU 拓扑与主机条件:多卡通信、PCIe 或其他互连、CPU、系统内存和数据传输都会影响实际表现。
一次有用的压测应逐步增加到达速率或并发,而不是只测一个高并发数字。每个负载档位运行到指标趋于稳定,并覆盖足够长的时间,以观察队列是否持续累积。随后提高负载,直到延迟突破目标、吞吐不再有效增长、显存接近上限,或错误率开始升高。若业务包含长短请求混合,应同时做接近实际分布的混合测试和单一长度测试:前者用于判断整体体验,后者帮助定位瓶颈。
建议按固定时间间隔记录以下数据:
| 类别 | 需要记录的指标 | 观察目的 |
|---|---|---|
| 服务质量 | TTFT、ITL、端到端延迟的 P50/P95/P99、错误率 | 判断用户体验和长尾 |
| 服务能力 | 请求到达率、完成率、生成 token/s、排队长度 | 判断是否跟得上流量 |
| GPU | 利用率、显存使用量、温度及功耗状态 | 判断计算压力与显存余量 |
| 主机 | CPU 使用率、内存使用量、换页、网络与磁盘 I/O | 排查非 GPU 瓶颈 |
例如,某轮模拟测试中,目标到达速率为每秒 8 个请求,输入约 1,500 token、输出约 250 token。在低负载下 P95 TTFT 为 0.8 秒、生成吞吐随负载增加而上升;到每秒 12 个请求时,生成吞吐仅小幅增加,但 P95 TTFT 升至 3 秒、队列持续增长,GPU 利用率长期接近满载。合理解释不是“12 个请求/秒就是稳定容量”,而是该点已超过当前配置的可持续处理能力;更适合把队列开始增长之前的稳定档位作为候选工作区,再用更长时间和突发流量复测。

结果解释与容量决策边界
压测结果应区分“峰值吞吐”和“可持续容量”。峰值吞吐是某段时间观察到的最高输出能力;可持续容量则要求在目标负载下,完成率跟得上到达率,队列不持续增长,P95/P99 延迟和错误率仍满足要求。容量规划应采用后者。
可以按以下逻辑判断下一步:
- 显存接近上限,但 GPU 计算尚未饱和:并发可能受 KV cache 限制。可检查上下文长度、最大并发序列和模型精度,但每项调整都要重新验证输出质量、延迟及稳定性。
- GPU 长时间繁忙,吞吐增长停滞且 ITL 变差:计算或显存带宽可能已成为瓶颈。继续提高并发通常会增加等待,不一定增加有效吞吐。
- GPU 利用率不高,但 TTFT 或队列较高:检查到达流量是否突发、CPU 与分词是否受限、请求是否被某个调度或并发上限阻挡。
- 平均指标合格而 P99 超标:检查长输入、长输出与突发请求是否形成尾部拥塞;不要用平均值掩盖少数请求的长时间等待。
- I/O 或主机内存异常:区分模型加载阶段与稳定推理阶段。持续换页或频繁读盘不是健康的显存扩容方案。
为增长留量时,不宜把刚好满足当前峰值的档位视为可用容量。可先用压测得到的稳定吞吐作为基线,再按业务增长预估增加负载,并为突发、请求长度波动和部署变更留出空间。具体余量取决于业务的波峰、可接受延迟和扩容时间;例如对请求波动较大的在线服务,可把稳定测试能力高于预计峰值约 20% 至 30% 作为初步规划区间,但应以实际流量曲线和延迟目标校正,而非机械套用。
美国服务器的地域选择主要影响客户端到服务端的网络时延和跨区访问体验,不会自动提高 GPU 的模型推理吞吐。若端到端响应时间偏长,应将网络往返、服务排队、TTFT 和生成时间拆开测量;如果瓶颈在客户端网络,增加 GPU 并不能解决问题。
复测条件与最终判断
容量结论只对特定模型、精度、vLLM 版本、GPU 配置、请求长度分布和启动参数有效。模型升级、量化方式变化、最大上下文调整、并发限制修改、流量模式变化或服务器迁移后,都应重跑关键负载档位。建议将配置和压测数据一并留档,至少比较目标负载下的 P95/P99、请求完成率、生成吞吐、GPU 显存峰值和队列趋势。
最终可用以下条件判定容量是否成立:目标到达率下请求完成率不低于到达率,队列没有持续增长,P95/P99 延迟符合业务要求,错误率可接受,并且 GPU 显存与主机资源保留了应对波动的余量。显存估算用于设定安全边界,压测用于确认性能拐点;两者结合,才能回答一台美国 GPU 服务器上的 vLLM 服务究竟能稳定承载多少业务负载。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4669.html



