日本GPU服务器运行vLLM推理,并发增加后如何定位性能瓶颈?
GPU利用率达到90%,并不等于日本GPU服务器上的vLLM已经“没有提升空间”;GPU利用率只有50%,也不代表应该立即更换显卡。并发增加后,真正需要定位的是:请求在哪一段开始排队,哪个资源限制了有效吞吐,以及延迟上升究竟来自推理计算、KV Cache容量,还是CPU、网络和业务链路。
可执行的判断方法是:先固定模型与请求长度,用阶梯并发建立延迟和吞吐曲线,再把客户端指标与vLLM队列、GPU显存、CPU调度、主机内存、磁盘I/O及数据库等待放在同一时间轴上。日本机房的网络路径需要单独对照,但不能把跨境访问延迟、应用层等待和模型生成速度混为一谈。
一、测试目标:找到满足延迟要求的容量,而不是单个峰值
先定义什么叫“性能下降”
对于流式推理,用户关心的通常不是一个笼统的“接口耗时”,而是两个不同体验:多久能看到第一个有效输出,以及后续文字能否持续、平稳地产生。
因此,测试目标应同时包括:
- 首Token延迟:请求发出后,多长时间收到第一个有效输出Token。
- 生成阶段速度:后续输出Token之间的间隔。
- 完整请求延迟:从发起请求到输出结束的时间。
- 有效吞吐:单位时间内成功完成且满足服务目标的请求数。
- 稳定性:错误、超时、取消、队列积压是否随测试时间增加。
例如,一项交互业务可以把目标设为“P95首Token延迟不超过2秒,P95生成阶段平均Token间隔不超过50毫秒”。这只是用于说明方法的参考目标,不适合直接套用到所有模型。长文总结、批量抽取和实时对话,对首Token与完整完成时间的要求并不相同。
瓶颈的判断标准不是某项资源是否达到100%,而是在固定负载下,增加并发是否还能带来满足延迟要求的有效吞吐增长。
将纯推理测试与完整业务测试分开
一套请求通常经过客户端、网络、入口服务、鉴权、检索、数据库、提示词组装、vLLM和流式返回。只测最终接口,容易把推理之前的等待误判成GPU性能不足。
建议保留三组对照:
| 测试组 | 请求路径 | 主要回答的问题 |
|---|---|---|
| 日本机房内或同地域客户端直连vLLM | 跳过业务处理,使用固定提示词 | 推理服务本身能承受多少负载 |
| 日本机房内访问完整业务接口 | 包含鉴权、检索、数据库和流式转发 | 业务链路增加了哪些等待 |
| 目标用户地区访问完整业务接口 | 保留实际网络路径 | 网络与入口连接对体验影响多大 |
直连测试应在受控内网或受保护的测试环境进行,不需要为测试开放未鉴权的公网接口。
三组测试要保持模型、输入输出长度和并发方式一致。若同地域直连很快,完整业务接口很慢,应优先检查业务层;若同地域完整接口正常,目标用户地区访问明显变慢,再检查网络、连接建立和流式转发行为。
不要只做固定并发压测
固定并发测试适合发现容量拐点,但它通常采用闭环方式:一个请求结束后,客户端再发下一个。当服务变慢时,客户端发起新请求的速度也会下降,可能掩盖真实到达率下的排队问题。
因此可以分两步:
- 先使用4、8、16、32等阶梯并发,找到吞吐增长开始放缓的区间。
- 再围绕该区间使用固定到达率测试,观察队列是否持续增长,以及超时是否出现。
测试机也要有余量。如果负载生成器的CPU、连接数或网络先到上限,得到的将是客户端容量,而不是日本GPU服务器的容量。
二、指标含义:把延迟拆开,再解释CPU、显存和I/O
首Token延迟不是单纯的模型计算时间
客户端看到的首Token延迟通常包含:
连接与网络耗时 + 业务前置处理 + 推理排队 + 输入预填充 + 首个输出返回
其中,输入预填充通常称为Prefill,逐步生成输出通常称为Decode。长输入主要增加Prefill工作量;长输出则让请求更久地占用生成与KV Cache资源。
生成阶段可用每个请求的平均Token间隔来衡量。对于输出Token数大于1的请求,常用计算方式是:
请求平均Token间隔 =(最后一个Token到达时间 − 第一个Token到达时间)÷(输出Token数 − 1)
这个指标与逐Token间隔的P95不是同一件事。前者先对每个请求求平均,再统计请求分布;后者观察每一次输出间隔,更容易发现流式传输中的停顿。压测报告必须说明采用哪种口径。
完整请求延迟也不能由“P95首Token延迟 + P95生成时间”直接相加得出,因为两个P95未必来自同一个请求。
吞吐要区分请求与Token
请求吞吐适合长度相近的负载;输出Token吞吐更适合描述生成工作量。输入长短变化明显时,还应记录输入Token吞吐,并将输入、输出分开统计。
同样是每秒2个请求:
- 每个请求输出64个Token,对应约128个输出Token/秒。
- 每个请求输出512个Token,对应约1024个输出Token/秒。
只看请求数,会把完全不同的GPU负载当成同一容量。只看Token数,又可能忽略大量短请求在鉴权、分词、序列化和连接管理上的CPU成本。
对于线上容量,建议再计算“有效请求吞吐”:只计入成功且满足延迟目标的请求。吞吐继续上涨而超时大量增加,不能视为可用容量增长。
资源指标必须带上观察对象
| 指标 | 主要含义 | 常见误判 |
|---|---|---|
| GPU利用率 | 采样期间GPU执行工作的活跃程度 | 高利用率不等于计算单元或显存带宽已完全饱和 |
| 显存占用 | 模型权重、KV Cache及其他分配占用 | vLLM预留大量显存,不代表当前活跃请求很多 |
| KV Cache使用与抢占 | 请求状态是否逼近缓存容量边界 | 缓存满、抢占、重新计算可能让吞吐下降并拉高尾延迟 |
| CPU使用与运行队列 | 分词、调度、业务处理及线程竞争 | 整机CPU占用低,也可能有关键单线程饱和 |
| 主机内存与Swap | 系统和进程是否存在内存压力 | 主机内存充足不等于GPU显存充足 |
| 磁盘延迟与队列 | 是否发生读写等待 | 磁盘吞吐低,也可能因小随机I/O出现高延迟 |
| 网络RTT、重传与连接状态 | 请求传输及连接是否异常 | 带宽未跑满不代表网络没有延迟问题 |
| 数据库连接池与查询等待 | 前置业务是否阻塞 | 数据库CPU低,不代表没有锁等待或连接池排队 |
尤其要注意CPU平均值。32个逻辑CPU中有一个关键线程占满,整机平均占用可能只有约3.1%,但该线程仍然可以限制请求提交速度。判断时应看进程、线程和单核分布,而不只是仪表盘上的总CPU百分比。
三、影响变量:让每轮测试只回答一个问题
固定模型与请求长度,避免把负载变化当成性能变化
对vLLM而言,以下变量会明显改变测试结果:
- 模型参数规模、权重精度或量化方式。
- 输入Token数、实际输出Token数及其分布。
- 上下文上限、批调度相关设置、KV Cache可用空间。
- GPU型号、数量、张量并行方式及卡间互联。
- 前缀缓存命中情况、请求是否重复。
- 流式或非流式响应、连接是否复用。
- vLLM版本、推理后端及相关优化特性。
这些变量应记录下来,但不要在同一轮测试中全部调整。比如,增加并发的同时把输入从512个Token改为4096个Token,无法判断延迟上升到底来自并发还是Prefill负载。
测试数据也不能全部使用完全相同的长提示词。如果启用了前缀缓存,重复请求可能获得明显收益,导致结果高于真实业务。比较“缓存未命中”和“稳定命中”时,应明确分成两个测试组。
模型加载完成也不等于预热结束。正式统计前应完成代表性请求预热,避开首次编译、图捕获或其他一次性初始化带来的耗时。
短输入长输出与长输入短输出,要分别测
可以构造两类代表性请求:
| 请求类型 | 示例长度 | 更容易暴露的问题 |
|---|---|---|
| 短输入、长输出 | 输入256、输出512个Token | Decode速度、并发驻留、KV Cache容量 |
| 长输入、短输出 | 输入4096、输出64个Token | Prefill计算、分词CPU、调度干扰、首Token延迟 |
这些长度用于解释机制,不是配置建议。
如果长输入组的首Token延迟明显恶化,而短输入组生成速度较稳定,优先分析Prefill与Decode之间的调度关系。支持分块预填充的版本可以在受控条件下做对照,但其收益取决于模型、调度配置和请求结构,不能当成普遍有效的开关。
如果两组都在同一并发附近出现KV Cache紧张、抢占增加,则更像是容量约束,而非单纯的输入计算问题。
日本地域变量主要进入网络链路
服务器位于日本,不会自动改变模型每个Token所需的计算量。地域因素主要影响用户到机房的网络路径,以及GPU服务器到数据库、对象存储等依赖服务的访问。
应分别测量:
- 用户到日本入口的连接建立、首字节和流式返回情况。
- 入口到vLLM的内部请求耗时。
- GPU服务器到检索、数据库和存储服务的耗时。
若GPU位于日本,而数据库位于另一个地区,多次串行数据库查询可能把跨地域等待累加到首Token之前。这类问题不能通过增加GPU数量解决。
流式Token返回还需检查入口是否及时转发。若服务端持续生成,客户端却成批收到内容,应检查响应缓冲、压缩、应用刷新逻辑和网络重传,而不是直接认定Decode不连续。
围绕模型推理与业务链路的资源需求,A5数据提供香港、美国的GPU服务器,涵盖A100 80GB、RTX 4090等选项,并配套CPU、内存与NVMe存储,为模型运行和AI推理提供硬件基础。日本服务器则提供Xeon Gold、AMD EPYC平台及不同存储、线路方案,可承载应用接口、检索与数据库等配套业务,让推理计算、业务处理和区域访问各有相应的资源支撑。
四、结果解释:用曲线与交叉证据锁定瓶颈
先看吞吐拐点,再找对应资源
下面是一组用于说明判断方法的参考数据,不代表A5IDC或具体服务器的实测结果。测试条件为固定模型、输入约1024个Token、平均输出约256个Token,采用流式响应和固定并发闭环测试。
| 并发请求数 | 输出吞吐,Token/秒 | P95首Token延迟 | P95请求平均Token间隔 | 主要观察 |
|---|---|---|---|---|
| 4 | 175 | 0.5秒 | 25毫秒 | 队列较少,GPU仍有合批空间 |
| 8 | 325 | 0.8秒 | 28毫秒 | 吞吐增长明显,延迟仍稳定 |
| 16 | 405 | 3.7秒 | 42毫秒 | 吞吐增幅缩小,等待开始增加 |
| 32 | 420 | 11.8秒 | 65毫秒 | 吞吐接近平台,延迟明显恶化 |
从8增加到16并发,输出吞吐只增长约24.6%;从16增加到32并发,吞吐只增长约3.7%,但首Token延迟大幅上涨。

这组曲线足以说明32并发不是一个有效扩容方式,却还不能说明瓶颈一定在GPU。还需要查看同一时间窗口内的等待请求数、GPU活动、KV Cache、CPU及外部依赖。
GPU计算受限与KV Cache受限,应分开判断
如果吞吐进入平台期,同时GPU持续活跃、等待队列增长、KV Cache仍有空间,CPU和外部依赖没有显著等待,更接近GPU计算或显存带宽受限。必要时再用GPU性能分析工具查看内核执行和通信开销,不能仅凭一个利用率百分比定性。
如果并发上升后KV Cache逼近容量边界,出现抢占或重新计算,且长上下文请求的尾延迟更加严重,则应优先处理缓存容量问题。
两者的调整方向不同:
- 计算受限:评估更合适的模型精度、GPU性能、批调度或增加服务副本。
- KV Cache受限:评估实际上下文需求、可用显存、并发驻留数量及版本支持的缓存优化。
- 两者同时受限:先限定请求长度与准入数量,再比较硬件或模型方案。
降低允许的最大上下文长度不一定会让所有版本、所有配置中的吞吐自动提高。必须区分“配置上限”“实际输入长度”和“实际缓存占用”,并观察调整后的缓存块数、抢占与吞吐变化。
多卡张量并行也不是线性加速。它可能解决模型装载或单卡容量问题,但卡间通信会带来额外开销。模型能装入单卡时,多副本与张量并行是不同方案,应分别比较延迟和总吞吐。
CPU瓶颈通常表现为“GPU在等请求”
当GPU利用率周期性下降、vLLM已有请求等待,而CPU关键线程持续繁忙时,应重点检查分词、请求预处理、调度、序列化和线程竞争。

在Linux测试主机上,可以使用只读命令观察:
# 需要安装sysstat;观察单核CPU、系统内存与磁盘等待
mpstat -P ALL 1
vmstat 1
iostat -xz 1
如果已安装NVIDIA驱动,可同时采样GPU:
nvidia-smi \
--query-gpu=timestamp,index,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw \
--format=csv \
-l 1
这里的utilization.memory是显存控制器活动指标,不是显存容量占用比例;容量应看memory.used与memory.total。一秒级采样也可能漏掉短时波动,需要与请求日志和队列指标一起解释。
若CPU与GPU同处多路NUMA主机,还应核对进程、内存与GPU的拓扑关系。但CPU亲和性和线程数量不宜盲目修改:线程过多可能造成竞争,线程过少也可能降低提交能力。每次调整都应保留原配置,并用同一负载复测。
主机内存和磁盘问题,要证明它们进入了关键路径
vLLM稳定推理时,模型权重通常已驻留显存或相关内存中,普通请求不应反复读取完整模型文件。因此,不能看到磁盘较慢就直接归因于磁盘。
磁盘瓶颈更常出现在模型加载、日志大量落盘、业务读取本地文档、检索索引访问,或明确配置了磁盘相关卸载的场景。
主机内存不足则可能通过Swap、页面回收和进程停顿影响请求。应同时查看可用内存、Swap输入输出、缺页情况及进程工作集。仅有Swap已使用并不证明当前正在发生抖动;持续换入换出才更值得关注。
磁盘判断也不要只看%util。在NVMe及并行设备上,它不是简单的容量百分比。更有意义的是:I/O延迟和队列是否上升,应用是否出现读写等待,且这些等待是否与请求延迟同步。
网络瓶颈要区分“传输量大”与“交互等待长”
文本推理通常不需要很高的响应带宽。以420个输出Token/秒、每Token平均8字节有效文本估算:
420 × 8 = 3360字节/秒,折合约0.027Mbps。
这里使用十进制单位,1Mbps为每秒100万比特;该估算不包含流式封装、TLS、请求输入和其他业务流量。
因此,在这类文本负载下,即使网络带宽占用很低,也可能因RTT、丢包重传、连接建立或响应缓冲而体验较差。图片、音频、文件上传和大规模上下文传输则需要单独计算,不适用上述估算。
对照测试时应保持连接复用方式一致。每次新建连接与长期复用连接得到的首Token延迟不能直接比较。网络延迟也不宜简单按“一次RTT”从总延迟中扣除,因为实际路径可能包含多个串行交互。
应用与数据库瓶颈,靠分段耗时确认
如果直连vLLM正常,完整接口的首Token延迟却随并发增长,应为业务请求记录至少以下时间点:
- 入口收到请求。
- 鉴权、检索和数据库处理完成。
- 请求提交给vLLM。
- 收到vLLM首个有效输出。
- 首个输出发送给客户端。
这些时间点能区分“提交推理之前慢”和“推理之后转发慢”。

数据库需要单独观察连接池等待、查询耗时、锁等待、返回数据量和网络往返次数。连接池耗尽时,数据库CPU可能并不高;查询依赖远程存储时,瓶颈也未必是数据库计算。
只有检索增强、会话存储、鉴权或其他业务确实访问数据库时,数据库才属于本次链路。纯vLLM接口测试没有数据库环节,就不应为了覆盖指标而把数据库纳入归因。
五、决策边界:从瓶颈定位转向可复测的容量判断
不同证据,对应不同动作
| 已确认的限制 | 优先验证的动作 | 不宜直接采取的动作 |
|---|---|---|
| GPU计算或带宽受限 | 对比模型精度、批调度、GPU或副本方案 | 只增加CPU核数 |
| KV Cache容量受限 | 控制上下文与驻留并发,比较显存或缓存方案 | 继续无限增加并发 |
| CPU关键线程受限 | 减少预处理成本,检查线程竞争与进程结构 | 只根据整机平均CPU判断 |
| 主机内存压力 | 降低工作集,检查泄漏与Swap活动 | 仅增加GPU显存 |
| 磁盘进入关键路径 | 减少同步I/O,分离日志或存储负载 | 将所有推理变慢归因于磁盘 |
| 网络或流式转发受限 | 比较地域路径、连接复用、重传与缓冲 | 仅凭带宽占用判断网络正常 |
| 应用或数据库排队 | 优化对应阶段及连接池、查询路径 | 直接扩容vLLM副本 |
执行限流或准入控制时,还要明确用户看到什么:是立即返回繁忙、在受控队列等待,还是由业务层安排异步处理。把等待无限转移到入口,并没有消除容量不足。
用满足SLO的吞吐估算容量
沿用前面的参考数据,如果要求P95首Token延迟不超过2秒、P95请求平均Token间隔不超过50毫秒,那么8并发满足目标,16并发已经不满足首Token要求。
8并发下,按平均输出256个Token估算:
请求完成吞吐约为325 ÷ 256 = 1.27请求/秒。
这个换算只适用于统计窗口稳定、平均实际输出确实约为256个Token的情况。它不是“所有请求类型都能达到每秒1.27次”。
如果将初始上线预算设为该值的70%,约为0.89请求/秒,还需要用固定到达率验证,而不是直接认定已有30%的安全余量。8与16之间尚未测试,也不能断言8就是精确容量上限,可继续测试10、12等并发点。
稳定条件下,平均并发、平均到达率和平均请求驻留时间可以用以下关系做一致性检查:
平均在途请求数 ≈ 平均到达率 × 平均请求驻留时间。
其中驻留时间包含所定义系统内的排队与处理时间,不能用P95替代平均值,也不适用于队列持续增长的过载状态。
复测必须保留负载与环境条件
每次只改变一个主要因素,并保留模型、精度、vLLM版本、GPU与并行方式、输入输出分布、缓存状态、网络路径和统计口径。
复测应包含稳定阶段与高峰阶段:既看吞吐能否持续,也看突发请求结束后队列能否恢复。长上下文占比上升、平均输出增长、数据库迁移或用户地域变化,都应触发重新评估。
对于日本GPU服务器上的vLLM推理,可用容量最终应表达为一个有条件的结果:在指定模型、请求长度分布和网络路径下,每秒可接收多少请求,P95首Token与生成间隔达到什么水平,以及出现何种队列、抢占或延迟变化时需要收紧准入或扩容。这样的结果,比单独报告“GPU利用率很高”更能指导上线与后续调整。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3679.html



