如何对云服务器上的推理服务压测,确定满足延迟目标的并发上限?
并发上限不能只看云服务器的 CPU 或 GPU 使用率,也不能把某次压测中的最高请求数直接当作生产容量。更可靠的做法是先定义延迟目标和请求负载,再逐级增加并发,找出延迟、错误率和队列都保持稳定的最大负载,最后为流量波动和增长留出余量。
对推理服务而言,同样是 50 个并发请求,短输入、短输出与长上下文、长生成的资源消耗可能相差很大。因此,压测结果必须与模型、输入输出长度、批处理设置、流式返回方式和服务器规格一起记录;脱离这些条件的“并发上限”没有稳定的参考价值。
先把“满足延迟目标”说清楚
压测前要把业务要求变成可判断的指标。例如,一个交互式问答服务可以设定:成功请求的端到端延迟 p95 不超过 2 秒、p99 不超过 5 秒,错误率低于 0.5%。这些数值只是示例,实际目标应按业务体验和服务承诺确定。
p95 表示 95% 的请求在该时间内完成,p99 表示 99% 的请求在该时间内完成。平均延迟适合观察整体变化,却可能掩盖少量请求长时间排队的问题;只看 p95,也可能漏掉对业务影响较大的极端慢请求。通常应同时观察 p50、p95、p99 和超时比例,并明确统计的是成功请求还是所有请求。
推理服务还要区分不同的时间指标:
- 首字延迟(TTFT):从客户端发出请求到收到第一个生成内容的时间。它通常更贴近用户对“开始响应是否够快”的感受。
- 生成阶段的令牌间隔(TPOT):生成过程中相邻令牌之间的平均或分位间隔。它反映输出是否连续、是否出现明显停顿。
- 完整请求延迟:从发起请求到响应结束的总时间。输出越长,这项指标通常越高。
- 吞吐量:单位时间内完成的成功请求数,或处理的输入、输出令牌数。对于输出长度差异较大的请求,只看请求数可能会误判模型的实际负载。
如果服务以流式方式返回结果,建议分别记录 TTFT、生成阶段速度和完整响应时间。将首个数据块到达时间当成整条响应的完成时间,或者只测非流式接口后推断流式体验,都会遗漏关键差异。
并发、吞吐和延迟不是同一个指标
并发通常指某一时刻正在处理或等待处理的请求数;吞吐量指单位时间完成多少请求;延迟则是单个请求从发出到完成所经历的时间。三者彼此相关,但不能互相替代。
当并发较低时,增加请求可能提高吞吐量,延迟也可能变化不大。接近服务能力边界后,请求开始排队,延迟会迅速上升;继续增加并发,吞吐量可能增长很少,甚至因超时和重试而下降。
可以用下面的关系做粗略估算:
平均在途请求数 ≈ 平均吞吐量 × 平均响应时间
例如,服务平均每秒完成 30 个请求,平均响应时间为 1 秒,那么平均在途请求数约为 30。这个关系适合解释平均值,不适合直接推导 p95 延迟下的安全并发上限,也不能替代实际压测。
还要区分客户端并发与服务器实际执行并发。推理框架可能将请求放入队列、合并成动态批次,或限制同时运行的任务数。因此,客户端发出 60 个并发请求,不等于 GPU 同时计算 60 个请求。测试时应同时记录客户端负载、服务端队列、活动请求数和资源指标,才能看出瓶颈出在接入层、排队环节还是模型执行阶段。

先固定会影响结果的负载条件
压测前应把测试条件固定下来,避免把不同工作负载的结果放在一起比较。
模型与服务配置
记录模型版本、推理框架、精度、GPU 型号与数量、CPU 和内存规格,以及并行、批处理、最大上下文长度和请求队列等配置。更改批处理策略、量化方式或模型版本后,原有并发上限应视为失效,至少需要对关键负载重新验证。
测试还要覆盖服务的实际运行形态。单机单卡得到的结果不能直接代表多卡或多实例服务;如果流量经过负载均衡,也应确认请求确实分布到各实例,而不是集中到某一台服务器。
推理服务的并发边界,也与承载模型的计算资源有关。A5idc数据提供香港和美国GPU服务器,配有A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,可为AI推理部署和模型测试提供硬件基础;不同地区还提供相应的网络线路方案,适用于面向不同访问区域的服务场景。
输入输出长度和请求比例
输入长度影响上下文处理的计算量和显存占用,输出长度则影响生成持续时间。只用短提示和少量输出做测试,往往会高估长文本请求下的容量。
建议按业务分布构造请求,而不是所有请求都复制同一条极短文本。没有稳定分布数据时,可以先划分轻、中、重三类负载,例如短输入短输出、较长输入中等输出、长上下文较长输出,再按预计比例混合测试。这里的长度范围应与服务实际限制相符,不要为了得到高吞吐结果而使用与生产差异很大的请求。
需要启用前缀缓存或其他缓存时,应分别测试缓存命中和未命中场景,并记录命中比例。只用重复输入让缓存持续命中,不能代表冷门请求较多时的容量。
预热和测试持续时间
模型加载、显存分配、编译或缓存建立可能使刚启动后的表现不同于稳定运行阶段。测试前应等待服务完成初始化,再进行一段预热;统计时排除预热阶段,同时保留冷启动测试作为单独结果。
每档并发应运行足以观察队列和尾延迟的时间。短时间突发测试能发现瞬时承载能力,但不能证明持续负载下不会出现显存增长、资源争抢或延迟漂移。可先采用每档数分钟的稳态测试筛选容量候选值,再对候选负载进行更长时间的复测。
用递增负载找到稳定边界
建议先测单并发或低并发基线,再逐档增加负载。步长可以采用 1、2、4、8……的倍增方式快速接近拐点,接近延迟目标时再改为较小步长,例如每次增加 2 到 4 个并发。若预计负载较小,也可以从细步长开始。
每一档测试都要记录相同的一组结果:
| 负载档位 | 成功请求吞吐 | p50 / p95 / p99 延迟 | 超时与错误率 | 队列长度变化 | GPU、CPU、显存 |
|---|---|---|---|---|---|
| 低并发 | 记录值 | 记录值 | 记录值 | 稳定或变化 | 记录值 |
| 中等并发 | 记录值 | 记录值 | 记录值 | 稳定或变化 | 记录值 |
| 高并发 | 记录值 | 记录值 | 记录值 | 稳定或变化 | 记录值 |
判断一档负载是否稳定,不应只看测试结束时的延迟。若队列在测试期间持续变长,即使短时间内吞吐量较高,服务也可能正在积累尚未处理的请求。还应关注成功请求吞吐量:客户端发送了多少请求,不代表服务实际完成了多少请求;失败、超时和被拒绝的请求都不能算作有效吞吐。
压测方式也会影响结论。固定并发的闭环测试中,每个客户端通常要等上一个请求完成后再发下一个请求。服务变慢时,客户端的实际发送速率会下降,因此这类测试适合观察固定在途请求数下的表现,却可能低估“外部请求仍持续到达”时的排队风险。
对于到达速率相对固定的业务,可以再做开放环测试:按预设的每秒请求数持续发起请求,观察服务是否能稳定完成相同速率,以及延迟和队列是否持续上升。如果压测工具无法按预定速率发出请求,也要记录被延迟或丢弃的迭代;工具本身跟不上时,测试结果不能代表服务已承受目标流量。

一个示例:区分吞吐拐点与延迟上限
以下数字用于说明判断方法,不代表特定硬件或模型的实测结果。设某推理服务的目标是 p95 不高于 2 秒、p99 不高于 5 秒,错误率低于 0.5%;每次请求采用同一模型、近似的输入输出长度和相同服务配置。
逐步增加并发后,可能得到如下趋势:

| 并发请求数 | 成功吞吐量 | p95 延迟 | p99 延迟 | 错误率 | 队列表现 |
|---|---|---|---|---|---|
| 32 | 约 24 req/s | 约 1.2 秒 | 约 2.5 秒 | 低于 0.1% | 基本稳定 |
| 48 | 约 36 req/s | 约 1.8 秒 | 约 3.9 秒 | 约 0.2% | 基本稳定 |
| 56 | 约 38 req/s | 约 2.7 秒 | 约 7.4 秒 | 约 1.6% | 持续增长 |
在这个示例中,从 48 增加到 56 个并发后,吞吐量只小幅上升,但 p95、p99、错误率和队列均明显恶化。对于上述延迟目标,48 个并发是通过测试的最高档位;56 个并发不应因为吞吐量仍在增长就被视为可用容量。
这并不意味着生产环境应直接把并发限制设置为 48。还需考虑流量波动、请求长度差异和其他实例故障等情况。如果业务希望保留约 20% 的并发余量,可以把初始运行目标设在约 38 个相似负载的在途请求附近,再通过实际流量持续验证。这个余量是容量规划选择,不是由示例数据推导出的通用比例。
当轻、中、重请求的资源成本差异很大时,应按业务组合复测,或者采用令牌数、队列等待时间等指标辅助限流。单一请求数阈值可能会让大量长请求挤占服务能力,使短请求也被拖慢。
资源利用率用来解释瓶颈,不单独决定容量
GPU 利用率持续偏高,可能说明计算资源接近饱和,但也可能是动态批处理提高了利用率;GPU 利用率不高,也不一定代表还可无限增加并发。请求可能正在等待 CPU 预处理、数据传输、队列调度或显存分配。
观察资源指标时,应把它们和延迟、队列放在同一时间轴上:
- GPU 利用率和显存:留意利用率是否接近持续饱和、显存是否逼近上限,以及延迟上升时是否出现显存不足或任务等待。
- CPU、内存和进程状态:如果 CPU 接近饱和而 GPU 利用率偏低,瓶颈可能在请求处理、分词或数据搬运等环节。
- 队列长度与等待时间:队列持续增长通常说明请求到达速度超过服务完成速度。只提升队列上限可能让更多请求等待,并不能增加模型的实际处理能力。
- 网络与磁盘:在模型已加载、请求体较小的场景中,它们未必是主要瓶颈;遇到大请求、远端存储或跨机传输时仍应核对。
Linux 云服务器上可用只读方式按秒查看 NVIDIA GPU 的部分指标:
nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv -l 1
该命令用于观察 GPU 利用率、显存和功耗,不会改变服务配置。实际可用字段会受驱动和设备支持情况影响;如果查询失败,可先执行 nvidia-smi 核对设备与驱动信息。GPU 指标也无法替代服务端的请求队列、推理耗时和错误日志。
把测试结果转换为可执行的并发限制
容量上限至少要分成三个层次:
- 测试通过上限:在固定测试条件下,延迟分位数、错误率和队列均满足目标的最高并发档位。
- 建议运行上限:从测试通过上限中预留波动空间后,用于正常运行的并发目标。
- 准入与排队策略:达到建议上限后,系统如何处理新请求,例如排队、限速、拒绝或转发到其他实例。
如果采用排队策略,应设置有界队列和明确的等待时间上限。无限增长的队列可能让请求最终都超时,同时占用连接、内存和客户端重试资源。若业务无法接受长时间等待,应在过载早期明确拒绝请求,并让调用方按受控策略重试,而不是让所有请求在服务端持续堆积。
服务有多个实例时,可以在单实例容量测试的基础上评估整体承载能力,但不能简单用“单机上限 × 实例数量”作为最终结论。负载是否均匀、实例规格是否一致、模型加载和批处理是否独立、扩缩容需要多久,都会改变整体表现。应在实际路由和实例数量下再做一轮容量验证,并测试单实例退出时剩余实例能否承接必要流量。
复测时保持条件可比
模型、推理框架、服务器规格、并发策略、输入输出长度分布或缓存命中率发生变化,都可能改变容量边界。复测时应沿用相同的请求样本、测试时长、预热方式和指标口径,并标记本次与上次的配置差异。
最终可将某个负载档位作为容量判断依据,前提是:目标延迟和错误率满足要求,队列不持续增长,资源没有持续逼近故障边界,成功吞吐与预期相符,并且在代表性请求组合和计划运行时长下复测通过。对实际业务流量,还应监控延迟分位数、成功吞吐、排队等待和错误率;当这些指标接近预警线时,及时降低准入并发、扩展实例或重新压测,而不是等到请求大量超时后才调整。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9819.html
