推理服务器如何依据模型规模、并发请求和响应目标规划资源?

发布人:A5数据发布时间:2026-10-17 15:37阅读量:176

推理服务器的容量,不是由模型参数量单独决定的。相同规模的模型,在短问答、长上下文、长文本生成和批量任务下,对显存、计算吞吐、并发槽位和响应时间的要求可能完全不同。规划时需要把峰值请求量、输入输出Token、上下文长度、响应目标和未来增长率放到同一套计算口径中。

真正需要回答的是:在目标响应时间内,服务器能够稳定处理多少请求;当模型变大、上下文变长或并发上升时,先会耗尽哪类资源;当前容量之外应保留多少余量;达到什么条件后应升级单机规格或增加推理副本。

先把业务负载画像做完整

并发数不等于每秒请求数

每秒请求数通常用 QPS 或 RPS 表示,并发数则表示某一时刻仍在处理中的请求数量。二者可以通过处理时长做初步估算:

平均并发数 ≈ 请求速率 × 平均处理时长

例如,业务峰值为每秒 10 个请求,平均一次请求从进入队列到完成需要 3 秒,则平均活动请求数约为 30 个。若响应时间波动明显,还要观察 p95 或 p99 延迟对应的活动请求量,不能只用平均延迟规划容量。

推理服务通常至少要同时关注以下指标:

  • RPS/QPS:每秒进入的请求数量。
  • 活动并发数:正在排队、预填充或生成中的请求数量。
  • 输入Token速率:每秒需要处理的提示词Token数。
  • 输出Token速率:每秒生成的Token数。
  • TTFT:从请求进入到返回第一个Token的时间。
  • TPOT:生成相邻Token的平均时间,或单Token生成延迟。
  • 端到端延迟:从请求进入到完整响应结束的时间。
  • 队列等待时间:请求未获得推理资源前等待的时间。

交互式问答更关注TTFT和端到端p95延迟,批量生成更关注单位时间完成的Token数。只用“每秒能处理多少请求”比较不同服务器,容易掩盖请求长度和响应长度差异。

按请求类型拆分峰值

平均请求长度往往不能代表真实峰值。建议至少按以下维度建立负载分布:

负载类型主要变量容易先出现的瓶颈规划重点
短问答输入短、输出短、并发高调度、队列、TTFT控制排队和首Token延迟
长上下文问答输入Token多、上下文窗口大显存和KV Cache计算活动请求数与上下文上限
长文本生成输出Token多解码吞吐和GPU计算观察TPOT、输出Token速率
RAG问答检索结果长度、文档数量CPU、网络、显存区分检索耗时与模型推理耗时
批量离线生成可排队、并发可调总吞吐、任务积压用完成时间和Token吞吐规划
多模态推理图片或音视频预处理、视觉TokenCPU、显存、数据传输单独统计输入大小和预处理时延

如果短问答和长上下文请求混在同一个副本中,短请求可能被长请求占用显存和解码资源。对响应目标差异明显的业务,通常应考虑划分独立推理池,而不是用一个平均值覆盖所有请求。

峰值、增长和数据规模要分开计算

未来某个月的峰值请求量可以用下面的方式估算:

未来峰值请求量 = 当前峰值请求量 ×(1 + 月增长率)^增长月数 × 峰值修正系数

例如,当前峰值为 12 RPS,预计月增长率为 10%,规划周期为 3 个月,另外预留 25%的突发系数:

  • 增长后的峰值:12 × 1.1³ ≈ 16 RPS;
  • 加入突发余量:16 × 1.25 ≈ 20 RPS。

这里的20 RPS是容量规划目标,不是服务器实测承载结果。实际计算还要使用目标模型、量化方式、输入输出Token分布和并发模式进行压测。

业务数据量也要拆分:

  • 模型文件大小影响本地磁盘、内存和显存装载;
  • 单次输入文档大小影响网络、CPU预处理和上下文Token数;
  • 向量库或检索索引大小主要影响存储和检索节点;
  • 日志、会话记录和缓存影响磁盘增长;
  • 数据量本身不会直接等比例转换成GPU吞吐,只有进入推理链路的内容才会形成实时推理负载。

把模型规模转换成资源需求

权重显存只是第一项

模型权重的理论占用可以先用下式估算:

权重大小 ≈ 参数数量 × 每参数位数 ÷ 8

以十进制GB作近似:

  • 7B模型使用FP16时,原始权重约为 7×10⁹×16÷8 = 14 GB;
  • 7B模型使用INT8时,原始权重约为 7 GB;
  • 7B模型使用INT4时,原始权重约为 3.5 GB。

实际运行时还需要为运行时框架、临时激活、CUDA上下文、算子工作区、量化元数据和显存碎片预留空间。因此,不能用“权重能放进显存”作为可运行的判断。

更完整的显存预算可以表示为:

总显存需求 = 模型权重 + KV Cache + 运行时开销 + 激活空间 + 安全余量

不同推理框架的开销不同,模型结构和量化方式也会改变结果。权重占用较小的量化模型,如果需要同时处理大量长上下文请求,仍然可能因为KV Cache耗尽显存。

长上下文会放大KV Cache

KV Cache可以用一个简化公式估算单Token占用:

单Token KV占用 ≈ 2 × 层数 × KV头数 × 每头维度 × 每元素字节数

其中的“2”通常对应Key和Value。举一个用于理解机制的架构示例:32层、8个KV头、每头128维,KV使用FP16,每个元素2字节,则:

2 × 32 × 8 × 128 × 2 = 131072字节,约128KB/Token

如果单个活动请求保留8192个Token的KV Cache,则约为:

128KB × 8192 ≈ 1GB

这是简化估算,实际结果还会受到KV布局、分页方式、框架实现和上下文实际占用影响。如果同时有8个类似请求,仅KV Cache就可能需要约8GB显存。使用INT4压缩权重并不会自动让KV Cache按相同比例下降,KV的数据类型需要单独确认。

把模型规模转换成资源需求|长上下文会放大KV Cache配图

因此,规划长上下文服务时,应记录以下分布,而不是只记录“最大上下文长度”:

  • 平均输入Token数;
  • p95和p99输入Token数;
  • 平均输出Token数;
  • 同时活动请求数;
  • 每个请求实际保留的KV Cache长度;
  • 是否启用请求合并、分页KV Cache或上下文复用。

GPU计算能力和显存容量需要同时满足

显存足够,不代表响应目标一定能达到。不同工作阶段消耗的资源不同:

  • Prefill阶段主要处理输入Token,长提示词会提高首Token延迟;
  • Decode阶段逐步生成输出Token,更容易受到并发、显存带宽和调度效率影响;
  • Batch调度可以提高设备利用率,但可能增加单个交互请求的等待时间;
  • 多GPU推理可以容纳更大模型,但会引入设备间通信和同步开销。

如果业务目标是“首Token快”,应重点测试不同输入长度下的TTFT;如果目标是“完整响应快”,则要同时测试输出Token数和TPOT;如果是批处理,则应观察总输出Token吞吐和任务积压时间。

CPU、内存、磁盘和网络不能被忽略

推理服务器的配套资源可按以下关系初步判断:

资源主要消耗来源容量不足的表现
CPU分词、请求解析、检索、图片预处理、调度GPU利用率不高但延迟上升
系统内存模型装载、CPU卸载、输入缓存、服务进程启动失败、频繁交换、进程被回收
本地磁盘模型文件、量化文件、缓存、日志发布时间变长、写入失败、磁盘告警
PCIe或设备互联CPU与GPU传输、多GPU通信GPU利用率波动、长请求延迟增加
网络请求体、检索结果、响应流、跨节点通信带宽打满、传输等待拉高端到端延迟
GPU显存权重、KV Cache、运行时空间OOM、请求排队、上下文被限制

例如,若单次请求体为200KB,峰值为20 RPS,则仅请求进入流量为:

200KB × 20 = 4000KB/s ≈ 4MB/s
4MB/s × 8 = 32Mb/s

这里使用十进制MB和Mb换算,1MB按8Mb计算。若是5MB文档、5 RPS,则为25MB/s,也就是200Mb/s,尚未计入响应数据、检索通信和协议开销。大文档RAG业务不能只按模型推理吞吐选GPU,还要核对网卡和检索链路。

用瓶颈判断服务器规格和副本数量

先判断是“放不下”还是“跑不快”

不同现象对应不同扩容方向:

用瓶颈判断服务器规格和副本数量|先判断是“放不下”还是“跑不快”配图

  • 启动时显存不足:优先增加显存、降低权重精度、缩短上下文或拆分模型;单纯增加CPU通常无效。
  • 运行中显存逐步升高并出现OOM:检查KV Cache、并发上限、最大上下文、缓存释放和请求取消逻辑。
  • GPU计算利用率长期较高,显存仍有余量:可能是计算吞吐不足,应考虑更高性能GPU或增加副本。
  • 显存利用率高、计算利用率不高:可能受显存带宽、KV Cache访问或批处理方式影响。
  • CPU长期繁忙而GPU空闲:检查分词、检索、图片处理、序列化和数据拷贝。
  • 队列长度上升但设备利用率不高:通常要排查锁、调度、网络、数据预处理或副本健康状态。
  • 多GPU下单卡利用率不均衡:检查并行切分、互联带宽和通信等待。

不同规模的初筛方向

下表只适合做选型初筛,不能替代同配置压测,也不代表固定的请求承载能力。

使用场景更关注的资源适合的初筛方向不适用边界
小模型、分类、重排序或低并发短文本CPU、内存、响应延迟先验证CPU吞吐和内存占用不适合直接推导长文本生成能力
7B至14B级量化模型、普通交互单卡显存、KV Cache、解码吞吐优先验证单卡是否容纳权重和目标并发长上下文或高峰并发可能迅速放大显存需求
更大模型或较长上下文多卡显存、设备互联、通信开销先验证模型切分后单请求延迟和并发吞吐不能把多卡显存简单相加后视为线性性能
批量离线生成总Token吞吐、任务队列、存储可以提高批大小并接受更长单请求等待不适合直接套用交互式p95标准
混合交互与批处理调度隔离、优先级、独立副本建议拆分服务池或设置资源配额共用副本容易造成长任务拖慢短请求

对于单卡能装下的模型,增加副本通常比盲目采用多卡更容易控制故障域和扩容节奏。对于单卡无法容纳的模型,多卡是容量前提,但需要把设备互联和通信时间纳入响应验收。

推理服务器的资源组合与部署地区同样关系到容量规划。A5数据提供香港、美国等地区的物理服务器租用,涵盖常规计算与GPU方案;香港和美国GPU系列配有A100 80GB或RTX 4090等显卡选项,并搭配服务器CPU、内存和NVMe存储,可为AI推理及模型运行提供硬件基础。多地区的CPU、存储和网络线路选择,也能服务于不同部署位置和业务负载的资源规划。

用一个假设案例推演副本数量

设定一个用于规划的业务场景:

  • 当前峰值为12 RPS;
  • 未来3个月月增长率为10%;
  • 峰值突发修正系数为1.25;
  • 目标端到端p95延迟为4秒;
  • 平均输入为1000 Token,平均输出为300 Token;
  • 候选模型和运行参数保持不变;
  • 压测得到单个推理副本在目标p95下可稳定处理6 RPS。

先计算未来容量目标:

12 × 1.1³ × 1.25 ≈ 20 RPS

按4秒响应时间做并发量的粗略估算:

20 RPS × 4秒 ≈ 80个活动请求

80是活动请求槽位的规划量,不代表服务器必须配置80个并行执行线程。实际并发上限还要由KV Cache、批处理策略和调度器决定。

再计算Token负载:

  • 输入Token速率:20 × 1000 = 20000 Token/s;
  • 输出Token速率:20 × 300 = 6000 Token/s。

输入和输出阶段的计算特征不同,候选设备的压测必须使用接近这个Token分布的请求,而不是只发送固定的短提示词。

如果单副本在目标响应标准下的验证能力为6 RPS,不直接把6 RPS全部作为长期运行能力,而按80%作为日常运行上限:

单副本有效容量 = 6 × 0.8 = 4.8 RPS
所需副本数 = 向上取整(20 ÷ 4.8)= 5个

因此,5个副本可以作为不考虑故障冗余时的估算结果。如果还要求任意1个副本维护或故障后仍能覆盖20 RPS,则需要满足:

用一个假设案例推演副本数量配图

(副本总数 - 1)× 4.8 ≥ 20

此时至少需要6个副本,因为6个可用副本的容量为28.8 RPS,而5个可用副本只有24 RPS。这个结果只在压测条件、模型版本、量化方式、输入输出Token分布和调度策略一致时成立,不能直接理解为某类服务器的固定承诺。

余量要对应增长和故障目标

容量余量不宜只写成一个固定百分比,应拆成三部分:

  1. 日常运行余量:防止设备长期满载导致队列和延迟快速恶化;
  2. 流量突发余量:覆盖发布活动、定时任务或短时间流量波动;
  3. 维护与故障余量:允许副本下线、模型重新加载或单节点故障。

如果业务波动稳定、请求长度较集中,日常运行点可以先按压测上限的70%至80%规划;如果长上下文占比高、请求长度变化大,或需要较强的故障冗余,则应采用更保守的运行点。这个区间是容量规划的起始参考,最终应由历史峰值和压测曲线校准。

模型服务还应避免把显存使用率长期推到接近满载。即使当前请求没有OOM,突发长上下文也可能突然增加KV Cache。对交互式生成,显存、活动并发和队列长度应同时设定上限,不能只依赖GPU利用率自动判断容量是否充足。

验收时保持同一口径

候选服务器或推理实例的比较,必须使用相同的测试条件:

  • 相同模型版本、权重格式和量化方式;
  • 相同最大上下文、最大输出Token数和停止条件;
  • 相同输入Token、输出Token分布;
  • 相同流式或非流式返回方式;
  • 分别测试冷启动和模型已加载状态;
  • 分别测试单请求、低并发、目标并发和超目标并发;
  • 记录TTFT、TPOT、端到端p50/p95/p99、队列等待时间;
  • 同时记录GPU显存、GPU计算利用率、CPU、系统内存、网络和错误率。

验收不能只看平均延迟。若平均响应为2秒,但p95达到8秒,交互业务仍可能频繁超出目标。批量业务则需要增加“任务积压是否在规定时间内清空”和“单位时间完成Token数”两项指标。

当模型更新、量化方式改变、上下文上限提高或请求类型比例变化时,应重新压测。尤其是从4K上下文提升到16K上下文,显存和调度特征可能发生明显变化,原有副本数量不能直接沿用。

用监控数据确定扩容触发点

监控应按“负载、延迟、资源、错误”四组指标建立关联,而不是只设置一个GPU利用率告警。

负载指标

  • 峰值RPS和每分钟请求数;
  • 活动并发数;
  • 输入和输出Token速率;
  • 请求队列长度及队列等待时间;
  • 各上下文长度区间的请求占比;
  • 长响应和异常未结束请求数量。

延迟和服务质量指标

  • TTFT的p50、p95和p99;
  • TPOT的p50、p95和p99;
  • 端到端延迟的p95和p99;
  • 超时、取消、限流和推理错误比例;
  • 流式响应中断率;
  • 批处理任务积压时长。

资源指标

  • GPU显存使用率和KV Cache使用量;
  • GPU计算利用率、显存带宽和设备间通信;
  • CPU使用率、系统内存和交换空间;
  • 磁盘剩余空间、模型加载时间和日志写入速率;
  • 网卡吞吐、丢包、跨节点传输延迟;
  • 每个副本的请求分布是否均衡。

可以先采用以下方式设置候选阈值,再根据实际SLO修正:

  • 资源连续多个高峰周期超过70%至80%,进入容量评估;
  • GPU显存持续超过85%,或KV Cache接近上限,优先检查长上下文和并发限制;
  • 队列等待时间持续增长,且目标p95延迟连续两个或三个完整高峰周期超标,触发扩容;
  • 实际有效吞吐达到压测容量的80%至85%,开始准备新增副本;
  • 任一副本下线后,剩余容量无法覆盖未来峰值,提前补充冗余;
  • 模型更新、输入长度或输出长度增加超过原压测范围时,重新建立基线,不沿用旧阈值。

扩容方式取决于瓶颈位置:模型或KV Cache放不下时,优先增加显存或调整模型与上下文配置;单副本已经满足模型装载但吞吐不足时,优先增加副本;只有在单副本延迟、通信和故障域都可接受时,才考虑继续扩大单机多卡规模。这样才能把并发请求、数据规模、响应目标和增长空间转换为可验证的服务器容量,而不是只依据模型参数量进行估算。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4261.html