推理服务器如何依据模型规模、并发请求和响应目标规划资源?
推理服务器的容量,不是由模型参数量单独决定的。相同规模的模型,在短问答、长上下文、长文本生成和批量任务下,对显存、计算吞吐、并发槽位和响应时间的要求可能完全不同。规划时需要把峰值请求量、输入输出Token、上下文长度、响应目标和未来增长率放到同一套计算口径中。
真正需要回答的是:在目标响应时间内,服务器能够稳定处理多少请求;当模型变大、上下文变长或并发上升时,先会耗尽哪类资源;当前容量之外应保留多少余量;达到什么条件后应升级单机规格或增加推理副本。
先把业务负载画像做完整
并发数不等于每秒请求数
每秒请求数通常用 QPS 或 RPS 表示,并发数则表示某一时刻仍在处理中的请求数量。二者可以通过处理时长做初步估算:
平均并发数 ≈ 请求速率 × 平均处理时长
例如,业务峰值为每秒 10 个请求,平均一次请求从进入队列到完成需要 3 秒,则平均活动请求数约为 30 个。若响应时间波动明显,还要观察 p95 或 p99 延迟对应的活动请求量,不能只用平均延迟规划容量。
推理服务通常至少要同时关注以下指标:
- RPS/QPS:每秒进入的请求数量。
- 活动并发数:正在排队、预填充或生成中的请求数量。
- 输入Token速率:每秒需要处理的提示词Token数。
- 输出Token速率:每秒生成的Token数。
- TTFT:从请求进入到返回第一个Token的时间。
- TPOT:生成相邻Token的平均时间,或单Token生成延迟。
- 端到端延迟:从请求进入到完整响应结束的时间。
- 队列等待时间:请求未获得推理资源前等待的时间。
交互式问答更关注TTFT和端到端p95延迟,批量生成更关注单位时间完成的Token数。只用“每秒能处理多少请求”比较不同服务器,容易掩盖请求长度和响应长度差异。
按请求类型拆分峰值
平均请求长度往往不能代表真实峰值。建议至少按以下维度建立负载分布:
| 负载类型 | 主要变量 | 容易先出现的瓶颈 | 规划重点 |
|---|---|---|---|
| 短问答 | 输入短、输出短、并发高 | 调度、队列、TTFT | 控制排队和首Token延迟 |
| 长上下文问答 | 输入Token多、上下文窗口大 | 显存和KV Cache | 计算活动请求数与上下文上限 |
| 长文本生成 | 输出Token多 | 解码吞吐和GPU计算 | 观察TPOT、输出Token速率 |
| RAG问答 | 检索结果长度、文档数量 | CPU、网络、显存 | 区分检索耗时与模型推理耗时 |
| 批量离线生成 | 可排队、并发可调 | 总吞吐、任务积压 | 用完成时间和Token吞吐规划 |
| 多模态推理 | 图片或音视频预处理、视觉Token | CPU、显存、数据传输 | 单独统计输入大小和预处理时延 |
如果短问答和长上下文请求混在同一个副本中,短请求可能被长请求占用显存和解码资源。对响应目标差异明显的业务,通常应考虑划分独立推理池,而不是用一个平均值覆盖所有请求。
峰值、增长和数据规模要分开计算
未来某个月的峰值请求量可以用下面的方式估算:
未来峰值请求量 = 当前峰值请求量 ×(1 + 月增长率)^增长月数 × 峰值修正系数
例如,当前峰值为 12 RPS,预计月增长率为 10%,规划周期为 3 个月,另外预留 25%的突发系数:
- 增长后的峰值:12 × 1.1³ ≈ 16 RPS;
- 加入突发余量:16 × 1.25 ≈ 20 RPS。
这里的20 RPS是容量规划目标,不是服务器实测承载结果。实际计算还要使用目标模型、量化方式、输入输出Token分布和并发模式进行压测。
业务数据量也要拆分:
- 模型文件大小影响本地磁盘、内存和显存装载;
- 单次输入文档大小影响网络、CPU预处理和上下文Token数;
- 向量库或检索索引大小主要影响存储和检索节点;
- 日志、会话记录和缓存影响磁盘增长;
- 数据量本身不会直接等比例转换成GPU吞吐,只有进入推理链路的内容才会形成实时推理负载。
把模型规模转换成资源需求
权重显存只是第一项
模型权重的理论占用可以先用下式估算:
权重大小 ≈ 参数数量 × 每参数位数 ÷ 8
以十进制GB作近似:
- 7B模型使用FP16时,原始权重约为 7×10⁹×16÷8 = 14 GB;
- 7B模型使用INT8时,原始权重约为 7 GB;
- 7B模型使用INT4时,原始权重约为 3.5 GB。
实际运行时还需要为运行时框架、临时激活、CUDA上下文、算子工作区、量化元数据和显存碎片预留空间。因此,不能用“权重能放进显存”作为可运行的判断。
更完整的显存预算可以表示为:
总显存需求 = 模型权重 + KV Cache + 运行时开销 + 激活空间 + 安全余量
不同推理框架的开销不同,模型结构和量化方式也会改变结果。权重占用较小的量化模型,如果需要同时处理大量长上下文请求,仍然可能因为KV Cache耗尽显存。
长上下文会放大KV Cache
KV Cache可以用一个简化公式估算单Token占用:
单Token KV占用 ≈ 2 × 层数 × KV头数 × 每头维度 × 每元素字节数
其中的“2”通常对应Key和Value。举一个用于理解机制的架构示例:32层、8个KV头、每头128维,KV使用FP16,每个元素2字节,则:
2 × 32 × 8 × 128 × 2 = 131072字节,约128KB/Token
如果单个活动请求保留8192个Token的KV Cache,则约为:
128KB × 8192 ≈ 1GB
这是简化估算,实际结果还会受到KV布局、分页方式、框架实现和上下文实际占用影响。如果同时有8个类似请求,仅KV Cache就可能需要约8GB显存。使用INT4压缩权重并不会自动让KV Cache按相同比例下降,KV的数据类型需要单独确认。

因此,规划长上下文服务时,应记录以下分布,而不是只记录“最大上下文长度”:
- 平均输入Token数;
- p95和p99输入Token数;
- 平均输出Token数;
- 同时活动请求数;
- 每个请求实际保留的KV Cache长度;
- 是否启用请求合并、分页KV Cache或上下文复用。
GPU计算能力和显存容量需要同时满足
显存足够,不代表响应目标一定能达到。不同工作阶段消耗的资源不同:
- Prefill阶段主要处理输入Token,长提示词会提高首Token延迟;
- Decode阶段逐步生成输出Token,更容易受到并发、显存带宽和调度效率影响;
- Batch调度可以提高设备利用率,但可能增加单个交互请求的等待时间;
- 多GPU推理可以容纳更大模型,但会引入设备间通信和同步开销。
如果业务目标是“首Token快”,应重点测试不同输入长度下的TTFT;如果目标是“完整响应快”,则要同时测试输出Token数和TPOT;如果是批处理,则应观察总输出Token吞吐和任务积压时间。
CPU、内存、磁盘和网络不能被忽略
推理服务器的配套资源可按以下关系初步判断:
| 资源 | 主要消耗来源 | 容量不足的表现 |
|---|---|---|
| CPU | 分词、请求解析、检索、图片预处理、调度 | GPU利用率不高但延迟上升 |
| 系统内存 | 模型装载、CPU卸载、输入缓存、服务进程 | 启动失败、频繁交换、进程被回收 |
| 本地磁盘 | 模型文件、量化文件、缓存、日志 | 发布时间变长、写入失败、磁盘告警 |
| PCIe或设备互联 | CPU与GPU传输、多GPU通信 | GPU利用率波动、长请求延迟增加 |
| 网络 | 请求体、检索结果、响应流、跨节点通信 | 带宽打满、传输等待拉高端到端延迟 |
| GPU显存 | 权重、KV Cache、运行时空间 | OOM、请求排队、上下文被限制 |
例如,若单次请求体为200KB,峰值为20 RPS,则仅请求进入流量为:
200KB × 20 = 4000KB/s ≈ 4MB/s
4MB/s × 8 = 32Mb/s
这里使用十进制MB和Mb换算,1MB按8Mb计算。若是5MB文档、5 RPS,则为25MB/s,也就是200Mb/s,尚未计入响应数据、检索通信和协议开销。大文档RAG业务不能只按模型推理吞吐选GPU,还要核对网卡和检索链路。
用瓶颈判断服务器规格和副本数量
先判断是“放不下”还是“跑不快”
不同现象对应不同扩容方向:

- 启动时显存不足:优先增加显存、降低权重精度、缩短上下文或拆分模型;单纯增加CPU通常无效。
- 运行中显存逐步升高并出现OOM:检查KV Cache、并发上限、最大上下文、缓存释放和请求取消逻辑。
- GPU计算利用率长期较高,显存仍有余量:可能是计算吞吐不足,应考虑更高性能GPU或增加副本。
- 显存利用率高、计算利用率不高:可能受显存带宽、KV Cache访问或批处理方式影响。
- CPU长期繁忙而GPU空闲:检查分词、检索、图片处理、序列化和数据拷贝。
- 队列长度上升但设备利用率不高:通常要排查锁、调度、网络、数据预处理或副本健康状态。
- 多GPU下单卡利用率不均衡:检查并行切分、互联带宽和通信等待。
不同规模的初筛方向
下表只适合做选型初筛,不能替代同配置压测,也不代表固定的请求承载能力。
| 使用场景 | 更关注的资源 | 适合的初筛方向 | 不适用边界 |
|---|---|---|---|
| 小模型、分类、重排序或低并发短文本 | CPU、内存、响应延迟 | 先验证CPU吞吐和内存占用 | 不适合直接推导长文本生成能力 |
| 7B至14B级量化模型、普通交互 | 单卡显存、KV Cache、解码吞吐 | 优先验证单卡是否容纳权重和目标并发 | 长上下文或高峰并发可能迅速放大显存需求 |
| 更大模型或较长上下文 | 多卡显存、设备互联、通信开销 | 先验证模型切分后单请求延迟和并发吞吐 | 不能把多卡显存简单相加后视为线性性能 |
| 批量离线生成 | 总Token吞吐、任务队列、存储 | 可以提高批大小并接受更长单请求等待 | 不适合直接套用交互式p95标准 |
| 混合交互与批处理 | 调度隔离、优先级、独立副本 | 建议拆分服务池或设置资源配额 | 共用副本容易造成长任务拖慢短请求 |
对于单卡能装下的模型,增加副本通常比盲目采用多卡更容易控制故障域和扩容节奏。对于单卡无法容纳的模型,多卡是容量前提,但需要把设备互联和通信时间纳入响应验收。
推理服务器的资源组合与部署地区同样关系到容量规划。A5数据提供香港、美国等地区的物理服务器租用,涵盖常规计算与GPU方案;香港和美国GPU系列配有A100 80GB或RTX 4090等显卡选项,并搭配服务器CPU、内存和NVMe存储,可为AI推理及模型运行提供硬件基础。多地区的CPU、存储和网络线路选择,也能服务于不同部署位置和业务负载的资源规划。
用一个假设案例推演副本数量
设定一个用于规划的业务场景:
- 当前峰值为12 RPS;
- 未来3个月月增长率为10%;
- 峰值突发修正系数为1.25;
- 目标端到端p95延迟为4秒;
- 平均输入为1000 Token,平均输出为300 Token;
- 候选模型和运行参数保持不变;
- 压测得到单个推理副本在目标p95下可稳定处理6 RPS。
先计算未来容量目标:
12 × 1.1³ × 1.25 ≈ 20 RPS
按4秒响应时间做并发量的粗略估算:
20 RPS × 4秒 ≈ 80个活动请求
80是活动请求槽位的规划量,不代表服务器必须配置80个并行执行线程。实际并发上限还要由KV Cache、批处理策略和调度器决定。
再计算Token负载:
- 输入Token速率:20 × 1000 = 20000 Token/s;
- 输出Token速率:20 × 300 = 6000 Token/s。
输入和输出阶段的计算特征不同,候选设备的压测必须使用接近这个Token分布的请求,而不是只发送固定的短提示词。
如果单副本在目标响应标准下的验证能力为6 RPS,不直接把6 RPS全部作为长期运行能力,而按80%作为日常运行上限:
单副本有效容量 = 6 × 0.8 = 4.8 RPS
所需副本数 = 向上取整(20 ÷ 4.8)= 5个
因此,5个副本可以作为不考虑故障冗余时的估算结果。如果还要求任意1个副本维护或故障后仍能覆盖20 RPS,则需要满足:

(副本总数 - 1)× 4.8 ≥ 20
此时至少需要6个副本,因为6个可用副本的容量为28.8 RPS,而5个可用副本只有24 RPS。这个结果只在压测条件、模型版本、量化方式、输入输出Token分布和调度策略一致时成立,不能直接理解为某类服务器的固定承诺。
余量要对应增长和故障目标
容量余量不宜只写成一个固定百分比,应拆成三部分:
- 日常运行余量:防止设备长期满载导致队列和延迟快速恶化;
- 流量突发余量:覆盖发布活动、定时任务或短时间流量波动;
- 维护与故障余量:允许副本下线、模型重新加载或单节点故障。
如果业务波动稳定、请求长度较集中,日常运行点可以先按压测上限的70%至80%规划;如果长上下文占比高、请求长度变化大,或需要较强的故障冗余,则应采用更保守的运行点。这个区间是容量规划的起始参考,最终应由历史峰值和压测曲线校准。
模型服务还应避免把显存使用率长期推到接近满载。即使当前请求没有OOM,突发长上下文也可能突然增加KV Cache。对交互式生成,显存、活动并发和队列长度应同时设定上限,不能只依赖GPU利用率自动判断容量是否充足。
验收时保持同一口径
候选服务器或推理实例的比较,必须使用相同的测试条件:
- 相同模型版本、权重格式和量化方式;
- 相同最大上下文、最大输出Token数和停止条件;
- 相同输入Token、输出Token分布;
- 相同流式或非流式返回方式;
- 分别测试冷启动和模型已加载状态;
- 分别测试单请求、低并发、目标并发和超目标并发;
- 记录TTFT、TPOT、端到端p50/p95/p99、队列等待时间;
- 同时记录GPU显存、GPU计算利用率、CPU、系统内存、网络和错误率。
验收不能只看平均延迟。若平均响应为2秒,但p95达到8秒,交互业务仍可能频繁超出目标。批量业务则需要增加“任务积压是否在规定时间内清空”和“单位时间完成Token数”两项指标。
当模型更新、量化方式改变、上下文上限提高或请求类型比例变化时,应重新压测。尤其是从4K上下文提升到16K上下文,显存和调度特征可能发生明显变化,原有副本数量不能直接沿用。
用监控数据确定扩容触发点
监控应按“负载、延迟、资源、错误”四组指标建立关联,而不是只设置一个GPU利用率告警。
负载指标
- 峰值RPS和每分钟请求数;
- 活动并发数;
- 输入和输出Token速率;
- 请求队列长度及队列等待时间;
- 各上下文长度区间的请求占比;
- 长响应和异常未结束请求数量。
延迟和服务质量指标
- TTFT的p50、p95和p99;
- TPOT的p50、p95和p99;
- 端到端延迟的p95和p99;
- 超时、取消、限流和推理错误比例;
- 流式响应中断率;
- 批处理任务积压时长。
资源指标
- GPU显存使用率和KV Cache使用量;
- GPU计算利用率、显存带宽和设备间通信;
- CPU使用率、系统内存和交换空间;
- 磁盘剩余空间、模型加载时间和日志写入速率;
- 网卡吞吐、丢包、跨节点传输延迟;
- 每个副本的请求分布是否均衡。
可以先采用以下方式设置候选阈值,再根据实际SLO修正:
- 资源连续多个高峰周期超过70%至80%,进入容量评估;
- GPU显存持续超过85%,或KV Cache接近上限,优先检查长上下文和并发限制;
- 队列等待时间持续增长,且目标p95延迟连续两个或三个完整高峰周期超标,触发扩容;
- 实际有效吞吐达到压测容量的80%至85%,开始准备新增副本;
- 任一副本下线后,剩余容量无法覆盖未来峰值,提前补充冗余;
- 模型更新、输入长度或输出长度增加超过原压测范围时,重新建立基线,不沿用旧阈值。
扩容方式取决于瓶颈位置:模型或KV Cache放不下时,优先增加显存或调整模型与上下文配置;单副本已经满足模型装载但吞吐不足时,优先增加副本;只有在单副本延迟、通信和故障域都可接受时,才考虑继续扩大单机多卡规模。这样才能把并发请求、数据规模、响应目标和增长空间转换为可验证的服务器容量,而不是只依据模型参数量进行估算。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4261.html