推理服务器如何按模型规模、并发请求与显存需求规划配置
一台推理服务器是否够用,不能只看模型有多少参数。在线客服关心的是高峰期能否及时返回,文档抽取关心的是每小时处理量,RAG 应用还要承担检索、重排和上下文拼接。模型规模主要决定显存底线,并发请求决定计算与 KV Cache 压力,输入数据量和业务链路则会把压力传导到 CPU、内存、磁盘和网络。
因此,配置规划应先回答四个问题:高峰期有多少请求同时处理,每个请求包含多少输入和输出,模型采用何种精度或量化方式,以及业务允许多长的首字延迟和排队时间。明确这些条件后,再决定使用单卡、多卡还是多台服务器,而不是先购买一台显存最大的机器再寻找适用场景。
一、从业务动作识别推理负载
在线对话:并发和响应时延优先
客服、知识库问答、智能助手通常是持续到达的在线请求。它们的特点是请求数量波动明显,输入上下文长度不固定,输出需要流式返回,用户对首字延迟和整体响应时间都比较敏感。
这类业务需要重点记录:
- 高峰每秒请求数,即峰值 RPS;
- 同时处于生成状态的请求数;
- 平均输入 token、平均输出 token和最大上下文长度;
- 首字延迟、单 token 生成延迟、P95 或 P99 总耗时;
- 是否允许排队,以及排队上限是多少。
如果峰值每秒进入 10 个请求,平均一次请求从进入到结束需要 2.5 秒,那么并发请求量可以按“请求速率 × 平均处理时间”估算:
并发数 ≈ 10 请求/秒 × 2.5 秒 = 25 个请求
如果业务高峰存在约两倍的瞬时流量,服务器就不能只按 25 个并发准备,还需要评估 40~50 个活跃请求时的显存、队列和延迟表现。
在线大模型的并发不只消耗计算资源。每个请求在生成过程中都要保留上下文对应的 KV Cache,输入越长、输出越长、并发越高,KV Cache 占用越大。对于长上下文问答,显存可能先被 KV Cache 和运行时缓存占满,而不是被模型权重占满。
批量处理:吞吐量优先
合同分类、发票识别、商品标题改写、长文摘要等任务,通常按队列批量处理。业务更关心每小时或每天处理多少条数据,允许单条任务等待一定时间,但希望 GPU 长时间保持较高利用率。
这类业务应采用“总任务量 ÷ 可用处理时间”的方式估算吞吐需求。例如每天需要处理 360 万条短文本,允许在 10 小时内完成:
每小时任务量 = 360 万 ÷ 10 = 36 万条/小时
每秒任务量 = 36 万 ÷ 3600 ≈ 100 条/秒
实际配置还要考虑数据清洗、失败重试、夜间任务集中启动等因素。若单条输入长度差异很大,不能只按平均长度估算,应至少分别测试短文本、中等文本和长文本三组样本。
批处理可以使用动态批处理提高设备利用率,但批次越大,显存占用和单次等待时间通常也会增加。对于模型规模相同的服务器,适合批量处理的配置不一定适合低延迟对话。
向量、重排和多模态:模型参数不是唯一变量
Embedding 服务通常输出固定维度向量,单次计算量可能低于生成式大模型,但请求量大、批次密集,CPU 和网络访问向量数据库的压力可能更明显。Reranker 需要读取候选文档并进行多次匹配,输入长度和候选数量会直接影响吞吐。
OCR、图片理解、视频抽帧等多模态业务还需要处理图片解码、缩放、预处理和文件传输。此时应同时核算:
- 单张图片或单帧的平均与最大尺寸;
- 每个请求包含的图片数量;
- 图片解码和预处理是否占用 CPU;
- 原始文件是否需要落盘;
- 结果是否包含大体积图片、表格或结构化数据。
同一个 7B 级文本模型与一个包含视觉编码器的多模态模型,即使语言部分参数接近,实际显存、CPU 和磁盘需求也可能不同,不能仅凭参数规模套用配置。
二、模型规模、精度与显存需求
先估算模型权重的基础占用
模型权重的粗略显存占用可以按以下方式计算:
权重占用 ≈ 参数量 × 每个参数所需字节数
常见精度的每参数占用可按下表进行首轮估算:
| 精度或格式 | 每参数约占用 | 7B 模型权重理论值 | 说明 |
|---|---|---|---|
| FP32 | 4 字节 | 约 28GB | 显存占用大,推理场景较少直接采用 |
| FP16/BF16 | 2 字节 | 约 14GB | 常见的高精度推理方式 |
| INT8 | 1 字节 | 约 7GB | 需要确认推理框架和模型是否支持 |
| INT4 | 0.5 字节 | 约 3.5GB | 理论值较低,实际还包含量化参数和运行时开销 |
上表只是模型权重的理论值,不等于服务器运行时的实际显存占用。加载模型时还可能需要分配量化元数据、算子工作区、激活值、CUDA 缓存以及框架自身的管理空间。实际配置可以使用以下思路:
目标显存 ≈ 模型权重 + 运行时工作区 + KV Cache + 安全余量
对于长度变化较大的在线请求,建议为显存预留约 15%~30% 的余量作为初始规划范围。长上下文、动态批处理、多模态输入和多个模型进程同时运行时,余量还需要进一步增加。
7B、14B、32B和70B级别的差异
以常见量化方式做粗略判断:
- 7B~8B 模型使用 INT4 时,权重本身可能只需要约 4GB,但在线服务通常还要给 KV Cache 和运行时空间留出余量,16GB 显存适合轻量场景,24GB 更便于处理更高并发或更长上下文。
- 13B~14B 模型使用 INT8 或 FP16 时,显存需求明显上升。若同时要求较长上下文和较高并发,24GB 可能较紧,需要评估 48GB 级别显存或多卡方案。
- 30B~34B 模型使用 INT4 后,权重规模仍可能达到十几GB,配合运行时缓存和并发请求,通常需要 48GB~80GB 级别显存,具体取决于上下文长度和推理框架。
- 70B级别模型即便采用 INT4,权重理论值也可能接近 35GB,实际运行通常需要更大显存或多卡切分。若还要支持长上下文和多个并发请求,单张 48GB 显卡往往缺少足够余量。
参数量只能用于确定大致显存级别。相同参数量的模型,层数、隐藏维度、注意力结构、量化格式和上下文长度不同,KV Cache以及运行时开销也会不同。最终配置应使用目标模型、目标量化格式和目标请求样本进行实测验证,而不能只验证模型能否成功加载。
并发如何改变显存和计算压力
生成式模型的请求通常经历预填充和逐 token 解码两个阶段:

- 预填充阶段处理输入上下文,输入很长时会产生明显的计算和显存压力;
- 解码阶段逐步生成输出,并持续保留每个请求的 KV Cache;
- 并发增加时,KV Cache 近似按活跃请求数量和上下文长度增长;
- 输出越长,GPU 持续占用时间越长,排队请求也越容易增加。
因此,10 个短问答请求和 10 个包含长篇文档的请求,不能视为相同负载。产品验收时应至少准备三种场景:
- 短输入、短输出,观察基础首字延迟;
- 中等输入、常规输出,观察正常业务吞吐;
- 长输入、长输出,观察显存峰值和高并发下的尾延迟。
三、CPU、内存、磁盘和网络如何映射
CPU:承担预处理、调度和数据链路
GPU 推理并不意味着 CPU 可以随意缩减。CPU 需要承担请求接入、鉴权、分词、图片解码、数据清洗、批处理调度、结果序列化以及日志处理。RAG 服务还可能在同一台服务器上运行文档切分、向量检索或重排任务。
可以将 CPU 配置按业务角色理解:
| 业务形态 | CPU规划重点 | 参考起点 |
|---|---|---|
| 单模型、文本输入、GPU推理 | 请求调度和分词 | 8~16个物理核心 |
| GPU推理加RAG或重排 | 检索、重排、序列化 | 16~32个物理核心 |
| 图片、音频或视频预处理 | 解码、转码、批量预处理 | 24~64个物理核心 |
| 纯CPU推理或大量批处理 | 矩阵计算和线程并行 | 32个物理核心以上 |
这些是配置起点,不是固定承载能力。若监控中 GPU 利用率长期低于预期,但 CPU 使用率接近满载,通常应先检查分词、图片处理、数据读取和请求调度,而不是继续增加 GPU。
多 GPU 服务器还要关注 PCIe 通道、CPU NUMA 拓扑和设备间通信路径。两张显卡理论显存相加,不一定等同于一张拥有相同总显存的单卡。模型切分需要推理框架支持,设备之间的通信速度也会影响长上下文和高并发场景。

内存:不要把系统内存当成显存的替代品
系统内存主要用于模型加载、权重转换、文件缓存、分词器、RAG 数据、任务队列和服务进程。显存不足时,部分框架可以尝试卸载或交换,但这通常会显著影响延迟,不能把系统内存简单当作显存扩容。
可采用以下范围作为初步规划:
- 7B~8B GPU 推理:系统内存可从 64GB~128GB 起步;
- 13B~34B GPU 推理:通常需要 128GB~256GB,具体取决于模型副本和数据服务数量;
- 70B级别或多卡切分:可从 256GB~512GB 评估;
- 纯CPU推理、多个模型并行或大量文档缓存:系统内存还需要在上述基础上增加。
如果服务器同时承载向量数据库、检索服务或大规模文档缓存,内存应根据这些服务单独核算。观察指标包括可用内存、Swap 使用量、进程 RSS、页面回收和模型加载时的峰值内存。出现频繁 Swap 或模型加载期间系统响应明显变慢,通常说明系统内存不足。
磁盘:重点看模型加载和数据落盘
推理运行阶段不一定持续产生大量磁盘 I/O,但模型首次加载、容器启动、量化文件读取、缓存建立和日志写入都可能形成突发压力。对于需要频繁重启、扩缩容或切换模型的服务,NVMe 固态盘通常比普通机械盘更适合作为模型盘。
磁盘容量可以按以下方式估算:
所需容量 ≈ 模型文件总量 × 保留副本数 + 容器与缓存 + 日志空间 + 预留空间
例如,服务器需要保存一个 FP16 模型文件、一个 INT4 文件、一个备用版本和若干运行时缓存,就不能只按当前正在运行的那一份模型容量购买磁盘。建议将模型文件、系统盘、业务数据和日志进行分区或至少进行目录配额管理,避免日志增长占满模型盘。
磁盘验收应分别检查:
- 顺序读取速度是否满足模型加载时间要求;
- 随机读取和小文件访问是否影响容器启动;
- 磁盘健康状态、寿命和温度;
- 模型盘故障后是否有备用副本;
- 日志保留周期是否与容量匹配。
网络:分别计算南北向和东西向流量
外部 API 流量主要包括请求正文、流式输出、图片或音频文件;内部流量则包括检索数据库访问、多卡之间的模型通信、对象存储读取和日志传输。网络带宽不能只根据请求数量判断,还要乘以单次数据量。
例如,峰值为每分钟 1000 个请求,每个请求返回约 200KB 数据,按十进制单位计算:
每分钟数据量 = 1000 × 200KB = 200,000KB = 200MB
每分钟比特量 = 200MB × 8 × 1000 = 1,600,000Mb
平均带宽 = 1,600,000Mb ÷ 60 ≈ 26.7Mbps
如果每个请求还上传 2MB 图片,则仅图片输入一项就是:
1000 × 2MB × 8 × 1000 ÷ 60 ≈ 266.7Mbps
这还没有计算协议开销、重试、突发流量和内部访问。对于普通文本接口,1GbE 可能已经能够覆盖外部流量,但需要结合业务峰值和网络隔离判断;图片、多媒体和多机检索场景,通常应评估 10GbE 或更高规格。多卡模型切分还要单独核对 GPU 间通信条件,不能用公网或普通业务网卡的带宽代替设备内部通信能力。
四、按模型和业务负载规划参考配置
下面给出几类便于采购沟通的起步方案。配置为估算范围,实际承载能力需要使用目标模型、目标并发和目标数据样本验证,不代表任何具体产品的官方性能保证。
在推理服务器的配置落地上,A5数据提供香港、美国等地区的物理服务器租用资源,覆盖GPU、AMD计算、大内存与NVMe存储等产品方向。香港和美国GPU系列提供A100 80GB、RTX 4090等显卡选项,可用于AI推理、模型测试和图像处理;AMD EPYC平台及不同内存、磁盘组合,则适合承载预处理、数据库、容器和多任务计算。结合CN2、国际带宽及不同地区线路,A5数据可为模型部署、接口服务和跨区域访问提供相应的硬件与网络资源基础。
| 业务与模型规模 | 并发或吞吐特征 | GPU与显存参考 | CPU与内存参考 | 存储与网络参考 |
|---|---|---|---|---|
| 7B~8B INT4在线问答 | 约10~30个活跃请求,短到中等上下文 | 1张16GB~24GB GPU | 8~16个物理核心,64GB~128GB内存 | 1.92TB NVMe,1GbE或10GbE |
| 13B~14B INT8/FP16服务 | 中等并发,关注首字延迟 | 24GB~48GB GPU,必要时多卡 | 16~32个物理核心,128GB~256GB内存 | 1.92TB~3.84TB NVMe,10GbE |
| 30B~34B INT4或长上下文服务 | 并发不宜只按请求数衡量,需重点测试KV Cache | 48GB~80GB GPU,或支持切分的多卡 | 24~48个物理核心,256GB内存起 | 3.84TB NVMe,10GbE或25GbE |
| 70B级INT4服务 | 较高显存需求,长上下文时并发受限 | 80GB级别GPU,或2~4卡切分 | 32~64个物理核心,256GB~512GB内存 | 3.84TB~7.68TB NVMe,25GbE或更高 |
| Embedding、重排或批量文本处理 | 请求量大、批次集中,单请求生成较少 | 16GB~48GB GPU,部分任务可采用CPU | 16~48个物理核心,128GB~256GB内存 | 1.92TB以上NVMe,重点看数据访问网络 |
| 纯CPU量化推理 | 低并发或对时延要求较宽松 | 无GPU或少量辅助GPU | 32~64个物理核心,128GB~256GB内存 | NVMe优先,10GbE视数据量配置 |
单卡、多卡和多节点的取舍
单卡方案结构简单,模型加载和故障定位相对容易,适合中小规模模型、低到中等并发及对单节点维护影响可控的业务。显存不足时,可以先优化量化格式、上下文长度和批处理策略,但要确认精度变化是否满足业务要求。
多卡方案适合模型权重无法放入单卡,或需要更高计算吞吐的场景。采购时要同时确认:
- 每张卡的显存容量是否一致;
- 主板是否提供足够的 PCIe 插槽和通道;
- 电源和散热是否按满载功耗规划;
- 推理框架是否支持目标模型的张量并行或流水并行;
- 卡间通信是否会成为新的瓶颈;
- 单卡故障时服务是否整体中断。
多节点方案更适合需要扩展副本、隔离不同模型或进行故障切换的业务。它不是简单地把多台服务器显存相加,而是通过多个模型副本分摊请求。若业务需要维护能力,容量规划还应考虑一台节点下线时,其余节点能否继续承受核心流量。

五、产品采购与交付验收要核对什么
GPU和主机硬件
不要只核对“某系列显卡”或“高显存服务器”这类描述,应在订单或交付清单中明确具体型号、显存容量、数量、显存类型、功耗和散热条件。多 GPU 设备还需要确认插槽间距、供电接口、机箱风道和满载时的温度控制。
主机侧需要核对 CPU 实际核心数、内存条数量与容量、可扩展内存上限、NVMe 插槽、RAID 或启动盘方案,以及网卡速率。不同机箱规格对显卡长度、厚度和电源容量的限制可能不同,不能只看单项参数。
软件兼容性
交付前应使用目标操作系统、驱动、推理框架、模型文件和量化格式进行联调。重点检查:
- GPU 是否被系统正确识别;
- 显存容量是否与采购规格一致;
- 多卡是否都能正常工作;
- 目标模型能否完整加载;
- 长上下文和并发请求下是否出现显存溢出;
- 重启后模型服务能否正常恢复。
如果尚未固定软件版本,不宜在采购文件中写入未经验证的驱动或运行时版本。应先确认操作系统和推理框架的兼容矩阵,再锁定安装环境。
按业务指标验收
只验证“模型能启动”远远不够。建议使用接近生产的数据集和请求模式,分别记录:
| 验收项目 | 关注指标 | 对应资源 |
|---|---|---|
| 低并发响应 | 首字延迟、总耗时、错误率 | GPU计算、CPU调度 |
| 目标并发 | 吞吐、P95/P99延迟、排队长度 | 显存、KV Cache、GPU利用率 |
| 长上下文 | 显存峰值、请求是否被拒绝 | GPU显存、系统内存 |
| 批量处理 | 每小时完成量、失败重试比例 | GPU吞吐、CPU和磁盘 |
| 模型加载 | 首次加载时间、重启恢复时间 | NVMe读取、内存 |
| 多模态请求 | 图片处理耗时、网络峰值 | CPU、网络、显存 |
| 长时间运行 | 温度、降频、进程稳定性 | 散热、电源、驱动 |
验收中的并发数应明确是“同时连接数”“生成中的请求数”还是“每秒请求数”。这几个指标不能互相替代。流式输出还应单独统计首字时间和持续输出速度,否则平均响应时间可能掩盖用户实际等待。
六、出现什么瓶颈时应升级配置
显存不足或请求频繁失败
表现通常包括模型加载失败、并发稍高就出现显存溢出、长文本请求被拒绝、服务进程频繁重启。优先核对模型精度、上下文上限、KV Cache策略和并发上限,再决定是增加显存、使用更合适的量化格式,还是将模型拆分到多卡。
如果显存长期接近满载,例如在目标并发下持续超过约 85%~90%,即使暂时没有报错,也应保留升级空间。突发长请求、批次变化和框架缓存都可能使剩余显存迅速消失。
GPU利用率不高但延迟持续升高
此时不一定需要更强 GPU。应先看 CPU利用率、数据读取时间、分词耗时、图片预处理、检索接口延迟和队列等待时间。如果 CPU满载而 GPU空闲,应增加 CPU核心或拆分预处理服务;如果后端数据库响应慢,应优化数据访问链路;如果网络等待明显,则需要检查网卡和内部服务之间的带宽。
GPU计算已饱和,队列持续增长
当 GPU计算利用率长期接近满载,目标并发下 P95 延迟持续升高,且队列长度无法在低峰期恢复,说明计算能力不足。可按照业务优先级选择:
- 增加模型副本,用多卡或多节点分摊请求;
- 降低不必要的上下文长度;
- 对短请求使用更合适的批处理策略;
- 将低优先级批处理迁移到独立节点;
- 更换显存和计算能力更匹配的 GPU。
增加并发上限不能真正解决计算不足,只会把排队时间转移到更后面,并可能进一步推高显存占用。
内存、磁盘或网络成为瓶颈
系统内存不足时,常见表现是模型加载缓慢、Swap增长、容器被系统回收;应增加内存或减少同机运行的辅助服务。模型加载和重启耗时过长时,应检查 NVMe 读性能、模型文件是否位于慢盘以及是否存在重复解压。日志或缓存占满磁盘时,应设置容量告警、保留周期和独立目录。
网络升级则应根据实际流量方向进行。外部接口带宽不足,重点看入口和出口;多机检索或对象存储读取慢,重点看内部链路;多卡模型切分效率低,则要检查设备间通信路径,而不是单纯增加公网带宽。
按指标而不是按参数堆配置
一套可执行的升级判断,可以建立在以下指标组合上:

- 以峰值请求速率、活跃并发、输入输出 token和上下文长度重新计算负载。
- 记录目标并发下的首字延迟、P95/P99延迟、吞吐和排队长度。
- 同时观察 GPU显存、GPU计算利用率、CPU、系统内存、NVMe和网络峰值。
- 判断瓶颈属于显存容量、GPU计算、CPU预处理、数据访问还是网络传输。
- 只升级对应资源,并在相同模型和相同请求样本下复测。
如果只是模型权重放不下,应优先看显存容量和多卡拓扑;如果权重能加载但并发响应慢,应看 KV Cache、GPU计算和队列;如果 GPU空闲而整体延迟高,应检查 CPU、磁盘和网络。这样规划出来的推理服务器,才能让模型规模、并发请求和显存需求与实际业务动作对应起来,避免为暂时用不到的计算能力支付额外硬件成本,也避免显存看似充足却在长上下文和高峰请求下失去服务余量。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5027.html



