推理服务器如何按模型规模、并发请求与显存需求规划配置

发布人:A5数据发布时间:2026-10-22 09:25阅读量:183

一台推理服务器是否够用,不能只看模型有多少参数。在线客服关心的是高峰期能否及时返回,文档抽取关心的是每小时处理量,RAG 应用还要承担检索、重排和上下文拼接。模型规模主要决定显存底线,并发请求决定计算与 KV Cache 压力,输入数据量和业务链路则会把压力传导到 CPU、内存、磁盘和网络。

因此,配置规划应先回答四个问题:高峰期有多少请求同时处理,每个请求包含多少输入和输出,模型采用何种精度或量化方式,以及业务允许多长的首字延迟和排队时间。明确这些条件后,再决定使用单卡、多卡还是多台服务器,而不是先购买一台显存最大的机器再寻找适用场景。

一、从业务动作识别推理负载

在线对话:并发和响应时延优先

客服、知识库问答、智能助手通常是持续到达的在线请求。它们的特点是请求数量波动明显,输入上下文长度不固定,输出需要流式返回,用户对首字延迟和整体响应时间都比较敏感。

这类业务需要重点记录:

  • 高峰每秒请求数,即峰值 RPS;
  • 同时处于生成状态的请求数;
  • 平均输入 token、平均输出 token和最大上下文长度;
  • 首字延迟、单 token 生成延迟、P95 或 P99 总耗时;
  • 是否允许排队,以及排队上限是多少。

如果峰值每秒进入 10 个请求,平均一次请求从进入到结束需要 2.5 秒,那么并发请求量可以按“请求速率 × 平均处理时间”估算:

并发数 ≈ 10 请求/秒 × 2.5 秒 = 25 个请求

如果业务高峰存在约两倍的瞬时流量,服务器就不能只按 25 个并发准备,还需要评估 40~50 个活跃请求时的显存、队列和延迟表现。

在线大模型的并发不只消耗计算资源。每个请求在生成过程中都要保留上下文对应的 KV Cache,输入越长、输出越长、并发越高,KV Cache 占用越大。对于长上下文问答,显存可能先被 KV Cache 和运行时缓存占满,而不是被模型权重占满。

批量处理:吞吐量优先

合同分类、发票识别、商品标题改写、长文摘要等任务,通常按队列批量处理。业务更关心每小时或每天处理多少条数据,允许单条任务等待一定时间,但希望 GPU 长时间保持较高利用率。

这类业务应采用“总任务量 ÷ 可用处理时间”的方式估算吞吐需求。例如每天需要处理 360 万条短文本,允许在 10 小时内完成:

每小时任务量 = 360 万 ÷ 10 = 36 万条/小时
每秒任务量 = 36 万 ÷ 3600 ≈ 100 条/秒

实际配置还要考虑数据清洗、失败重试、夜间任务集中启动等因素。若单条输入长度差异很大,不能只按平均长度估算,应至少分别测试短文本、中等文本和长文本三组样本。

批处理可以使用动态批处理提高设备利用率,但批次越大,显存占用和单次等待时间通常也会增加。对于模型规模相同的服务器,适合批量处理的配置不一定适合低延迟对话。

向量、重排和多模态:模型参数不是唯一变量

Embedding 服务通常输出固定维度向量,单次计算量可能低于生成式大模型,但请求量大、批次密集,CPU 和网络访问向量数据库的压力可能更明显。Reranker 需要读取候选文档并进行多次匹配,输入长度和候选数量会直接影响吞吐。

OCR、图片理解、视频抽帧等多模态业务还需要处理图片解码、缩放、预处理和文件传输。此时应同时核算:

  • 单张图片或单帧的平均与最大尺寸;
  • 每个请求包含的图片数量;
  • 图片解码和预处理是否占用 CPU;
  • 原始文件是否需要落盘;
  • 结果是否包含大体积图片、表格或结构化数据。

同一个 7B 级文本模型与一个包含视觉编码器的多模态模型,即使语言部分参数接近,实际显存、CPU 和磁盘需求也可能不同,不能仅凭参数规模套用配置。

二、模型规模、精度与显存需求

先估算模型权重的基础占用

模型权重的粗略显存占用可以按以下方式计算:

权重占用 ≈ 参数量 × 每个参数所需字节数

常见精度的每参数占用可按下表进行首轮估算:

精度或格式每参数约占用7B 模型权重理论值说明
FP324 字节约 28GB显存占用大,推理场景较少直接采用
FP16/BF162 字节约 14GB常见的高精度推理方式
INT81 字节约 7GB需要确认推理框架和模型是否支持
INT40.5 字节约 3.5GB理论值较低,实际还包含量化参数和运行时开销

上表只是模型权重的理论值,不等于服务器运行时的实际显存占用。加载模型时还可能需要分配量化元数据、算子工作区、激活值、CUDA 缓存以及框架自身的管理空间。实际配置可以使用以下思路:

目标显存 ≈ 模型权重 + 运行时工作区 + KV Cache + 安全余量

对于长度变化较大的在线请求,建议为显存预留约 15%~30% 的余量作为初始规划范围。长上下文、动态批处理、多模态输入和多个模型进程同时运行时,余量还需要进一步增加。

7B、14B、32B和70B级别的差异

以常见量化方式做粗略判断:

  • 7B~8B 模型使用 INT4 时,权重本身可能只需要约 4GB,但在线服务通常还要给 KV Cache 和运行时空间留出余量,16GB 显存适合轻量场景,24GB 更便于处理更高并发或更长上下文。
  • 13B~14B 模型使用 INT8 或 FP16 时,显存需求明显上升。若同时要求较长上下文和较高并发,24GB 可能较紧,需要评估 48GB 级别显存或多卡方案。
  • 30B~34B 模型使用 INT4 后,权重规模仍可能达到十几GB,配合运行时缓存和并发请求,通常需要 48GB~80GB 级别显存,具体取决于上下文长度和推理框架。
  • 70B级别模型即便采用 INT4,权重理论值也可能接近 35GB,实际运行通常需要更大显存或多卡切分。若还要支持长上下文和多个并发请求,单张 48GB 显卡往往缺少足够余量。

参数量只能用于确定大致显存级别。相同参数量的模型,层数、隐藏维度、注意力结构、量化格式和上下文长度不同,KV Cache以及运行时开销也会不同。最终配置应使用目标模型、目标量化格式和目标请求样本进行实测验证,而不能只验证模型能否成功加载。

并发如何改变显存和计算压力

生成式模型的请求通常经历预填充和逐 token 解码两个阶段:

二、模型规模、精度与显存需求配图

  • 预填充阶段处理输入上下文,输入很长时会产生明显的计算和显存压力;
  • 解码阶段逐步生成输出,并持续保留每个请求的 KV Cache;
  • 并发增加时,KV Cache 近似按活跃请求数量和上下文长度增长;
  • 输出越长,GPU 持续占用时间越长,排队请求也越容易增加。

因此,10 个短问答请求和 10 个包含长篇文档的请求,不能视为相同负载。产品验收时应至少准备三种场景:

  1. 短输入、短输出,观察基础首字延迟;
  2. 中等输入、常规输出,观察正常业务吞吐;
  3. 长输入、长输出,观察显存峰值和高并发下的尾延迟。

三、CPU、内存、磁盘和网络如何映射

CPU:承担预处理、调度和数据链路

GPU 推理并不意味着 CPU 可以随意缩减。CPU 需要承担请求接入、鉴权、分词、图片解码、数据清洗、批处理调度、结果序列化以及日志处理。RAG 服务还可能在同一台服务器上运行文档切分、向量检索或重排任务。

可以将 CPU 配置按业务角色理解:

业务形态CPU规划重点参考起点
单模型、文本输入、GPU推理请求调度和分词8~16个物理核心
GPU推理加RAG或重排检索、重排、序列化16~32个物理核心
图片、音频或视频预处理解码、转码、批量预处理24~64个物理核心
纯CPU推理或大量批处理矩阵计算和线程并行32个物理核心以上

这些是配置起点,不是固定承载能力。若监控中 GPU 利用率长期低于预期,但 CPU 使用率接近满载,通常应先检查分词、图片处理、数据读取和请求调度,而不是继续增加 GPU。

多 GPU 服务器还要关注 PCIe 通道、CPU NUMA 拓扑和设备间通信路径。两张显卡理论显存相加,不一定等同于一张拥有相同总显存的单卡。模型切分需要推理框架支持,设备之间的通信速度也会影响长上下文和高并发场景。

三、CPU、内存、磁盘和网络如何映射配图

内存:不要把系统内存当成显存的替代品

系统内存主要用于模型加载、权重转换、文件缓存、分词器、RAG 数据、任务队列和服务进程。显存不足时,部分框架可以尝试卸载或交换,但这通常会显著影响延迟,不能把系统内存简单当作显存扩容。

可采用以下范围作为初步规划:

  • 7B~8B GPU 推理:系统内存可从 64GB~128GB 起步;
  • 13B~34B GPU 推理:通常需要 128GB~256GB,具体取决于模型副本和数据服务数量;
  • 70B级别或多卡切分:可从 256GB~512GB 评估;
  • 纯CPU推理、多个模型并行或大量文档缓存:系统内存还需要在上述基础上增加。

如果服务器同时承载向量数据库、检索服务或大规模文档缓存,内存应根据这些服务单独核算。观察指标包括可用内存、Swap 使用量、进程 RSS、页面回收和模型加载时的峰值内存。出现频繁 Swap 或模型加载期间系统响应明显变慢,通常说明系统内存不足。

磁盘:重点看模型加载和数据落盘

推理运行阶段不一定持续产生大量磁盘 I/O,但模型首次加载、容器启动、量化文件读取、缓存建立和日志写入都可能形成突发压力。对于需要频繁重启、扩缩容或切换模型的服务,NVMe 固态盘通常比普通机械盘更适合作为模型盘。

磁盘容量可以按以下方式估算:

所需容量 ≈ 模型文件总量 × 保留副本数 + 容器与缓存 + 日志空间 + 预留空间

例如,服务器需要保存一个 FP16 模型文件、一个 INT4 文件、一个备用版本和若干运行时缓存,就不能只按当前正在运行的那一份模型容量购买磁盘。建议将模型文件、系统盘、业务数据和日志进行分区或至少进行目录配额管理,避免日志增长占满模型盘。

磁盘验收应分别检查:

  • 顺序读取速度是否满足模型加载时间要求;
  • 随机读取和小文件访问是否影响容器启动;
  • 磁盘健康状态、寿命和温度;
  • 模型盘故障后是否有备用副本;
  • 日志保留周期是否与容量匹配。

网络:分别计算南北向和东西向流量

外部 API 流量主要包括请求正文、流式输出、图片或音频文件;内部流量则包括检索数据库访问、多卡之间的模型通信、对象存储读取和日志传输。网络带宽不能只根据请求数量判断,还要乘以单次数据量。

例如,峰值为每分钟 1000 个请求,每个请求返回约 200KB 数据,按十进制单位计算:

每分钟数据量 = 1000 × 200KB = 200,000KB = 200MB
每分钟比特量 = 200MB × 8 × 1000 = 1,600,000Mb
平均带宽 = 1,600,000Mb ÷ 60 ≈ 26.7Mbps

如果每个请求还上传 2MB 图片,则仅图片输入一项就是:

1000 × 2MB × 8 × 1000 ÷ 60 ≈ 266.7Mbps

这还没有计算协议开销、重试、突发流量和内部访问。对于普通文本接口,1GbE 可能已经能够覆盖外部流量,但需要结合业务峰值和网络隔离判断;图片、多媒体和多机检索场景,通常应评估 10GbE 或更高规格。多卡模型切分还要单独核对 GPU 间通信条件,不能用公网或普通业务网卡的带宽代替设备内部通信能力。

四、按模型和业务负载规划参考配置

下面给出几类便于采购沟通的起步方案。配置为估算范围,实际承载能力需要使用目标模型、目标并发和目标数据样本验证,不代表任何具体产品的官方性能保证。

在推理服务器的配置落地上,A5数据提供香港、美国等地区的物理服务器租用资源,覆盖GPU、AMD计算、大内存与NVMe存储等产品方向。香港和美国GPU系列提供A100 80GB、RTX 4090等显卡选项,可用于AI推理、模型测试和图像处理;AMD EPYC平台及不同内存、磁盘组合,则适合承载预处理、数据库、容器和多任务计算。结合CN2、国际带宽及不同地区线路,A5数据可为模型部署、接口服务和跨区域访问提供相应的硬件与网络资源基础。

业务与模型规模并发或吞吐特征GPU与显存参考CPU与内存参考存储与网络参考
7B~8B INT4在线问答约10~30个活跃请求,短到中等上下文1张16GB~24GB GPU8~16个物理核心,64GB~128GB内存1.92TB NVMe,1GbE或10GbE
13B~14B INT8/FP16服务中等并发,关注首字延迟24GB~48GB GPU,必要时多卡16~32个物理核心,128GB~256GB内存1.92TB~3.84TB NVMe,10GbE
30B~34B INT4或长上下文服务并发不宜只按请求数衡量,需重点测试KV Cache48GB~80GB GPU,或支持切分的多卡24~48个物理核心,256GB内存起3.84TB NVMe,10GbE或25GbE
70B级INT4服务较高显存需求,长上下文时并发受限80GB级别GPU,或2~4卡切分32~64个物理核心,256GB~512GB内存3.84TB~7.68TB NVMe,25GbE或更高
Embedding、重排或批量文本处理请求量大、批次集中,单请求生成较少16GB~48GB GPU,部分任务可采用CPU16~48个物理核心,128GB~256GB内存1.92TB以上NVMe,重点看数据访问网络
纯CPU量化推理低并发或对时延要求较宽松无GPU或少量辅助GPU32~64个物理核心,128GB~256GB内存NVMe优先,10GbE视数据量配置

单卡、多卡和多节点的取舍

单卡方案结构简单,模型加载和故障定位相对容易,适合中小规模模型、低到中等并发及对单节点维护影响可控的业务。显存不足时,可以先优化量化格式、上下文长度和批处理策略,但要确认精度变化是否满足业务要求。

多卡方案适合模型权重无法放入单卡,或需要更高计算吞吐的场景。采购时要同时确认:

  • 每张卡的显存容量是否一致;
  • 主板是否提供足够的 PCIe 插槽和通道;
  • 电源和散热是否按满载功耗规划;
  • 推理框架是否支持目标模型的张量并行或流水并行;
  • 卡间通信是否会成为新的瓶颈;
  • 单卡故障时服务是否整体中断。

多节点方案更适合需要扩展副本、隔离不同模型或进行故障切换的业务。它不是简单地把多台服务器显存相加,而是通过多个模型副本分摊请求。若业务需要维护能力,容量规划还应考虑一台节点下线时,其余节点能否继续承受核心流量。

四、按模型和业务负载规划参考配置配图

五、产品采购与交付验收要核对什么

GPU和主机硬件

不要只核对“某系列显卡”或“高显存服务器”这类描述,应在订单或交付清单中明确具体型号、显存容量、数量、显存类型、功耗和散热条件。多 GPU 设备还需要确认插槽间距、供电接口、机箱风道和满载时的温度控制。

主机侧需要核对 CPU 实际核心数、内存条数量与容量、可扩展内存上限、NVMe 插槽、RAID 或启动盘方案,以及网卡速率。不同机箱规格对显卡长度、厚度和电源容量的限制可能不同,不能只看单项参数。

软件兼容性

交付前应使用目标操作系统、驱动、推理框架、模型文件和量化格式进行联调。重点检查:

  • GPU 是否被系统正确识别;
  • 显存容量是否与采购规格一致;
  • 多卡是否都能正常工作;
  • 目标模型能否完整加载;
  • 长上下文和并发请求下是否出现显存溢出;
  • 重启后模型服务能否正常恢复。

如果尚未固定软件版本,不宜在采购文件中写入未经验证的驱动或运行时版本。应先确认操作系统和推理框架的兼容矩阵,再锁定安装环境。

按业务指标验收

只验证“模型能启动”远远不够。建议使用接近生产的数据集和请求模式,分别记录:

验收项目关注指标对应资源
低并发响应首字延迟、总耗时、错误率GPU计算、CPU调度
目标并发吞吐、P95/P99延迟、排队长度显存、KV Cache、GPU利用率
长上下文显存峰值、请求是否被拒绝GPU显存、系统内存
批量处理每小时完成量、失败重试比例GPU吞吐、CPU和磁盘
模型加载首次加载时间、重启恢复时间NVMe读取、内存
多模态请求图片处理耗时、网络峰值CPU、网络、显存
长时间运行温度、降频、进程稳定性散热、电源、驱动

验收中的并发数应明确是“同时连接数”“生成中的请求数”还是“每秒请求数”。这几个指标不能互相替代。流式输出还应单独统计首字时间和持续输出速度,否则平均响应时间可能掩盖用户实际等待。

六、出现什么瓶颈时应升级配置

显存不足或请求频繁失败

表现通常包括模型加载失败、并发稍高就出现显存溢出、长文本请求被拒绝、服务进程频繁重启。优先核对模型精度、上下文上限、KV Cache策略和并发上限,再决定是增加显存、使用更合适的量化格式,还是将模型拆分到多卡。

如果显存长期接近满载,例如在目标并发下持续超过约 85%~90%,即使暂时没有报错,也应保留升级空间。突发长请求、批次变化和框架缓存都可能使剩余显存迅速消失。

GPU利用率不高但延迟持续升高

此时不一定需要更强 GPU。应先看 CPU利用率、数据读取时间、分词耗时、图片预处理、检索接口延迟和队列等待时间。如果 CPU满载而 GPU空闲,应增加 CPU核心或拆分预处理服务;如果后端数据库响应慢,应优化数据访问链路;如果网络等待明显,则需要检查网卡和内部服务之间的带宽。

GPU计算已饱和,队列持续增长

当 GPU计算利用率长期接近满载,目标并发下 P95 延迟持续升高,且队列长度无法在低峰期恢复,说明计算能力不足。可按照业务优先级选择:

  • 增加模型副本,用多卡或多节点分摊请求;
  • 降低不必要的上下文长度;
  • 对短请求使用更合适的批处理策略;
  • 将低优先级批处理迁移到独立节点;
  • 更换显存和计算能力更匹配的 GPU。

增加并发上限不能真正解决计算不足,只会把排队时间转移到更后面,并可能进一步推高显存占用。

内存、磁盘或网络成为瓶颈

系统内存不足时,常见表现是模型加载缓慢、Swap增长、容器被系统回收;应增加内存或减少同机运行的辅助服务。模型加载和重启耗时过长时,应检查 NVMe 读性能、模型文件是否位于慢盘以及是否存在重复解压。日志或缓存占满磁盘时,应设置容量告警、保留周期和独立目录。

网络升级则应根据实际流量方向进行。外部接口带宽不足,重点看入口和出口;多机检索或对象存储读取慢,重点看内部链路;多卡模型切分效率低,则要检查设备间通信路径,而不是单纯增加公网带宽。

按指标而不是按参数堆配置

一套可执行的升级判断,可以建立在以下指标组合上:

六、出现什么瓶颈时应升级配置配图

  1. 以峰值请求速率、活跃并发、输入输出 token和上下文长度重新计算负载。
  2. 记录目标并发下的首字延迟、P95/P99延迟、吞吐和排队长度。
  3. 同时观察 GPU显存、GPU计算利用率、CPU、系统内存、NVMe和网络峰值。
  4. 判断瓶颈属于显存容量、GPU计算、CPU预处理、数据访问还是网络传输。
  5. 只升级对应资源,并在相同模型和相同请求样本下复测。

如果只是模型权重放不下,应优先看显存容量和多卡拓扑;如果权重能加载但并发响应慢,应看 KV Cache、GPU计算和队列;如果 GPU空闲而整体延迟高,应检查 CPU、磁盘和网络。这样规划出来的推理服务器,才能让模型规模、并发请求和显存需求与实际业务动作对应起来,避免为暂时用不到的计算能力支付额外硬件成本,也避免显存看似充足却在长上下文和高峰请求下失去服务余量。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5027.html

相关推荐