香港AI推理服务器如何按并发请求选择GPU显存与CPU配置?

发布人:A5数据发布时间:2026-10-16 16:00阅读量:117

用户在网页上提问,客服助手检索知识库后逐字返回答案;另一批用户上传长文档,等待摘要和要点提取。两类业务即使同时有20个请求,服务器压力也可能相差很大:短问答主要考验生成速度,长文档还会放大输入计算量和显存占用。选择香港AI推理服务器,首先要把“并发人数”转换成“同时处理多少条请求、每条请求保留多少Token、需要多快返回”,再确定GPU显存与CPU配置。

GPU显存按模型权重、并发请求的KV Cache和运行时开销估算;CPU按分词、检索、数据预处理和接口服务的实际压力配置。显存能装下,不代表响应速度达标;CPU核心更多,也不等于GPU生成更快。香港机房的位置主要影响用户访问、外部接口调用和数据传输链路,不会改变模型本身的显存需求。

从业务动作确定真正需要承载的并发

以企业知识库问答为例,一次请求通常经过鉴权、问题分词、向量检索、提示词拼接、模型推理和流式输出。配置之前,需要拆开这些动作,避免把整条链路都归因于GPU。

从业务动作确定真正需要承载的并发配图

在线人数、请求并发与推理并发不是一个指标

100名在线用户可能只有5人正在提问,也可能在活动开始时集中提交请求。已经进入接口但仍在排队的请求,通常不按正在执行的推理序列同等占用KV Cache;不过,部分推理引擎会保留或预分配缓存,需要以实际调度方式为准。

业务稳定时,可以用下面的关系做初步估算:

平均在途请求数 ≈ 每秒到达请求数 × 平均请求处理时间。

例如,每秒到达2条请求,每条从开始处理到完成平均需要8秒,对应约16条平均在途请求。若8秒包含排队时间,得到的是整个服务的在途量,不能全部视为GPU上的活跃请求;若不含排队,则更接近正在处理的并发量。

采购还要覆盖流量波峰,因此应记录高峰时段的到达速率、排队长度和活跃推理序列数,而不是仅按日访问量换算。

用输入与输出长度区分业务

业务动作需要统计的数据主要配置影响
短问答、客服对话输入Token、输出Token、同时生成数量GPU生成吞吐与KV Cache
长文档摘要长输入占比、峰值上下文长度、首Token时延GPU预填充算力、显存、分词CPU
知识库问答检索次数、召回文本长度、索引规模CPU、内存及检索存储
图片理解图片数量、分辨率、预处理耗时GPU显存与计算、CPU解码、上传带宽
离线批处理每小时任务量、允许完成时间批处理吞吐、队列与数据读取

下文以文本大模型在线推理为主要对象。图片理解需要叠加视觉编码器与图像Token开销,不能直接套用纯文本配置。

将并发请求换算成GPU显存和吞吐需求

GPU选型需要同时通过两道检查:一是模型与请求是否装得下,二是在目标时延下是否处理得完。

显存预算由三部分组成

可以采用以下预算关系:

所需显存 ≈ 模型权重 + 活跃请求的KV Cache + 运行时开销,再预留容量余量。

模型权重的粗略估算方法是“参数量 × 每参数字节数”。以约80亿参数模型为例:

  • FP16或BF16权重约16GB,换算约14.9GiB。
  • 8位权重原始数据约8GB,换算约7.5GiB。
  • 4位权重原始数据约4GB,换算约3.7GiB。

这里GB按十进制计算,GiB按二进制计算,1GiB为1,073,741,824字节。量化元数据、未量化层和加载实现会增加占用,不能只按原始权重大小选择显卡。

量化主要减少权重占用,不意味着KV Cache也自动缩小到同样比例。KV Cache的数据类型和量化支持需要单独确认,同时验证业务回答质量。

KV Cache如何随并发增长

对常见Transformer结构,每条请求的KV Cache可以粗略估算为:

2 × 层数 × KV头数 × 每个头的维度 × 已缓存Token数 × 每元素字节数。

其中“2”分别对应Key和Value。需要使用KV头数,而不是直接使用注意力查询头数;不同模型即使参数量接近,也可能有明显不同的缓存需求。

以一个示例模型为例:

参数示例值
层数32
KV头数8
每个头的维度128
KV Cache数据类型FP16,2字节
每条请求缓存长度4,096 Token

每个Token需要的缓存约为:

2 × 32 × 8 × 128 × 2 = 131,072字节,即128KiB。

因此,单条4,096 Token请求约占0.5GiB缓存;16条约占8GiB,32条约占16GiB。若每条请求长度增加到8,192 Token,缓存需求也相应翻倍。

KV Cache如何随并发增长配图

这里的长度是输入加上已生成输出的缓存长度。用于容量规划时,应结合业务允许的上下文上限和长请求占比,不能只统计用户问题本身。

一个16并发的预算示例

沿用上述模型结构,采用4位权重,目标是同时处理16条请求,每条按4,096 Token预算:

  • 权重及相关加载开销:参考4~6GiB。
  • KV Cache:约8GiB。
  • 运行时、临时张量及计算图等:参考2~4GiB。
  • 合计:约14~18GiB,尚未包含额外余量。

预留约15%~25%后,可将24GB显存档位作为候选。具体可用容量应以运行时读数为准,并检查长输入预填充时的峰值占用。

如果改用FP16权重,权重约14.9GiB,加上8GiB缓存及运行时开销,24GB档位就不适合作为该预算下的稳妥选择,应考虑更大显存。

这些数字用于确定试配范围,不是承载保证。缓存分页、前缀共享、调度策略和模型实现都会改变结果;没有稳定的缓存复用条件时,不宜提前把复用收益计入基础容量。

显存够用,还要检查生成速度

一块GPU能够容纳32条请求,不代表32条请求都能流畅输出。

例如,每秒到达2条请求,平均每条生成240 Token,则服务需要持续提供约480输出Token/秒,同时还要处理输入Token。对于长文档业务,输入阶段可能消耗大量算力,即使输出很短,也会拉高首Token时延。

验收时应分别观察:

  • 首Token时延:用户等待第一个输出需要多久。
  • Token间隔:开始生成后是否流畅。
  • 总输出吞吐:整台服务器每秒完成多少输出Token。
  • 请求完成时间:用户多久拿到完整结果。

如果显存仍有余量,但GPU计算已经饱和,应考虑更快的GPU、优化调度或增加推理副本,而不是只购买显存更大的同类设备。

CPU、内存、磁盘与香港网络各自承担什么

CPU按配套工作配置,不按显存比例配置

纯GPU文本推理服务,CPU主要承担HTTP接口、分词、请求调度和结果处理。中小规模部署可以从8~16个现代物理核心开始评估,但虚拟机标注的vCPU不一定等同于独占物理核心,还需确认共享方式和实际性能。

若知识库检索、PDF解析、图片解码与推理运行在同一台服务器,CPU需求可能明显增加。此时应检查各阶段耗时和进程CPU占用,必要时将文档处理或检索拆到独立节点,避免后台任务影响在线请求。

CPU上的模型卸载可以缓解显存不足,却会增加主机内存与数据传输压力。对低时延在线服务,不宜把频繁CPU卸载当作常规配置方案。

内存要容纳加载过程和业务数据

系统内存除了运行接口,还可能保存模型加载副本、文件缓存、检索索引和请求缓冲。单模型、单GPU、轻量接口服务可将64GB作为参考起点;同机部署检索服务、多模型或文档处理时,可评估128GB及以上。

内存不是越大越快。需要观察加载峰值、常驻占用和是否发生交换;若GPU持续满载而主机内存空闲较多,加内存通常不能提高生成吞吐。

磁盘重点看模型加载与知识库读写

纯推理请求通常不需要每生成一个Token就读取模型文件,因此磁盘升级主要影响模型加载、重启恢复、索引访问和日志写入。

容量可以按“模型文件与版本 + 索引和原始资料 + 日志保留量 + 空闲余量”计算。单模型、小型知识库可从500GB~1TB NVMe SSD评估;数据规模大时,应分别统计模型目录、索引和上传文件的增长量,不把所有数据长期堆在系统盘。

香港服务器需要单独验收网络链路

文字流式输出通常不是主要带宽来源,图片、音频、文档上传和外部存储读取更值得关注。

例如,每秒上传10张图片,每张平均2MB,入口业务流量约20MB/s,按十进制换算为160Mbps,尚未计入协议开销和突发余量。这个估算适用于图片上传,不应套用于纯文本问答。

香港部署应从主要用户所在地测试完整接口,分别测量网络往返时延、服务器首Token时延和流式输出稳定性。若推理在香港、知识库或对象存储在其他地区,还要测内部调用链路,避免跨地域检索抵消GPU升级的收益。

A5数据为香港在线AI推理提供GPU物理服务器,涵盖A100 80GB、RTX 4090等显卡选项,配套CPU、内存与NVMe存储,可承载模型运行、请求处理和知识库读写等业务环节。香港GPU系列提供CN2线路配置,另有Xeon Gold与AMD EPYC服务器资源,可用于分开部署接口、检索和数据处理服务,为企业知识库问答、智能客服等应用提供算力与网络基础。

按业务阶段选择参考配置

以下配置用于初步选型和压测,不对应具体产品库存或固定承载能力。CPU按现代物理核心口径理解,GPU还需比较计算性能、显存带宽及推理引擎兼容性。

使用条件GPU显存参考CPU参考系统内存参考存储参考
7B~8B、4位量化,4~8条活跃请求,约4K上下文单卡24GB档位8~12核64GB500GB~1TB NVMe
上述示例结构,16条活跃请求,约4K上下文单卡24~48GB档位,按峰值与吞吐选定12~16核64~128GB1TB NVMe
上述示例结构,32条活跃请求或较多长输入单卡48GB及以上,或拆分多个副本16~24核128GB1~2TB NVMe
14B及以上模型、长上下文、检索同机先核算权重和KV,常需48~80GB档位或多卡评估16~32核128~256GB按模型与索引容量确定

多卡有两种不同用途:模型过大时,可通过模型并行分摊权重;模型单卡已能容纳时,可运行多个独立副本分流请求。两张24GB显卡不能直接视为一张48GB显卡使用,模型并行还受框架支持、通信开销和互联条件影响。

按业务阶段选择参考配置配图

比较采购成本时,应保持模型、量化方式、上下文长度和时延目标一致,比较满足服务目标的请求吞吐及整体费用,而不是只比较单卡价格。更大显存、更多CPU核心或多卡配置,都应对应明确的业务收益。

交付验收至少应确认GPU具体型号与可用显存、资源是否独占、CPU分配方式、磁盘容量,以及端口速率、可用带宽和流量计费方式,并用计划上线的模型完成代表性压测。

用业务指标决定什么时候升级

压测应包含日常请求、高峰并发和一定比例的长上下文请求。只用短提示词连续发送请求,容易高估真实容量。

升级可以按以下信号判断:

  • 显存峰值持续接近上限,出现分配失败或缓存不足:先限制上下文、调整批处理或缓存配置,再评估更大显存;CPU升级不能解决这个问题。
  • 显存尚有余量,GPU忙碌且Token间隔明显变长:重点升级GPU算力或增加副本,而非只增加显存容量。
  • GPU利用率偏低,分词、检索或解析耗时上升:增加CPU资源、优化预处理,或拆分配套服务。
  • 主机内存不足并发生交换:检查模型副本和索引占用,扩充内存或调整部署方式。
  • 服务器内部耗时稳定,但用户端等待和输出波动增大:检查香港链路、丢包、带宽及跨地域依赖,不先更换GPU。

香港AI推理服务器的合理配置,不是为一个笼统的“并发数”堆硬件,而是在确定的模型、上下文和时延目标下,让请求能够装得下、处理得完、稳定送达用户。上线前用代表性流量验证,上线后以显存峰值、首Token时延、生成吞吐和排队长度作为升级依据,才能把预算投入真正限制业务的资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4058.html

相关推荐