香港AI推理服务器如何按并发请求选择GPU显存与CPU配置?
用户在网页上提问,客服助手检索知识库后逐字返回答案;另一批用户上传长文档,等待摘要和要点提取。两类业务即使同时有20个请求,服务器压力也可能相差很大:短问答主要考验生成速度,长文档还会放大输入计算量和显存占用。选择香港AI推理服务器,首先要把“并发人数”转换成“同时处理多少条请求、每条请求保留多少Token、需要多快返回”,再确定GPU显存与CPU配置。
GPU显存按模型权重、并发请求的KV Cache和运行时开销估算;CPU按分词、检索、数据预处理和接口服务的实际压力配置。显存能装下,不代表响应速度达标;CPU核心更多,也不等于GPU生成更快。香港机房的位置主要影响用户访问、外部接口调用和数据传输链路,不会改变模型本身的显存需求。
从业务动作确定真正需要承载的并发
以企业知识库问答为例,一次请求通常经过鉴权、问题分词、向量检索、提示词拼接、模型推理和流式输出。配置之前,需要拆开这些动作,避免把整条链路都归因于GPU。

在线人数、请求并发与推理并发不是一个指标
100名在线用户可能只有5人正在提问,也可能在活动开始时集中提交请求。已经进入接口但仍在排队的请求,通常不按正在执行的推理序列同等占用KV Cache;不过,部分推理引擎会保留或预分配缓存,需要以实际调度方式为准。
业务稳定时,可以用下面的关系做初步估算:
平均在途请求数 ≈ 每秒到达请求数 × 平均请求处理时间。
例如,每秒到达2条请求,每条从开始处理到完成平均需要8秒,对应约16条平均在途请求。若8秒包含排队时间,得到的是整个服务的在途量,不能全部视为GPU上的活跃请求;若不含排队,则更接近正在处理的并发量。
采购还要覆盖流量波峰,因此应记录高峰时段的到达速率、排队长度和活跃推理序列数,而不是仅按日访问量换算。
用输入与输出长度区分业务
| 业务动作 | 需要统计的数据 | 主要配置影响 |
|---|---|---|
| 短问答、客服对话 | 输入Token、输出Token、同时生成数量 | GPU生成吞吐与KV Cache |
| 长文档摘要 | 长输入占比、峰值上下文长度、首Token时延 | GPU预填充算力、显存、分词CPU |
| 知识库问答 | 检索次数、召回文本长度、索引规模 | CPU、内存及检索存储 |
| 图片理解 | 图片数量、分辨率、预处理耗时 | GPU显存与计算、CPU解码、上传带宽 |
| 离线批处理 | 每小时任务量、允许完成时间 | 批处理吞吐、队列与数据读取 |
下文以文本大模型在线推理为主要对象。图片理解需要叠加视觉编码器与图像Token开销,不能直接套用纯文本配置。
将并发请求换算成GPU显存和吞吐需求
GPU选型需要同时通过两道检查:一是模型与请求是否装得下,二是在目标时延下是否处理得完。
显存预算由三部分组成
可以采用以下预算关系:
所需显存 ≈ 模型权重 + 活跃请求的KV Cache + 运行时开销,再预留容量余量。
模型权重的粗略估算方法是“参数量 × 每参数字节数”。以约80亿参数模型为例:
- FP16或BF16权重约16GB,换算约14.9GiB。
- 8位权重原始数据约8GB,换算约7.5GiB。
- 4位权重原始数据约4GB,换算约3.7GiB。
这里GB按十进制计算,GiB按二进制计算,1GiB为1,073,741,824字节。量化元数据、未量化层和加载实现会增加占用,不能只按原始权重大小选择显卡。
量化主要减少权重占用,不意味着KV Cache也自动缩小到同样比例。KV Cache的数据类型和量化支持需要单独确认,同时验证业务回答质量。
KV Cache如何随并发增长
对常见Transformer结构,每条请求的KV Cache可以粗略估算为:
2 × 层数 × KV头数 × 每个头的维度 × 已缓存Token数 × 每元素字节数。
其中“2”分别对应Key和Value。需要使用KV头数,而不是直接使用注意力查询头数;不同模型即使参数量接近,也可能有明显不同的缓存需求。
以一个示例模型为例:
| 参数 | 示例值 |
|---|---|
| 层数 | 32 |
| KV头数 | 8 |
| 每个头的维度 | 128 |
| KV Cache数据类型 | FP16,2字节 |
| 每条请求缓存长度 | 4,096 Token |
每个Token需要的缓存约为:
2 × 32 × 8 × 128 × 2 = 131,072字节,即128KiB。
因此,单条4,096 Token请求约占0.5GiB缓存;16条约占8GiB,32条约占16GiB。若每条请求长度增加到8,192 Token,缓存需求也相应翻倍。

这里的长度是输入加上已生成输出的缓存长度。用于容量规划时,应结合业务允许的上下文上限和长请求占比,不能只统计用户问题本身。
一个16并发的预算示例
沿用上述模型结构,采用4位权重,目标是同时处理16条请求,每条按4,096 Token预算:
- 权重及相关加载开销:参考4~6GiB。
- KV Cache:约8GiB。
- 运行时、临时张量及计算图等:参考2~4GiB。
- 合计:约14~18GiB,尚未包含额外余量。
预留约15%~25%后,可将24GB显存档位作为候选。具体可用容量应以运行时读数为准,并检查长输入预填充时的峰值占用。
如果改用FP16权重,权重约14.9GiB,加上8GiB缓存及运行时开销,24GB档位就不适合作为该预算下的稳妥选择,应考虑更大显存。
这些数字用于确定试配范围,不是承载保证。缓存分页、前缀共享、调度策略和模型实现都会改变结果;没有稳定的缓存复用条件时,不宜提前把复用收益计入基础容量。
显存够用,还要检查生成速度
一块GPU能够容纳32条请求,不代表32条请求都能流畅输出。
例如,每秒到达2条请求,平均每条生成240 Token,则服务需要持续提供约480输出Token/秒,同时还要处理输入Token。对于长文档业务,输入阶段可能消耗大量算力,即使输出很短,也会拉高首Token时延。
验收时应分别观察:
- 首Token时延:用户等待第一个输出需要多久。
- Token间隔:开始生成后是否流畅。
- 总输出吞吐:整台服务器每秒完成多少输出Token。
- 请求完成时间:用户多久拿到完整结果。
如果显存仍有余量,但GPU计算已经饱和,应考虑更快的GPU、优化调度或增加推理副本,而不是只购买显存更大的同类设备。
CPU、内存、磁盘与香港网络各自承担什么
CPU按配套工作配置,不按显存比例配置
纯GPU文本推理服务,CPU主要承担HTTP接口、分词、请求调度和结果处理。中小规模部署可以从8~16个现代物理核心开始评估,但虚拟机标注的vCPU不一定等同于独占物理核心,还需确认共享方式和实际性能。
若知识库检索、PDF解析、图片解码与推理运行在同一台服务器,CPU需求可能明显增加。此时应检查各阶段耗时和进程CPU占用,必要时将文档处理或检索拆到独立节点,避免后台任务影响在线请求。
CPU上的模型卸载可以缓解显存不足,却会增加主机内存与数据传输压力。对低时延在线服务,不宜把频繁CPU卸载当作常规配置方案。
内存要容纳加载过程和业务数据
系统内存除了运行接口,还可能保存模型加载副本、文件缓存、检索索引和请求缓冲。单模型、单GPU、轻量接口服务可将64GB作为参考起点;同机部署检索服务、多模型或文档处理时,可评估128GB及以上。
内存不是越大越快。需要观察加载峰值、常驻占用和是否发生交换;若GPU持续满载而主机内存空闲较多,加内存通常不能提高生成吞吐。
磁盘重点看模型加载与知识库读写
纯推理请求通常不需要每生成一个Token就读取模型文件,因此磁盘升级主要影响模型加载、重启恢复、索引访问和日志写入。
容量可以按“模型文件与版本 + 索引和原始资料 + 日志保留量 + 空闲余量”计算。单模型、小型知识库可从500GB~1TB NVMe SSD评估;数据规模大时,应分别统计模型目录、索引和上传文件的增长量,不把所有数据长期堆在系统盘。
香港服务器需要单独验收网络链路
文字流式输出通常不是主要带宽来源,图片、音频、文档上传和外部存储读取更值得关注。
例如,每秒上传10张图片,每张平均2MB,入口业务流量约20MB/s,按十进制换算为160Mbps,尚未计入协议开销和突发余量。这个估算适用于图片上传,不应套用于纯文本问答。
香港部署应从主要用户所在地测试完整接口,分别测量网络往返时延、服务器首Token时延和流式输出稳定性。若推理在香港、知识库或对象存储在其他地区,还要测内部调用链路,避免跨地域检索抵消GPU升级的收益。
A5数据为香港在线AI推理提供GPU物理服务器,涵盖A100 80GB、RTX 4090等显卡选项,配套CPU、内存与NVMe存储,可承载模型运行、请求处理和知识库读写等业务环节。香港GPU系列提供CN2线路配置,另有Xeon Gold与AMD EPYC服务器资源,可用于分开部署接口、检索和数据处理服务,为企业知识库问答、智能客服等应用提供算力与网络基础。
按业务阶段选择参考配置
以下配置用于初步选型和压测,不对应具体产品库存或固定承载能力。CPU按现代物理核心口径理解,GPU还需比较计算性能、显存带宽及推理引擎兼容性。
| 使用条件 | GPU显存参考 | CPU参考 | 系统内存参考 | 存储参考 |
|---|---|---|---|---|
| 7B~8B、4位量化,4~8条活跃请求,约4K上下文 | 单卡24GB档位 | 8~12核 | 64GB | 500GB~1TB NVMe |
| 上述示例结构,16条活跃请求,约4K上下文 | 单卡24~48GB档位,按峰值与吞吐选定 | 12~16核 | 64~128GB | 1TB NVMe |
| 上述示例结构,32条活跃请求或较多长输入 | 单卡48GB及以上,或拆分多个副本 | 16~24核 | 128GB | 1~2TB NVMe |
| 14B及以上模型、长上下文、检索同机 | 先核算权重和KV,常需48~80GB档位或多卡评估 | 16~32核 | 128~256GB | 按模型与索引容量确定 |
多卡有两种不同用途:模型过大时,可通过模型并行分摊权重;模型单卡已能容纳时,可运行多个独立副本分流请求。两张24GB显卡不能直接视为一张48GB显卡使用,模型并行还受框架支持、通信开销和互联条件影响。

比较采购成本时,应保持模型、量化方式、上下文长度和时延目标一致,比较满足服务目标的请求吞吐及整体费用,而不是只比较单卡价格。更大显存、更多CPU核心或多卡配置,都应对应明确的业务收益。
交付验收至少应确认GPU具体型号与可用显存、资源是否独占、CPU分配方式、磁盘容量,以及端口速率、可用带宽和流量计费方式,并用计划上线的模型完成代表性压测。
用业务指标决定什么时候升级
压测应包含日常请求、高峰并发和一定比例的长上下文请求。只用短提示词连续发送请求,容易高估真实容量。
升级可以按以下信号判断:
- 显存峰值持续接近上限,出现分配失败或缓存不足:先限制上下文、调整批处理或缓存配置,再评估更大显存;CPU升级不能解决这个问题。
- 显存尚有余量,GPU忙碌且Token间隔明显变长:重点升级GPU算力或增加副本,而非只增加显存容量。
- GPU利用率偏低,分词、检索或解析耗时上升:增加CPU资源、优化预处理,或拆分配套服务。
- 主机内存不足并发生交换:检查模型副本和索引占用,扩充内存或调整部署方式。
- 服务器内部耗时稳定,但用户端等待和输出波动增大:检查香港链路、丢包、带宽及跨地域依赖,不先更换GPU。
香港AI推理服务器的合理配置,不是为一个笼统的“并发数”堆硬件,而是在确定的模型、上下文和时延目标下,让请求能够装得下、处理得完、稳定送达用户。上线前用代表性流量验证,上线后以显存峰值、首Token时延、生成吞吐和排队长度作为升级依据,才能把预算投入真正限制业务的资源。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4058.html



