香港服务器运行vLLM推理,如何根据模型规模和并发需求规划资源?
香港服务器运行 vLLM,配置重点不能只看模型参数量,也不能仅按“同时在线用户数”估算。更可靠的做法是先明确请求类型、输入输出长度、峰值并发和响应时延,再分别核对 GPU 显存、CPU、内存、NVMe 磁盘以及香港机房的网络带宽。对 7B~8B 模型的轻量问答,24GB 显存、32GB 以上内存可以作为起点;当模型扩大到 32B、70B,或需要更长上下文和更高并发时,GPU 显存、GPU 间通信和内存容量会迅速成为主要约束。
如果业务主要面向内地、东南亚或海外用户,香港节点还需要结合目标用户所在地测试网络时延、回程路由和出方向带宽。文本生成本身通常不会消耗很高的带宽,但 RAG 文档上传、多模态图片、多个副本同时对外服务,会改变网络配置重点。下面按业务场景、负载特征、资源映射和升级触发条件展开规划。
先从业务动作识别推理负载
同一个模型部署在 vLLM 上,聊天问答、知识库检索、批量摘要和多模态识别对服务器的要求并不相同。规划前至少要记录以下数据:
- 峰值请求速率:每秒进入多少个请求,不能只看日均请求量。
- 活跃并发:同一时刻处于排队、预填充或生成阶段的请求数。
- 输入长度:系统提示词、历史对话、RAG 检索片段和用户问题合计多少 Token。
- 输出长度:平均值和 P95 值分别是多少,是否设置最大输出限制。
- 时延目标:关注首 Token 时间(TTFT),还是关注完整响应时间和每秒生成 Token 数。
- 数据动作:是否需要上传文件、读取对象存储、调用向量数据库或返回图片。
三类常见业务场景
| 业务场景 | 典型负载特征 | 主要资源关注点 |
|---|---|---|
| 在线聊天或客服 | 输入较短,输出持续生成,要求较低首 Token 时延 | GPU 计算能力、显存中的 KV Cache、并发调度 |
| RAG 知识库问答 | 每次请求会拼接检索内容,输入可能达到数千至数万 Token | GPU 预填充能力、显存、CPU Token 化和检索服务内存 |
| 批量摘要、分类、离线生成 | 可以排队,重视总吞吐量而非单请求时延 | GPU 利用率、批处理效率、磁盘读取和任务队列 |
| 多模态问答 | 文本之外还上传图片或文件,单次请求体较大 | GPU 显存、网络入口、磁盘临时空间和 CPU 解码能力 |
例如,业务在高峰期每秒进入 2 个请求,每个请求从开始到完成平均占用 15 秒,那么活跃并发约为:
2 个请求/秒 × 15 秒 = 30 个活跃请求
如果 RAG 拼接内容使单次输入从 1,000 Token 增加到 8,000 Token,即使请求速率不变,GPU 预填充压力和 KV Cache 占用也会明显上升。因此,不能直接用“每天 10 万次调用”推导服务器规格,应该使用峰值请求速率、请求持续时间和 Token 分布。
模型参数量只是显存估算的起点
模型权重的粗略容量可以按以下方式估算:
- FP16:参数量 × 2 字节。
- INT8:参数量 × 1 字节,实际还要加量化元数据。
- 4bit 量化:参数量 × 0.5 字节,实际文件通常会高于这个理论值。
按十进制容量进行粗略估算,7B 模型使用 FP16 存储时,权重大约需要 14GB;70B 模型则约需 140GB。操作系统和显卡工具可能使用 GiB 作为显示单位,因此实际可用容量不会与十进制 GB 完全相等。
此外,显存还需要容纳:
- vLLM 运行时和 CUDA 工作区;
- KV Cache;
- 激活值和临时张量;
- 多模态编码器或额外处理模块;
- 多卡切分时的通信缓冲区。
因此,模型权重“刚好放入显存”并不代表可以稳定承载并发请求。

把模型规模和并发映射到资源
GPU 显存是第一约束
vLLM 以 GPU 推理为主要使用方式。CPU 可以承担 Token 化、请求调度、数据预处理和接口服务,但不能简单用增加 CPU 核数替代 GPU 显存和 GPU 计算能力。
KV Cache 的大致占用可以理解为:
2 × 层数 × KV 头数 × 每个头的维度 × Token 数 × 每个元素字节数 × 活跃序列数
其中,2 代表 K 和 V 两部分。不同模型的层数、KV 头数量、GQA/MQA 结构和 KV 数据精度不同,所以同样是 7B 模型,长上下文下的显存表现也可能不同。
模型规模和显存可以先按以下区间进行规划:
| 模型规模 | FP16 权重粗略容量 | 4bit 权重常见粗略容量 | 服务器规划参考 |
|---|---|---|---|
| 7B~8B | 14~16GB | 4~6GB | 24GB 显存可作为轻量部署起点;长上下文或较高并发需要更多余量 |
| 13B~14B | 26~32GB | 8~11GB | 24GB 显存通常余量有限,48GB 更适合在线服务 |
| 30B~34B | 60~70GB | 18~25GB | 48GB 可考虑量化部署,FP16 或更长上下文通常需要 80GB 级别或多卡 |
| 65B~70B | 130~155GB | 38~48GB | 需要大显存单卡、多卡切分或量化方案,并核对 GPU 间通信拓扑 |
上表只是模型文件和常见运行空间的选型参考,不是 vLLM 的固定承载值。具体结果还会受最大上下文长度、最大并发序列数、量化格式、GPU 架构以及是否启用多模态模块影响。
对于低并发聊天,可以优先保证每个请求有足够的 KV Cache 余量;对于高并发服务,即使模型权重可以装入显存,也可能因为 KV Cache 不足发生排队、显存溢出或频繁降低并发。需要多卡时,还应确认卡间是适合推理通信的高速互联,还是仅通过 PCIe 通信。多卡数量增加并不一定按比例提升响应速度,拓扑和模型切分方式都要纳入验收。
CPU 负责请求链路,不只是“启动服务器”
CPU 主要承担以下工作:
- HTTP 接口、鉴权和流式响应;
- Tokenizer 处理;
- RAG 文本切片、重排和结果拼接;
- 文件解码、图片预处理;
- vLLM 调度线程及批处理管理;
- 日志、监控和业务程序。
可将 CPU 配置作为以下起点:
- 7B~8B、低并发接口:8~16 个 vCPU;
- 14B~32B、RAG 或 10~30 个活跃请求:16~32 个 vCPU;
- 70B 多卡、多个业务进程或高频 RAG:32~64 个 vCPU。
如果是云服务器,需要确认 vCPU 是否为独享计算资源。共享型 vCPU 在高峰期可能出现调度抖动,表现为 Token 化延迟、请求排队和首 Token 时间变长。若知识库、重排模型和 vLLM 共用一台服务器,CPU 需求还要按这些服务的峰值叠加,而不是只按大语言模型计算。
内存决定加载余量和旁路服务能力
系统内存不等于 GPU 显存,但模型加载、容器运行、数据预处理和缓存都需要内存。一般建议:
- 24GB 显存的小模型服务器:系统内存 32~64GB;
- 48~80GB 显存的中型模型服务器:系统内存 64~128GB;
- 70B 多卡或同机部署 RAG、重排、缓存服务:128~256GB 起步。
不要把 CPU Offload 当作常规扩容方案。它可以在特定场景下帮助容纳更大的模型,但权重或缓存需要在 CPU 内存与 GPU 显存之间搬运,通常会牺牲推理速度和时延稳定性。若业务是在线客服或实时问答,应优先配置足够的 GPU 显存,而不是依靠大容量内存弥补显存不足。
如果向量数据库、文档解析服务和 vLLM 共用主机,还要为它们预留内存。例如,系统内存即使达到 128GB,在模型加载、向量检索缓存和多个容器同时运行时,也可能出现内存回收或 Swap。生产服务应关注可用内存和 Swap 活动,而不是只看物理内存总量。
NVMe 磁盘关注模型管理和读取稳定性
磁盘容量可以按三部分计算:
模型文件 + 临时文件与缓存 + 预留空间
一台服务器至少可能同时保存:
- FP16 原始模型;
- 4bit 或 8bit 量化版本;
- Tokenizer、配置文件和 LoRA 适配器;
- 容器镜像、运行日志和缓存;
- 下载中的临时分片文件;
- 回滚版本或待验收版本。
因此,单模型服务不建议只按照模型文件大小购买磁盘。7B~8B 模型通常可从 500GB NVMe 起步;14B~32B 或需要保留多个量化版本时,1TB 更稳妥;70B、多版本模型或同机保存文档数据时,建议从 2TB 级别规划。
磁盘速度对已经加载完成的模型的持续 Token 生成影响通常不如 GPU,但会影响首次启动、模型切换、容器重启和批量读取数据。比如一个约 40GB 的模型文件,在理论顺序读取速度为 1GB/s 的设备上,纯读取时间约为 40 秒;实际还要考虑分片、解压、校验和 GPU 传输,启动时间会更长。网络块存储如果存在较高时延,模型加载可能比本地 NVMe 更不稳定。
网络要按数据方向和业务载荷计算
纯文本推理的网络流量通常没有想象中高。假设每秒完成 20 个请求,每个请求返回 300 Token,则输出速率为:
20 × 300 = 6,000 Token/秒
按每个 Token 平均占用 4 字节估算:
- 6,000 × 4 = 24,000 字节/秒;
- 24,000 字节/秒 = 0.024MB/秒;
- 0.024MB/秒 × 8 = 0.192Mbps。
这只是文本内容的估算,还没有计算 JSON、SSE、TLS、连接管理和突发流量。若每个请求输入 8,000 Token,20 个请求/秒的输入规模为 160,000 Token/秒,按 4 字节估算约为 0.64MB/秒,即 5.12Mbps。
但多模态业务会迅速改变结果。例如,平均每张图片 2MB,每秒处理 5 张图片,仅图片入口就约为:
2MB × 5 = 10MB/秒
换算为比特速率:
10MB/秒 × 8 = 80Mbps
所以网络配置可以按照业务类型区分:
- 纯文本 API、小规模 RAG:1Gbps 通常有较大余量,但要确认带宽是否独享以及出方向计费方式。
- 多租户文本服务、文件上传或多个模型副本:优先考虑 1~10Gbps,并为突发流量留余量。
- 高比例图片、音频或文档上传:需要单独评估入口、出口、对象存储和临时磁盘,不要只看标称端口速率。
香港服务器还要从目标用户所在地区进行实际网络验证。机房标称带宽不等于所有运营商、所有时间段的端到端体验,应该分别关注 P50/P95 延迟、丢包、回程路由和高峰时段稳定性。
香港服务器的参考配置区间
下面的配置用于建立采购起点,不能当作官方承载保证。表中的并发是活跃请求的参考范围,实际还要用目标模型、目标上下文和真实请求比例进行压测。
| 业务级别 | 模型与并发参考 | GPU 建议 | CPU | 系统内存 | 磁盘 | 网络 |
|---|---|---|---|---|---|---|
| 轻量文本 API | 7B~8B 量化,1~8 个活跃请求 | 1 张 24GB 级显存 GPU | 8~16 vCPU | 32~64GB | 500GB NVMe | 1Gbps 起 |
| 中等在线问答 | 7B~8B FP16 或 14B 量化,5~20 个活跃请求 | 1 张 48GB 级 GPU,或经验证的多卡方案 | 16~32 vCPU | 64~128GB | 1TB NVMe | 1~10Gbps |
| RAG 业务服务 | 14B~32B 量化,10~30 个活跃请求 | 48~80GB 显存,或具备合适拓扑的多卡 | 32~48 vCPU | 128~192GB | 1~2TB NVMe | 10Gbps 更便于留出余量 |
| 大模型在线服务 | 70B 量化,20~50 个活跃请求 | 2 张 80GB 级或 4 张 48GB 级 GPU,需核对互联拓扑 | 48~96 vCPU | 256GB 以上 | 2TB 以上 NVMe | 10~25Gbps,按文件和租户规模核算 |
对于 30 个以上的在线活跃请求,增加一张更大的 GPU 不一定是最优方案。如果模型已经能够稳定放入单卡,且瓶颈是排队和解码吞吐,增加同规格 GPU 副本,再通过负载均衡分发请求,通常比继续堆叠系统内存更容易控制时延。相反,如果瓶颈是模型权重和 KV Cache 无法放入显存,则应优先升级显存或调整量化、上下文长度。

围绕香港节点的 vLLM 推理部署,A5idc数据提供香港 GPU 服务器,涵盖 A100 80GB、RTX 4090 等显卡选项,并配有服务器 CPU、系统内存和 NVMe 存储资源,可为模型加载、请求处理及数据读取提供硬件基础。香港 GPU 产品还提供 CN2 线路配置,为面向内地用户的推理服务提供网络资源选择。
产品交付前需要核对的配置项
向香港服务器供应商确认配置时,应分别核对实际交付参数,而不是只看“GPU 服务器”这一产品名称:
- GPU 项目:确认具体 GPU 型号、显存容量、数量、是否独享,以及是否允许完整使用显存。
- 多卡拓扑:确认 GPU 间连接方式、PCIe 通道和 NUMA 布局,避免多卡推理时通信成为瓶颈。
- CPU 资源:确认 vCPU 是否独享、主频和核心数,RAG 或多租户业务还要确认是否允许长期满载。
- 内存资源:确认实际可用容量、是否支持扩容,以及是否有其他系统服务预留内存。
- 磁盘类型:确认是本地 NVMe、网络块存储还是普通 SSD,并核对容量、持续读取能力和故障更换方式。
- 网络条件:确认端口速率、保证带宽、突发带宽、入方向和出方向限制,以及流量计费口径。
- 软件兼容性:确认操作系统、NVIDIA 驱动、CUDA、容器运行时和目标 vLLM 版本是否匹配。
交付后可以使用只读命令核对硬件信息:
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
lscpu
free -h
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINT
nvidia-smi topo -m
其中,nvidia-smi topo -m 主要用于查看多 GPU 之间的拓扑关系。如果实际 GPU 型号、显存或磁盘数量与订单不一致,应先完成交付确认,再进行模型部署和压测。
用瓶颈指标决定升级方向
运行 vLLM 后,至少应同时观察 GPU 显存、GPU 利用率、排队长度、TTFT、每秒生成 Token 数、CPU 使用率、内存可用量、磁盘读取和网络 P95。不同现象对应的升级方向并不相同。
| 现象 | 更可能的原因 | 优先处理方向 |
|---|---|---|
| 启动时显存不足 | 权重、运行时和 KV Cache 总量超过显存 | 更大显存、量化、减少最大上下文或拆分模型 |
| 并发增加后频繁排队 | GPU 解码吞吐不足或并发序列上限过低 | 先做并发压测,再增加 GPU 副本或调整调度参数 |
| TTFT 明显升高 | 输入 Token 过长、RAG 内容过多或预填充能力不足 | 缩短上下文、优化检索结果、升级 GPU 或 CPU 预处理能力 |
| 生成阶段 Token 速度下降 | GPU 计算、显存带宽或 KV Cache 压力较大 | 升级 GPU、降低单请求上下文、调整量化和并发策略 |
| GPU 利用率不高但接口变慢 | CPU Token 化、文件处理、数据库或网络环节受限 | 分离 RAG/文件服务,增加 CPU 或优化请求链路 |
| 内存持续下降并出现 Swap | 同机服务过多、缓存过大或模型加载余量不足 | 增加内存,拆分向量库、重排模型和推理服务 |
| 模型启动时间过长 | 磁盘读取、网络存储或模型分片过多 | 使用本地 NVMe,保留足够空间并减少重复加载 |
| 图片上传时接口拥堵 | 网络入口或临时文件处理能力不足 | 提升入口带宽,使用对象存储或增加文件处理节点 |
| 香港节点部分地区时延偏高 | 运营商路由、回程路径或高峰拥塞 | 按用户地区测试,调整接入方式或增加接入节点 |
vLLM 中常见的最大上下文长度、最大并发序列数和显存利用率配置,会直接影响可用 KV Cache。参数调整前应结合当前 vLLM 版本和模型文档验证,不要直接复制其他模型的配置。对于在线服务,还要给 CUDA 工作区和突发请求保留显存余量,避免把显存长期压到接近满载。
一套更稳妥的验收流程,是固定模型版本、量化格式、上下文长度和请求样本,分别测试并发 1、5、10、20 等梯度,并记录:
- 首 Token 时间的 P50、P95;
- 完整请求时间和超时比例;
- Prefill 与 Decode 阶段的 Token 吞吐;
- GPU 显存峰值和利用率;
- CPU、内存、磁盘读取和网络峰值;
- 请求排队数量以及高峰后恢复时间。
如果 1~5 个并发时显存已经接近上限,应优先解决显存问题;如果显存充足但并发 10~20 后排队增长,则更可能需要增加 GPU 副本或调整请求调度;如果推理本身稳定,只有文件上传和 RAG 查询变慢,则不应盲目购买更大 GPU,而应扩展 CPU、磁盘或网络侧资源。
香港服务器的配置规划可以从一台满足当前模型和峰值负载的节点开始,但升级条件必须绑定到实际指标:显存溢出就扩显存,GPU 计算饱和就提升 GPU 或增加副本,CPU 和 RAG 处理排队就扩 CPU,内存回收就增加系统内存,模型加载缓慢就更换 NVMe,文件传输达到网络上限才提升带宽。按照瓶颈升级,比单纯堆叠 CPU、内存和磁盘更容易控制成本,也更便于后续扩展 vLLM 推理服务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8650.html

