香港GPU服务器运行vLLM推理,如何根据模型与并发需求选择显存?

发布人:A5数据发布时间:2026-11-04 10:10阅读量:117

香港GPU服务器运行 vLLM 推理时,显存不能只按模型参数量选择。更准确的判断方式是把模型权重、KV Cache、推理运行空间和并发请求同时放进预算:模型大小决定“能否装下”,上下文长度与并发数决定“能同时服务多少请求”,量化方式则影响权重占用,但通常不会按同等比例降低 KV Cache。

从业务场景反推配置配图

作为初步参考,7B/8B 模型使用 FP16 或 BF16、4K~8K 上下文、低至中等并发,通常从 24GB~48GB 显存起步;14B 模型使用半精度时更适合 48GB 级别;32B 模型采用 4-bit 量化后,可评估 48GB~80GB,但需要为 KV Cache 留出空间;70B 级模型即使采用 4-bit 量化,单卡 80GB 也更适合较短上下文或较低并发,若需要稳定承载较多同时生成请求,通常要考虑多卡张量并行。

先从业务请求反推推理负载

同一个模型,在内部问答、在线客服、代码补全和长文档分析中的资源需求差异很大。选香港GPU服务器之前,应先明确以下业务动作:

  • 请求是一次性返回,还是需要持续流式输出;
  • 用户主要发送短问题,还是上传长文档、代码或结构化数据;
  • 单次输入和输出分别有多少 token;
  • 高峰期同时生成的请求数量;
  • 是否需要保留完整上下文、对话历史或检索结果;
  • 是否需要多个模型同时在线;
  • 用户和知识库是否位于香港本地或其他地区。

例如,一个企业内部知识库问答服务,可能有 2~5 个请求/秒,但每个请求携带 4K~8K token 的检索内容,实际压力可能来自上下文和 KV Cache,而不是单纯的请求数。一个客服接口可能每秒请求更多,但每次只有几百个输入 token,GPU压力则更多体现在调度、批处理和输出速度。

用平均响应时间估算活跃并发

请求速率和并发不是同一个指标。可以用一个简单估算关系确定 GPU 同时需要保存多少条生成序列:

活跃并发数 ≈ 请求速率 × 平均请求处理时间(秒)

例如,服务平均每秒处理 2 个请求,每个请求从进入到生成结束平均需要 8 秒,则活跃并发约为:

2 × 8 = 16 个请求

如果启用流式输出,用户看到首个 token 的时间可能较短,但请求在生成完成前仍然占用 KV Cache。因此,不能只看首 token 延迟,还要统计完整生成阶段的活跃请求数。

重点记录四组业务指标

指标对显存的主要影响对其他资源的主要影响
输入 token 数增加 KV Cache,占用显存增加预填充计算和网络传输
输出 token 数延长 KV Cache 生命周期增加解码计算、GPU占用和响应时间
活跃并发数多条序列同时占用 KV Cache影响批处理、CPU调度和吞吐
请求速率决定单位时间内的调度压力影响CPU、网络、队列和GPU利用率

日均请求量主要用于估算成本和模型加载次数,不能直接替代峰值并发。显存规划应以高峰期的活跃序列、最大上下文和输出长度为依据。

显存预算:权重只是第一部分

vLLM 推理所需显存可以按以下思路拆分:

所需显存 ≈ 模型权重 + KV Cache + 激活与运行空间 + CUDA Graph及预留空间

其中,模型权重可以先按参数量粗略估算,再根据模型格式修正。以下为常见参考值,实际结果会受到模型架构、量化格式和加载后端影响:

模型规模FP16/BF16权重参考占用8-bit量化参考占用4-bit量化参考占用
7B/8B约15~18GB约8~10GB约4.5~6GB
14B约28~34GB约15~18GB约8~11GB
32B约64~72GB约34~40GB约18~24GB
70B约140~155GB约72~82GB约40~50GB

这里的4-bit和8-bit数值已经考虑了量化缩放参数、元数据等额外开销,不应直接用参数量乘以0.5字节或1字节后作为最终显存需求。实际加载时,还要预留推理框架和CUDA运行空间。

KV Cache如何影响并发

Transformer模型在生成过程中,会保存每个输入和输出 token对应的Key、Value,这部分就是KV Cache。其单个 token 的理论占用可按以下公式估算:

KV Cache如何影响并发配图

每token KV占用 = 2 × 层数 × KV头数 × 每头维度 × 每元素字节数

以一类常见的7B模型结构为例,假设有32层、8个KV头、每头128维,KV使用FP16,每个元素2字节:

2 × 32 × 8 × 128 × 2 = 131072字节

也就是约128KiB/token。若一条请求实际保留8K token上下文,则单条序列的KV Cache理论上约为:

128KiB × 8192 ≈ 1GiB

如果同时有16条接近8K的序列,仅KV Cache就可能需要约16GiB。模型权重、运行空间和显存预留还没有计算在内。

不同模型的层数、KV头数和头维度可能差别较大。采用GQA的模型通常比同规模、同上下文的传统多头注意力模型更节省KV Cache;某些模型还会使用不同的注意力结构。因此,不能把一个模型的KV占用直接套用到另一个模型。

4-bit量化并不等于并发能力提升四倍

4-bit量化主要减少模型权重显存。若KV Cache仍使用FP16或BF16,那么上下文长度和并发增加时,KV Cache仍会快速增长。

因此,以下两种说法需要区分:

  • 4-bit量化可以让原本无法加载的模型放入较小显存;
  • 4-bit量化不一定能让同一显卡承载四倍并发;
  • 长上下文业务中,显存瓶颈可能从“权重不足”转为“KV Cache不足”;
  • 量化后的吞吐和延迟还取决于GPU架构、量化内核和vLLM版本,不能只按理论位宽推算。

根据模型与并发选择显存档位

下表是面向初期规划的参考起点,不代表具体模型在所有输入输出组合下的承载保证。表中的并发是活跃生成请求数量,实际部署仍应使用目标模型和真实请求回放验证。

业务场景模型与精度上下文参考活跃并发显存选择起点
短问答、内部助手7B/8B FP16或BF164K~8K4~824GB~32GB
客服、知识库问答7B/8B 4-bit或半精度4K~8K8~1624GB~48GB
代码和结构化分析14B FP16/BF164K~8K4~848GB级别
中等规模推理服务32B 4-bit4K~8K4~848GB~80GB
长上下文、较多并发32B 4-bit或半精度8K~16K8~1680GB或多卡
大模型低并发调用70B 4-bit4K~8K2~4单卡80GB可评估
大模型在线服务70B 4-bit8K及以上4~8多张80GB级GPU

24GB~32GB显存适合什么情况

24GB~32GB显存适合7B/8B模型的短中上下文推理,也可以运行部分14B或更大模型的量化版本。适合以下业务:

  • 企业内部机器人;
  • 低并发客服接口;
  • 文本分类、摘要和改写;
  • 轻量代码补全;
  • 需要控制单卡成本的测试或灰度环境。

如果使用7B/8B半精度并且要求8K上下文、16条以上活跃序列,24GB显存的余量可能较小。此时需要缩短最大上下文、采用量化,或提升到48GB级别,而不是只调高显存利用率参数。

48GB显存适合什么情况

48GB是14B半精度模型和32B量化模型常见的评估起点,适合中等并发的API服务。它通常比24GB更容易为KV Cache和运行空间留出余量,尤其适合:

  • 14B模型的4K~8K上下文推理;
  • 32B模型的4-bit量化推理;
  • 7B/8B模型较高并发服务;
  • 同一服务器上运行主模型和少量辅助任务。

如果业务存在偶发的16K或32K长请求,48GB显存仍可能被单批请求迅速占满。长上下文服务要按峰值上下文规划,而不能只根据日常平均长度配置。

80GB及多卡配置适合什么情况

80GB级显卡更适合大模型、长上下文或较高并发业务。70B模型的4-bit权重虽然可能占用约40~50GB,但还要扣除KV Cache、运行空间和并行通信开销。单卡80GB可作为低并发方案评估;如果需要更大的上下文和更多活跃请求,则应考虑2张或更多GPU。

多卡部署时,需要分别关注:

80GB及多卡配置适合什么情况配图

  • 每张卡的显存是否足够,而不是简单相加;
  • tensor parallel 切分后模型权重和KV Cache的分布方式;
  • GPU之间是NVLink、高速互联还是PCIe;
  • 多卡通信是否成为每个解码步骤的额外延迟;
  • 香港GPU服务器是否提供独占GPU和稳定的卡间带宽。

如果多张GPU分布在不同物理服务器上,再通过普通公网或低带宽内网做张量并行,通常不适合对延迟敏感的在线生成服务。跨服务器更适合通过服务级拆分、模型副本或异步任务实现,除非供应商明确提供满足并行需求的高速互联环境。

针对vLLM推理、模型测试和图像处理等GPU工作负载,A5idc数据提供中国香港GPU物理服务器,产品涵盖A100 80GB与RTX 4090等显卡选项,并配套服务器CPU、内存及NVMe存储资源。香港GPU系列提供CN2线路,可为模型权重加载、推理服务接入和业务数据传输提供相应的硬件与网络基础,适配从单卡部署到多卡计算的不同应用场景。

CPU、内存、磁盘和网络如何配套

显存决定模型能否高效运行,但整台香港GPU服务器的交付配置仍要围绕业务链路确定。

CPU:承担请求接入和调度,不只是“带得动GPU”

vLLM服务中的CPU通常承担以下工作:

  • HTTP请求接入和连接管理;
  • tokenizer编码与解码;
  • 请求队列和批处理调度;
  • JSON序列化、流式输出和日志处理;
  • RAG结果拼接、权限校验和业务逻辑;
  • TLS、网关或反向代理处理。

单卡轻量推理可以从8~16个vCPU作为起点,两卡服务可以从16~32个vCPU评估。如果输入文本很长、请求速率高,或者前面还部署了检索、重排和网关服务,应增加CPU,而不是把所有问题归因于GPU。

CPU不足时,常见表现是GPU利用率不高、请求排队时间增加、首token延迟波动明显,但显存并未用满。

内存:模型加载和业务数据会产生额外峰值

系统内存通常用于:

  • 加载模型文件和分词器;
  • 模型启动期间的权重转换或临时副本;
  • 多进程服务和请求队列;
  • RAG文档、缓存和检索组件;
  • 日志、监控及容器运行时。

单卡24GB~48GB显存的轻量服务,可以从64GB内存评估;单卡80GB或包含较大量化模型的服务,更适合128GB;多卡大模型、多个模型副本或本地部署检索组件,可考虑256GB及以上。

如果启动模型时出现系统内存不足、加载速度极慢或被操作系统终止,即使GPU显存充足,也说明内存配置没有跟上。CPU offload可以作为特定场景下的实验手段,但会增加CPU与GPU之间的数据交换,不宜把它当作在线低延迟服务的常规方案。

磁盘:重点是NVMe速度和可用空间

模型推理稳定运行后,磁盘通常不是每个请求的主要瓶颈,但会影响:

  • 模型首次加载和重启时间;
  • 多个量化版本或模型版本的切换;
  • Hugging Face或本地模型缓存;
  • 日志、监控和请求回放;
  • 临时文件及升级过程中的重复副本。

建议至少按模型文件总量的2~3倍准备可用空间。例如,模型文件约50GB时,不应只购买刚好容纳50GB的系统盘,还要留出下载临时文件、旧版本和日志空间。单模型服务可从500GB NVMe起步,多模型或频繁更新环境更适合1TB及以上。

磁盘容量不足会导致模型更新失败;磁盘读写性能不足,则可能表现为重启加载慢、多个服务同时启动时互相影响。它通常不会直接决定稳态生成速度,因此不必用超大容量磁盘替代显存升级。

网络:根据请求内容和数据位置规划

在线文本生成的输出流量往往没有想象中大,但长提示词、文档上传、检索结果和模型下载会显著增加网络压力。

例如,50个请求/秒,每个请求平均上传100KB文本,则入口流量约为:

50 × 100KB = 5000KB/s = 5MB/s

按十进制换算,5MB/s × 8 = 40Mbps。这里的MB是字节,Mbps是比特,不能直接把5MB/s写成5Mbps。

香港GPU服务器的公网带宽应结合以下因素选择:

  • API用户所在地区和访问延迟;
  • 是否需要上传长文档或代码仓库;
  • 是否使用远程向量数据库、对象存储或检索服务;
  • 是否频繁拉取模型和容器镜像;
  • 是否有多个模型副本对外提供流式输出;
  • 带宽是独享、共享还是按流量计费。

如果输入输出主要是短文本,1Gbps通常有较大余量;如果存在文档上传、跨地域检索或多租户服务,可评估10Gbps网络。GPU之间的内部互联不能用公网带宽替代,采购时要分别确认外网带宽和卡间通信能力。

vLLM参数应与显存规划保持一致

显存配置确定后,还要限制最大上下文和批处理规模,避免服务接受了超过硬件能力的请求。以下为一个7B/8B模型、半精度、8K上下文的配置起点:

vllm serve /models/example-7b \
  --dtype bfloat16 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 8192 \
  --host 127.0.0.1 \
  --port 8000

参数含义需要结合实际版本核对:

  • --gpu-memory-utilization:控制vLLM用于运行和KV Cache的显存比例,通常可从0.85~0.90附近开始,过高会降低异常请求和运行时波动的余量;
  • --max-model-len:限制单个请求允许的最大上下文长度,设置越大,潜在KV Cache需求越高;
  • --max-num-seqs:限制同时参与调度的序列数量,不等于业务层的全部连接数;
  • --max-num-batched-tokens:限制一次调度批次中的 token 数,影响吞吐、延迟和显存压力;
  • --dtype:GPU支持BF16时可使用BF16,不支持时应根据模型和硬件改用FP16;
  • --tensor-parallel-size:多卡模型需要按卡数设置,并结合卡间互联进行验证。

不同vLLM版本、模型格式和量化后端支持的参数可能不同,部署前应先执行帮助命令核对,而不是直接复制其他版本的配置:

vllm serve --help
vllm --version

对于对外服务,vLLM监听地址、鉴权、TLS和访问控制还应由业务网关统一处理。示例中的本地监听适合由同机网关转发,不代表所有部署都应直接暴露服务端口。

交付验收要看什么,而不是只看显存容量

采购香港GPU服务器时,不能只确认“有几张卡”和“总显存多少”,还要把模型、并发和验收口径写清楚。

GPU与模型适配

需要确认:

  • GPU具体型号、单卡显存和数量;
  • 是否独占GPU,是否存在动态共享或超售;
  • GPU驱动、CUDA和容器运行时版本;
  • 目标模型的FP16、BF16或量化格式是否支持;
  • 多卡之间采用NVLink、PCIe还是其他互联;
  • 供应商是否允许运行目标版本的vLLM和量化后端。

可使用只读命令检查GPU信息:

nvidia-smi --query-gpu=name,memory.total,driver_version,pci.bus_id \
  --format=csv

性能验收口径

应使用相同的模型文件、量化方式、输入长度、输出长度和并发数进行测试,重点记录:

  • 首token延迟,也就是TTFT;
  • 生成阶段每token延迟,也就是TPOT;
  • 总输出token吞吐;
  • 请求排队时间;
  • GPU显存使用和KV Cache占用;
  • OOM次数、超时率和错误率;
  • CPU、内存、磁盘和网络利用率。

例如,不能用512 token短问题测得的结果,去承诺32K文档分析场景;也不能用单并发吞吐,推断高峰期16或32并发下的响应时间。

这些信号出现时再升级配置

显存升级应由指标触发,而不是看到GPU利用率高就直接增加GPU数量。

这些信号出现时再升级配置配图

  • 频繁出现CUDA out of memory:优先检查最大上下文、活跃并发、量化格式和KV Cache;确认是权重不足还是长请求挤占缓存。
  • 显存未满但首token延迟高:检查CPU tokenization、请求队列、RAG检索、网络往返和批处理参数。
  • 生成阶段变慢且GPU利用率接近上限:说明解码吞吐不足,可减少单请求输出、增加GPU副本或采用多卡并行。
  • GPU利用率忽高忽低:检查请求是否过于零散、并发不足、CPU调度慢或输入长度波动过大。
  • 启动慢但运行速度正常:优先升级NVMe、内存或模型缓存策略,不必直接增加显存。
  • 跨地域调用延迟高:检查香港服务器与用户、知识库和业务数据库之间的网络路径,显卡升级不能解决网络往返时间。
  • 多卡扩容后性能没有线性提升:检查卡间互联、张量并行通信和单请求规模,普通网络连接不适合作为高频同步通信链路。

实际选择时,可以先按“模型权重能够装下、峰值KV Cache留有余量、CPU和内存不成为前置瓶颈”的原则确定一档配置,再用真实业务请求压测。若瓶颈在显存,就缩短上下文、采用合适量化或升级显存;若瓶颈在CPU、磁盘或网络,则应针对对应指标扩容。这样选择香港GPU服务器,才能让硬件投入与模型规模、并发需求和业务访问路径保持一致。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7463.html

相关推荐