部署GPU推理服务时,单GPU服务器的显存与系统内存如何配置?
单GPU推理服务的配置,不能只看模型参数量。在线问答、文档抽取、图片理解、向量检索和离线批处理,对显存、系统内存、CPU、磁盘和网络的压力来源并不相同。应先从请求数量、输入输出长度、并发数和数据类型出发,再决定服务器规格。
以单实例、单模型、中等并发的文本推理为例,7B~8B模型采用4bit量化、上下文长度不超过4K时,24GB显存搭配64GB系统内存通常可以作为起步估算;如果需要更长上下文、较高并发、视觉输入或多个模型组件,建议把显存提高到48GB级别,并将系统内存提高到128GB左右。14B级别量化模型、长上下文服务和多模态服务,不能直接套用7B模型的配置。
从业务动作识别推理负载
同样是一台单GPU服务器,在线聊天和离线批量生成的资源重点可能完全不同。配置前需要先明确服务实际执行的动作。
常见业务场景与主要压力来源
| 业务场景 | 典型请求 | 主要负载特征 | 优先关注的资源 |
|---|---|---|---|
| 在线客服、知识库问答 | 用户提问,拼接检索内容后生成回答 | 并发请求、上下文长度、首字延迟、输出速度 | 显存、显存带宽、系统内存、网络延迟 |
| 文档摘要、合同抽取 | 上传文档,分段后调用模型 | 输入Token较长,CPU解析和磁盘读写较多 | 显存、系统内存、CPU、NVMe磁盘 |
| 图片理解、OCR后处理 | 上传图片并生成描述或结构化结果 | 图片解码、视觉编码器、中间张量占用显存 | 显存、CPU、内存、网络 |
| Embedding向量服务 | 批量接收文本并生成向量 | 请求数量多,单次输出短,批处理比例较高 | GPU利用率、CPU、网络、批大小 |
| Rerank排序服务 | 对查询和候选文档逐项打分 | 请求可能被展开为大量候选对 | GPU吞吐、CPU预处理、内存 |
| 离线内容生成 | 定时处理文章、数据或任务队列 | 更关注单位时间吞吐,不强调单请求延迟 | GPU利用率、磁盘吞吐、任务队列 |
| 多租户模型服务 | 多个业务共用一张GPU | 模型切换、显存碎片、不同上下文长度混合 | 显存容量、系统内存、调度策略 |
业务侧至少应给出以下数据:
- 平均请求量和峰值请求量;
- 峰值并发数,以及请求是否会持续堆积;
- 平均输入Token、P95输入Token、平均输出Token;
- 最大上下文长度;
- 是否包含图片、PDF、音频或其他大文件;
- 是否需要同时加载基础模型、Embedding模型、Rerank模型和视觉模型;
- 首字延迟、完整响应延迟或单位时间吞吐的目标;
- 模型更新频率,以及是否需要保留多个模型版本。
其中,平均值只能用于估算基础容量,P95或P99请求长度更适合用于判断显存峰值和队列风险。
并发不等于QPS
在线推理服务中,并发数和QPS不是同一个指标。一个请求可能持续数秒甚至更久,在此期间会一直占用KV Cache和调度资源。
可以用一个简单关系估算并发:
并发数 ≈ 峰值QPS × 平均请求持续时间
例如,服务峰值为每秒5个请求,平均每个请求从进入队列到完成需要4秒,则平均并发约为20。即使QPS不高,长输出和长上下文也可能使显存快速吃满。
如果请求长度差异很大,还要单独观察最大上下文和长尾请求。一个包含2万Token历史记录的请求,对显存的影响可能高于多个短问题。
显存配置:模型权重只是起点
GPU显存通常由四部分共同占用:
- 模型权重;
- KV Cache;
- 推理框架的临时工作区和激活;
- 视觉编码器、LoRA适配器、CUDA Graph及其他运行时开销。
因此,不能用“模型文件大小小于显存容量”作为部署条件。
先估算模型权重
模型权重的原始占用可以用下面的方式粗略估算:
权重占用 ≈ 参数量 × 每个参数的字节数
常见精度对应的每参数字节数大致如下:
| 权重类型 | 每参数原始占用 | 7B模型原始权重估算 | 14B模型原始权重估算 |
|---|---|---|---|
| FP32 | 4字节 | 约28GB | 约56GB |
| FP16或BF16 | 2字节 | 约14GB | 约28GB |
| INT8 | 1字节 | 约7GB | 约14GB |
| 4bit量化 | 约0.5字节 | 约3.5GB | 约7GB |
表中的GB是便于估算的十进制口径,实际模型文件和运行时通常还会包含量化比例、缩放因子、元数据、对齐空间和其他张量,因此4bit模型的实际占用不会严格等于参数量乘以0.5字节。
同样是7B或14B,不同模型的层数、词表大小、注意力结构和量化方式都可能造成差异。使用GQA的模型,KV Cache通常比同规模但KV头更多的模型节省显存;不同推理框架对权重布局和缓存分配的方式也不完全相同。
KV Cache经常成为显存瓶颈
生成式模型处理上下文时,会保存已经计算过的Key和Value,避免每生成一个Token都重新计算全部历史内容。这部分缓存就是KV Cache。
KV Cache大致与以下因素相关:
- Transformer层数;
- 每层的KV头数量;
- 每个头的维度;
- 上下文Token数;
- 同时运行的请求数;
- KV Cache使用的精度;
- 推理框架的块分配和缓存策略。
可以使用一个简化公式理解其趋势:
KV Cache占用 ≈ 层数 × 2 × Token数 × KV头数 × Head维度 × 每元素字节数 × 并发请求数
例如,一个示例模型有32层、8个KV头、每个头128维,KV采用FP16。单个请求上下文达到8192 Token时,KV Cache约为1GiB;如果同时保持8个同等长度的请求,仅这一项就可能接近8GiB。该计算用于说明数量级,实际数值还取决于模型结构和框架实现。

这也是为什么“模型权重只占4GB,所以8GB显存应该够用”的判断经常失效。4bit量化只降低了权重占用,不会按同样比例消除长上下文、并发请求和中间计算带来的显存需求。
视觉输入会改变显存估算
多模态服务除了语言模型,还可能加载视觉编码器。图片经过缩放、切片或转成视觉Token后,会产生额外的输入张量和中间结果。
以下因素会显著影响显存:
- 单次请求携带的图片数量;
- 原图尺寸和缩放策略;
- 是否启用高分辨率切片;
- 图片是否需要多轮理解;
- 每个请求是否同时携带文本和多个视觉输入;
- 视觉模型与语言模型是否常驻显存。
图片数量不多但分辨率较高时,显存峰值可能在预处理和编码阶段出现,而不是生成文本阶段。对于图像问答、票据识别、图表分析等服务,不能只按照语言模型的参数量选卡。
显存应预留运行空间
生产服务不宜让模型长期占用接近100%的显存。可以将显存预算拆成:
- 模型权重:约占主要固定空间;
- KV Cache:根据并发和上下文长度动态分配;
- 框架和算子工作区:保留运行余量;
- 视觉、检索或适配器组件:单独核算;
- 峰值安全空间:建议预留约15%~25%。
如果一张24GB显卡在空闲时已经使用22GB,那么即使服务能完成模型加载,也可能在并发上升、长请求进入或批处理扩大时出现CUDA out of memory。实际配置时,应以压测过程中的峰值显存为准,而不是只看启动成功。
系统内存不能替代显存
部分推理框架支持将权重或缓存卸载到系统内存,但这不意味着系统内存可以等价替代显存。CPU内存与GPU之间需要通过PCIe等链路传输数据,频繁交换会增加延迟并降低吞吐。

CPU Offload可以作为显存不足时的临时方案,但更适合:
- 并发较低;
- 请求延迟要求不高;
- 离线任务;
- 模型必须运行但暂时无法更换GPU的场景。
如果业务要求稳定的在线响应,优先增加显存或降低模型上下文、并发和批大小,而不是把大量权重依赖于系统内存。
系统内存配置:看模型加载、并发和数据处理
系统内存主要承担以下工作:
- 操作系统、容器和监控进程;
- 模型文件加载和CPU侧临时副本;
- Tokenizer和文本分段;
- PDF、图片、音频等数据预处理;
- 请求队列、响应缓存和批处理;
- 向量库、检索结果或本地缓存;
- 模型切换和版本保留;
- 日志、共享内存和多进程通信。
模型文件大小不是内存峰值
模型启动时,可能经历下载、解压、格式转换、权重映射和上传显存等阶段。启动峰值通常高于服务稳定运行时的内存占用。
可以采用下面的估算思路:
系统内存预算 ≈ 操作系统与服务基础占用 + CPU侧模型副本 + 预处理缓存 + 请求队列 + 20%~30%余量
在单模型、单进程服务中,CPU侧可能只保留一份权重映射;如果使用多个独立Worker进程,每个进程都初始化模型,内存占用可能接近多份副本。不能简单认为“增加API Worker只会增加少量CPU开销”。
对于一个4bit模型,如果部署过程还需要从FP16权重转换或生成新的量化文件,启动阶段可能同时存在原始权重、转换中间文件和目标文件。生产环境应提前确认模型格式,避免在内存较小的服务器上直接进行转换。
参考内存区间
| 业务与模型规模 | 系统内存起步建议 | 适用说明 |
|---|---|---|
| Embedding、轻量分类模型 | 32GB | 单模型、适中批处理、文本预处理较轻 |
| 7B~8B量化文本模型 | 64GB | 单实例、中等并发、模型不频繁切换 |
| 7B~8B长上下文或多模态模型 | 64GB~128GB | 包含较多文档、图片或缓存 |
| 13B~14B量化模型 | 64GB~128GB | 需要根据启动方式和并发进一步压测 |
| 30B~32B量化模型 | 128GB~256GB | 适合模型文件较大、上下文较长的服务 |
| 多模型共存或高频切换 | 128GB起 | 需要核算模型版本、缓存和进程副本 |
64GB并不代表任何7B模型都能稳定运行,128GB也不代表所有14B模型都适用。具体结果与模型格式、推理框架、Worker数量、缓存策略和输入数据类型有关。
预处理可能比模型更吃内存
文档和图片服务中,系统内存压力经常来自预处理:
- PDF转文本时产生页面对象和中间文件;
- OCR服务可能同时保留原图、缩略图和识别结果;
- 多页文档拆分后,多个请求可能在队列中等待;
- 批处理会把多个样本一次性放入内存;
- RAG流程会保留原文、分块、向量和检索结果。
例如,一个请求携带50MB文档,如果服务同时保留原始文件、解析对象、分块结果和待推理文本,实际消耗可能超过文件大小的数倍。并发达到20时,不能只按50MB乘20估算,还要加入框架和缓存开销。
系统内存不足时,Linux可能启用Swap。Swap会让服务表现为“没有立即崩溃,但延迟突然变长”,对于在线推理通常不利。生产环境应监控可用内存和Swap活动,不要把Swap当作正常的显存扩展方案。
CPU、磁盘和网络如何配套
GPU并不是所有推理服务的唯一瓶颈。请求进入服务器后,还要经历网络接收、数据解码、分词、检索、批处理、GPU执行和响应发送等环节。
CPU:决定数据能否及时送到GPU
CPU主要负责:
- HTTP或RPC连接处理;
- Tokenizer和文本清洗;
- PDF、图片和音频解码;
- RAG检索和结果拼接;
- 请求调度和动态批处理;
- 响应序列化与压缩;
- 日志和监控。
可以使用以下范围作为单GPU服务的起步参考:
| 服务类型 | CPU参考配置 | 适用条件 |
|---|---|---|
| 纯文本、低并发生成 | 8~16个物理核或vCPU | 输入短,检索和预处理较少 |
| 在线问答、动态批处理 | 12~24个物理核或vCPU | 并发较高,需处理队列和Tokenization |
| 图片、PDF、多模态服务 | 16~32个物理核或vCPU | CPU承担解码、缩放和文档解析 |
| Embedding高批量服务 | 8~24个物理核或vCPU | 批处理、网络和序列化压力较明显 |
| 离线数据流水线 | 16~32个物理核或vCPU | 同时进行读取、清洗和任务调度 |
如果GPU利用率长期低于预期,但CPU某个核心繁忙、请求队列持续增加,问题可能出在单线程Tokenization、图片解码、锁竞争或网络处理,而不是显存容量。
磁盘:关注模型加载和数据吞吐
磁盘容量至少要容纳:
- 当前运行的模型;
- 上一个可回滚版本;
- 下载和解压临时文件;
- 推理引擎缓存;
- 日志和监控数据;
- 文档或图片临时目录。
单模型部署时,可以按“模型文件总量的2~3倍”预留可用空间,再加上日志和业务数据空间。需要保留多个模型版本时,应按版本数量重新计算。
本地NVMe通常适合以下场景:
- 模型冷启动频繁;
- 需要快速加载大模型;
- 批处理需要连续读取大量文件;
- 服务不希望每次从远程存储读取模型。
例如,模型文件按十进制计约20GB,磁盘有效读取速度按1GB/s估算,纯读取时间约为20秒,实际启动还要叠加文件映射、权重初始化、CUDA加载和服务探活时间。如果有效速度只有300MB/s,单纯读取时间就可能超过1分钟。
这里的速度是容量规划中的估算,不等同于具体磁盘产品的持续性能。应在目标服务器上检查实际顺序读取和随机读取表现。
网络:文本服务和多模态服务差异很大
纯文本请求通常不需要很高的带宽,延迟和连接数更值得关注。图片、PDF和音频服务则可能让网络成为明显瓶颈。
举例说明十进制单位换算:
- 每秒100个文本请求;
- 每个请求上传和返回合计约12KB;
- 网络数据量约为100 × 12KB = 1200KB/s;
- 约为1.2MB/s;
- 换算为比特速率:1.2 × 8 = 9.6Mbps。
这种负载即使使用1Gbps网卡,带宽也通常不是主要限制。
再看图片服务:
- 每秒20张图片;
- 每张图片平均2MB;
- 仅上传方向就是20 × 2MB = 40MB/s;
- 换算为40 × 8 = 320Mbps;
- 如果还要返回较大的结构化结果、缩略图或日志流,双向流量会进一步增加。
1Gbps网卡的理论线速约为125MB/s,实际还要扣除协议、TLS、连接管理和其他业务流量。多模态、高并发或需要访问远程对象存储时,可以考虑10Gbps网络,并确认网卡、交换机、存储端和服务器PCIe链路能够共同达到目标。
单GPU服务器参考配置
下面的配置用于容量规划和采购初筛,默认服务器运行单个主要推理实例,不代表任何具体GPU、模型或框架的官方承载保证。实际配置应以目标模型和固定压测结果为准。
A5idc数据提供香港、美国GPU物理服务器,配有A100 80GB或RTX 4090等显卡选项,并结合服务器CPU、内存与NVMe存储,为单GPU推理、模型测试和图像处理提供计算资源基础。香港GPU产品有CN2线路配置;美国GPU产品页面列有1Gbps三网直连回国或3Gbps国际带宽方案,可满足不同部署地区的网络资源需求。
| 业务负载 | GPU显存参考 | 系统内存参考 | CPU参考 | 磁盘参考 | 网络参考 |
|---|---|---|---|---|---|
| 7B~8B 4bit文本问答,4K上下文,中等并发 | 16GB~24GB | 64GB | 8~16核 | 500GB~1TB NVMe | 1Gbps |
| 7B~8B 4bit文本问答,8K以上上下文 | 24GB~48GB | 64GB~128GB | 12~24核 | 1TB NVMe | 1Gbps~10Gbps |
| 13B~14B 4bit文本推理 | 24GB~48GB | 64GB~128GB | 12~24核 | 1TB NVMe | 1Gbps~10Gbps |
| 30B~32B 4bit、低到中等并发 | 48GB~80GB | 128GB~256GB | 16~32核 | 1TB~2TB NVMe | 10Gbps更合适 |
| 7B~8B多模态服务 | 24GB~48GB | 64GB~128GB | 16~32核 | 1TB NVMe | 1Gbps~10Gbps |
| Embedding或Rerank服务 | 16GB~24GB | 32GB~64GB | 8~24核 | 500GB~1TB NVMe | 按请求量选择 |
| 离线批量生成 | 24GB~80GB | 64GB~256GB | 16~32核 | 按数据量扩容 | 取决于数据来源 |
7B~8B量化问答服务
如果业务是客服问答、内部知识库或简单结构化输出,输入长度通常在几百到几千Token,输出长度不长,且只运行一个4bit模型,那么24GB显存和64GB内存可以作为起步方案。
如果同时存在以下条件,应优先选择更大显存:
- 上下文长度达到8K或更高;
- 峰值并发超过10~20;
- 需要保留较长对话历史;
- 使用较大的动态批处理;
- 同时加载Embedding或Rerank组件;
- 使用LoRA适配器或多个任务适配器;
- 需要视觉输入。
14B级别量化服务
14B模型的4bit权重本身可能不大,但KV Cache、运行时工作区和并发请求会占用额外空间。24GB显存可能只能适合低并发、短上下文和经过验证的特定运行方式;如果业务要求更宽松的并发和上下文,48GB显存更容易留下运行余量。
系统内存建议从64GB或128GB起步,具体取决于模型加载方式、是否保留CPU副本以及是否同时执行文档解析和检索。
多模态服务
多模态服务不应仅依据语言模型参数量采购。图片分辨率、单次图片数量、视觉编码器大小和图像Token数量都会影响显存。
例如,单图低分辨率问答和多图高分辨率票据分析虽然都可以称为“图片理解”,但显存峰值可能相差较大。对于后者,24GB显存可能需要严格限制图片尺寸、并发和上下文;48GB显存通常更适合留出调度空间。系统内存则要覆盖图片缓存、解码副本和文档预处理,64GB是较常见的起步线,复杂流程可考虑128GB。
Embedding和Rerank服务
Embedding服务经常表现为GPU显存不满,但CPU、网络或批处理调度已经成为瓶颈。此时继续增加显存未必能提高整体吞吐。
需要重点测试:
- 单请求文本数量;
- 批大小;
- 平均文本长度;
- 向量输出大小;
- 是否需要实时返回;
- 网络连接和序列化开销;
- 向量写入数据库的速度。
如果服务一次接收大量短文本,适当扩大批处理、优化Tokenizer和提高CPU性能,可能比更换大显存GPU更有效。
产品选择时要核对的硬件条件
标题中的“配置”不仅包括容量,还包括服务器和GPU之间是否能够稳定配合。
GPU侧
选择GPU时,应分别核对:
- 显存容量是否覆盖模型、KV Cache和运行时余量;
- 是否支持目标模型需要的FP16、BF16、INT8或4bit计算路径;
- 显存带宽是否适合目标吞吐;
- 驱动、CUDA运行时和推理框架版本是否兼容;
- 显卡功耗是否匹配服务器电源;
- 机箱风道是否适合该卡的尺寸和散热方式;
- 是否存在显存纠错、稳定性或长期运行方面的业务要求。
显存容量决定“能否装下并稳定运行”,显存带宽和计算能力更多影响“运行速度”。两者不能互相替代。
CPU与主板侧
单GPU服务器也需要关注GPU插槽和CPU拓扑:

- GPU是否使用足够规格的PCIe插槽;
- 插槽是否与CPU直连,是否经过额外桥接;
- 双路CPU服务器中,GPU是否挂在合适的NUMA节点;
- 内存是否按通道均衡安装;
- 是否预留后续增加内存的插槽;
- 电源和散热是否支持长期满载;
- BIOS、IOMMU和驱动设置是否满足框架要求。
如果GPU通过跨NUMA节点访问CPU内存,或者预处理线程集中在距离GPU较远的CPU节点,可能出现GPU利用率不高、数据传输延迟偏大的情况。
磁盘与网络侧
磁盘和网络的验收条件应根据对象分别确定:
- 模型磁盘:核对容量、持续读取速度和冷启动时间;
- 业务数据盘:核对并发读写、文件数量和故障恢复方式;
- 网络接口:核对带宽、双向吞吐、连接数和延迟;
- 远程存储:核对模型拉取时间、断点续传和存储端限速;
- 日志盘:核对写入量,避免高频日志影响模型读取。
1Gbps网卡适合许多纯文本推理服务,但不能直接推断能满足高并发图片服务。NVMe容量足够,也不能直接推断远程模型加载速度一定满足冷启动要求。
用固定负载验收,而不是只看启动成功
服务器采购或部署前,应准备一组固定请求,覆盖正常流量和长尾流量。至少包含:
- 短输入、短输出;
- 长输入、短输出;
- 短输入、长输出;
- 最大上下文;
- 峰值并发;
- 多图片或大文件请求;
- 冷启动和热运行;
- 单请求与批处理两种模式。
可以先用以下只读命令观察基础资源状态:
nvidia-smi --query-gpu=name,memory.total,memory.used,utilization.gpu,temperature.gpu --format=csv
free -h
df -h
cat /proc/meminfo | egrep 'MemTotal|MemAvailable|SwapTotal|SwapFree'
如果系统安装了sysstat,也可以观察CPU、磁盘和设备等待:
iostat -xz 1 5
压测结果建议至少记录以下指标:
| 指标 | 关注内容 | 对应资源判断 |
|---|---|---|
| 首Token延迟 | 请求进入后多久开始返回 | 队列、输入长度、GPU计算、CPU预处理 |
| 每秒生成Token数 | 输出阶段速度 | GPU计算能力、显存带宽、并发调度 |
| 完整请求延迟 | 从接收到完成的总时间 | 全链路综合结果 |
| GPU显存峰值 | 是否接近容量上限 | 模型、KV Cache、批大小 |
| GPU利用率 | 是否持续有计算 | GPU是否吃满,或前端供数不足 |
| CPU利用率与单核负载 | 是否存在预处理瓶颈 | Tokenizer、解码、检索、序列化 |
| 系统内存峰值 | 是否发生缓存堆积 | 模型副本、队列、文档和图片缓存 |
| Swap活动 | 是否出现换页 | 内存不足或缓存策略失控 |
| 磁盘读取与等待 | 冷启动、批处理是否受限 | 模型盘和数据盘 |
| 网络吞吐与丢包 | 上传、下载是否受限 | 网卡、交换机、远程存储 |
压测时不要只测平均延迟。应同时观察P95、P99和峰值显存,因为少量长请求可能决定线上是否发生排队或OOM。
根据瓶颈触发升级
升级方向应与指标对应,避免把所有问题都归因于GPU显存。
出现显存溢出
如果模型加载阶段就溢出,通常需要:
- 选择更大显存的GPU;
- 使用更低精度或更合适的量化格式;
- 减少同时加载的模型和适配器;
- 检查是否意外启动了多个模型进程。
如果运行一段时间后才溢出,重点检查:
- 并发请求是否无限增长;
- 最大上下文是否没有限制;
- KV Cache是否持续累积;
- 动态批处理上限是否过大;
- 长请求是否占据了过多缓存。
这种情况下,直接更换GPU之前,可以先限制最大上下文、并发数和批大小。如果这些限制会影响业务目标,再升级显存。
GPU利用率低但响应变慢
需要检查CPU、网络和队列:
- CPU某个核心是否长期满载;
- 图片解码或PDF解析是否耗时;
- Tokenizer是否成为单线程瓶颈;
- 检索服务或数据库是否响应缓慢;
- 网络是否出现重传和连接排队;
- GPU是否在等待输入数据。
如果GPU利用率低、CPU和网络都不高,但请求仍然排队,可能是服务调度、锁竞争或Worker配置问题。增加显存不一定能解决。
系统内存持续上涨
应先区分是合理缓存还是泄漏:
- 观察单请求完成后内存是否回落;
- 检查是否启动了多个模型副本;
- 核对Worker数量和模型初始化方式;
- 限制图片、文档和响应缓存;
- 检查日志队列和任务队列是否持续堆积;
- 确认是否发生Swap。
如果业务确实需要保留多模型和大批量数据,再增加到128GB或256GB;如果内存增长没有上限,单纯增加内存只能延后故障。
磁盘或网络成为瓶颈
模型冷启动慢,可以优先改善本地NVMe、模型缓存和远程存储连接。在线图片服务上传带宽接近网卡上限时,再考虑升级网卡、交换机和上游链路,并同步检查服务端处理能力。
如果文本服务的网络流量很小,却出现高延迟,问题通常不在带宽,而可能在连接建立、TLS、上游检索或应用队列。
单GPU服务器的合理配置,应当是业务指标与资源余量之间的平衡:7B~8B量化文本服务可以从24GB显存、64GB内存附近开始验证;长上下文、多模态和14B级别服务应优先评估48GB显存和128GB内存;Embedding、Rerank和离线任务则要把CPU、磁盘和批处理效率纳入同等考虑。上线后依据显存峰值、P95延迟、GPU利用率、系统内存和队列长度触发升级,通常比一次性堆叠更大的配置更容易控制成本和风险。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9391.html



