租用美国GPU服务器做大模型推理,如何按模型规模选择显存?
同样是租用美国GPU服务器,运行一个8B模型和运行一个70B模型,显存需求可能相差数倍;即使模型相同,短问答与长文档分析也不能照搬同一套配置。企业技术负责人需要解决的冲突通常是:既希望模型能力足够,又要控制租用成本,同时让并发、响应速度和长上下文都有可接受的余量。
按模型规模选择显存,应先计算模型权重,再加上KV Cache、推理框架运行开销和容量余量。以常见的稠密模型为例,8B模型采用FP16/BF16推理,可从24GB显存档位评估;32B模型采用4bit权重量化,可从32GB或48GB档位评估;70B模型采用4bit权重量化,可从48GB或80GB档位评估,采用FP16/BF16则通常需要多卡。这些是配置评估起点,不是并发或性能承诺,最终选择还取决于上下文长度、量化格式、模型结构和GPU互联方式。
一、先把推理需求拆成可计算的工作负载
只提交“需要部署一个大模型”,很难得到可执行的配置建议。采购前应把需求拆成模型、请求和服务目标三个层面,让显存估算有明确边界。
模型规模不只是参数量
需要确定具体模型及版本、总参数量、权重精度,以及准备使用的推理框架。
对于常规稠密模型,参数量是估算权重占用的主要依据;对于MoE模型,不能只看“每次激活多少参数”。如果全部专家权重驻留GPU,显存仍应按驻留的总参数量计算。只有实际采用专家卸载或分布式专家放置时,才能按对应方案重新核算。
多模态模型还可能包含视觉编码器、音频模块和额外中间张量。其需求不能简单等同于同参数量的纯文本模型。
请求规模要看同时在GPU上运行的序列
在线服务的注册用户数、在线连接数,与GPU实际处理的并发序列数不是同一个指标。
例如,业务侧有100个在线连接,其中只有8个请求正在生成,其余处于等待、阅读或排队状态。此时KV Cache主要围绕正在处理的序列规划,而不是直接按100份计算。不过,如果服务要求100个请求同时开始生成,就不能继续沿用8路并发的容量方案。
建议至少明确以下条件:
- 常见输入长度,以及业务允许的最大输入长度。
- 最大输出长度,是否需要长文本持续生成。
- 正常负载和峰值负载下的活跃推理并发。
- 是否允许排队,以及可接受的排队时间。
- 是否存在重复前缀,例如大量请求共享相同系统提示词。
输入和输出都会占用上下文。一个“输入8K、最多输出2K”的请求,容量规划应考虑其生成过程中接近10K token的序列长度,而不能只计算输入部分。
服务目标决定显存之外的配置
交互式问答通常关注首个token到达时间、后续生成速度和高分位延迟;离线批量任务则更关注单位时间处理量。
显存足够只说明模型和请求有机会驻留GPU,并不说明速度满足要求。长输入的预填充阶段偏重计算,逐token解码阶段往往对显存带宽较敏感。因此,同样是48GB显存,不同GPU的吞吐和延迟也可能有明显差异。
二、用权重、KV Cache和运行余量估算显存
可用于初步选型的关系是:
所需显存 ≈ 驻留模型权重 + KV Cache + 运行时开销 + 安全余量。
多卡部署时,还要检查每张卡上的占用是否均衡,不能只把整机显存相加。
权重占用:先算底线,不把理论值当交付值
权重的理论大小可以用“参数量×每参数字节数”估算。FP16和BF16通常按每参数2字节计算,8bit按1字节,4bit按0.5字节。
下表采用GiB口径,1GiB=2³⁰字节;“8B”表示约80亿参数。服务器规格中的24GB、48GB、80GB属于常见标称档位,验收时仍应查看系统报告的可用显存。
| 模型参数规模 | FP16/BF16理论权重 | 8bit理论权重 | 4bit理论权重 |
|---|---|---|---|
| 8B | 约14.9GiB | 约7.5GiB | 约3.7GiB |
| 14B | 约26.1GiB | 约13.0GiB | 约6.5GiB |
| 32B | 约59.6GiB | 约29.8GiB | 约14.9GiB |
| 70B | 约130.4GiB | 约65.2GiB | 约32.6GiB |
这些数值只对应权重主体。实际模型还可能包含量化比例因子、分组元数据、未量化层、对齐填充和加载后的格式转换,因此实际占用通常不会与表格完全相同。
例如,70B模型4bit权重的理论值约为32.6GiB,并不意味着一张接近这个容量的GPU就能完成在线服务。框架需要工作空间,请求需要KV Cache,模型加载和执行过程中也可能产生临时峰值。
KV Cache:长上下文与并发会叠加
KV Cache用于保存注意力计算中的历史键和值,避免生成每个新token时重复计算全部历史内容。其占用通常随着缓存token总数增加。
对于常见注意力结构,可以使用下面的近似关系:
KV Cache字节数 ≈ 2 × 层数 × KV头数 × 每头维度 × 每元素字节数 × 缓存token总数。
其中,“2”分别对应Key和Value;缓存token总数可以理解为所有活跃序列当前长度的总和。实际还会受到分页管理、预分配和缓存复用方式影响。采用特殊压缩或潜在注意力结构的模型,需要按其实际实现计算,不能直接套用上述公式。
以一个32层、8个KV头、每头128维、KV Cache使用FP16的模型为例:
- 每个token的缓存约为2×32×8×128×2=131,072字节,即128KiB。
- 单条4,096 token序列约占0.5GiB。
- 8条同长度活跃序列约占4GiB。
- 单条32,768 token序列约占4GiB,8条则约占32GiB。
这说明,同一个模型从4K上下文扩展到32K上下文,或者从1路并发增加到8路并发,都可能显著改变显存档位。

这里应使用模型配置中的KV头数,而不是直接使用查询头数。采用分组查询注意力的模型,其KV头数可能少于查询头数,缓存占用也会相应减少。
权重量化与缓存量化要分开看
“模型是4bit”通常指权重量化,不代表KV Cache也是4bit。权重已经大幅压缩后,长上下文场景中的KV Cache反而可能成为主要占用项。
部分模型和推理框架支持低精度KV Cache,但需要单独验证兼容性与输出质量。不能把“4bit权重+FP16缓存”的方案,按“所有数据都是4bit”估算。
共享前缀缓存也有类似边界:它可以减少相同前缀的重复占用或计算,但不代表所有请求的完整上下文都能共享。容量规划仍应覆盖前缀不同、缓存未命中时的负载。
余量不能靠一个固定比例代替验证
初步预算中,可以给权重与目标缓存之外预留一定空间,例如以15%—25%作为候选配置的试算范围。但这不是通用标准,有些推理框架会预分配较大的缓存池,也有些模型会在特定长度或执行阶段出现较高临时峰值。
验收时应覆盖完整加载、首次推理、目标长上下文和峰值并发。观察空闲状态的显存截图,不能证明业务运行时不会发生显存不足。
三、按模型规模选择单卡或多卡方案
下面的参考配置用于建立选型方向,默认讨论文本稠密模型,且需要与实际上下文、并发和推理框架一起验证。
| 模型规模与精度 | 可优先评估的显存方案 | 适用条件 | 主要限制 |
|---|---|---|---|
| 8B,FP16/BF16 | 单卡24GB | 短至中等上下文、较低并发 | 长上下文或并发增长后,缓存空间可能不足 |
| 8B,4bit | 单卡16GB或24GB | 预算敏感、量化效果可接受 | 框架开销、缓存和量化内核影响实际可用容量与速度 |
| 14B,FP16/BF16 | 单卡48GB | 希望保留较高精度,并留出缓存空间 | 高并发仍需核算缓存,显存够不代表吞吐够 |
| 14B,4bit | 单卡24GB | 中低并发、上下文边界明确 | 超长输入可能改变配置要求 |
| 32B,FP16/BF16 | 单卡80GB或多卡拆分 | 低至中等缓存需求,或框架支持模型并行 | 单卡余量、跨卡通信都需验证 |
| 32B,4bit | 单卡32GB或48GB | 希望在模型规模与成本间折中 | 长上下文及较高并发更适合评估较大显存 |
| 70B,4bit | 单卡48GB或80GB | 48GB用于较克制的缓存预算,80GB用于更宽裕的容量规划 | 实际量化格式、缓存规模和生成速度决定可用性 |
| 70B,FP16/BF16 | 双卡80GB起评估,必要时更多GPU | 需要较高精度,且支持多卡并行 | 双卡方案缓存余量有限,长上下文或高并发可能需要扩展 |
预算优先时,先比较“能接受的精度”,再比较容量
如果业务允许量化,优先评估量化模型往往比直接增加GPU数量更容易控制预算。但应把模型质量验证纳入选型,而不是只检查能否加载。
例如,内部知识问答可以用真实文档问题对比量化前后的回答完整性、引用准确性和格式遵循情况;代码生成或复杂推理任务,则需要对应测试集。不同模型、量化算法和任务的表现不一致,不能统一认为量化没有损失。
同样,显存减少并不保证速度按比例提升。量化内核、硬件支持和批处理大小都会影响结果,某些配置节省了容量,却未必改善首token延迟。
单卡够用时,通常不必为了容量数字主动拆成多卡
两张24GB显存的GPU,不等同于一张48GB显存的GPU。
模型需要按推理框架支持的方式拆分,部分数据或工作区可能在每张卡上重复保存,通信也会增加开销。还要检查GPU之间是否支持所需的点对点通信、连接路径和带宽。存在高速互联,也不代表任意并行方式都能充分利用它。
如果32B量化模型能在单张48GB卡上满足业务要求,通常值得优先比较单卡方案;如果模型本身无法装入单卡,或者吞吐目标超过单卡能力,再评估多卡。
多卡还应区分两类用途:
- 模型并行:将一个模型拆到多张卡上,主要解决单卡容纳不下的问题。
- 独立副本:每张卡运行完整模型,通过请求分配提高整体吞吐。
前者受跨卡通信影响,后者要求每张卡都能独立容纳模型及对应请求。采购时应明确用途,避免只按“GPU数量”报价。

高并发预算与大模型预算可能走向不同方案
如果业务更重视大量短问答,而不是单次回答的模型能力,可以比较多个较小模型副本与一个较大模型实例。相反,复杂分析任务对模型能力要求较高、同时请求较少时,大显存单卡或多卡模型并行可能更符合目标。
这两种方案应使用同一业务测试集和同一延迟目标比较。成本也应按“满足质量与响应要求的有效请求量”核算,而不是只比较每台服务器的租金。
四、显存定下来后,CPU、内存、磁盘和网络如何配
配置重点应围绕工作负载分配。纯文本推理通常先关注GPU显存、算力和显存带宽,但CPU、主机内存或网络短板仍可能让GPU等待。
CPU与主机内存:保障数据准备和模型加载
CPU承担分词、请求调度、数据预处理及部分服务逻辑。长输入、大量小请求或复杂文档处理,都可能增加CPU负担;如果预处理与推理放在同一台服务器,还应考虑它们之间的资源竞争。
主机内存应覆盖模型加载、转换过程、服务进程和数据缓存。一些加载路径会先在主机内存中保留权重,再搬入GPU;某些转换过程还会产生额外副本。
可将以下配置作为组合评估起点,而非最低要求:
- 8B或14B单卡服务:评估64GB—128GB主机内存。
- 32B服务:评估128GB—256GB主机内存。
- 70B及多卡服务:评估256GB—512GB主机内存,并确认加载方式是否需要额外空间。
CPU核心数应结合分词、预处理和请求调度压力确定。单纯文本解码服务不一定能利用大量CPU核心;反过来,GPU利用率低也不一定意味着GPU过剩,可能是CPU处理或数据读取跟不上。
磁盘:重点看启动、更新和数据读取
模型常驻GPU后,纯文本逐token生成一般不会持续依赖磁盘吞吐。但磁盘会影响模型下载后的加载、服务重启、版本切换,以及检索数据读取。
系统盘、模型文件、多个版本、日志和临时转换文件应分别留出空间。尤其在模型更新过程中,新旧版本往往需要同时存在,不能只按单份权重文件大小采购。
本地NVMe通常适合需要较快加载、频繁更新或本地数据检索的场景。若使用网络存储,则应确认读取吞吐和延迟,并检查多台GPU服务器同时加载模型时是否争用带宽。磁盘标称容量不是唯一指标,磁盘再快也不能替代显存。
美国机房与网络:区分请求传输和模型传输
美国GPU服务器的区域选择应结合用户位置、模型存储位置和业务系统位置。美国西部、东部或其他区域对不同访问端的效果并不相同,不能只凭地理距离判断。
实时问答需要关注业务端到机房的往返时延、丢包、连接稳定性以及首token到达时间。短文本请求的数据量通常不大,较高端口带宽并不能直接消除跨区域往返时延。
模型同步、批量文件上传和多模态输入则更关注吞吐。以十进制100GB文件为例,在持续跑满1Gbps且不计协议开销时:
100GB × 8 × 1000 ÷ 1000Mbps=800秒,约13.3分钟。
同样条件下,10Gbps约为80秒。实际时间还受源端读取、目标写入、链路利用率和限速影响,网卡标称速率不能直接视为公网可用吞吐。
租用时应分别确认公网带宽、内网带宽、流量计费方式,以及超额处理规则;多机模型并行还要单独确认节点间网络,不能用公网端口规格替代。
围绕大模型推理的显存与配套资源需求,A5数据提供美国GPU服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型驻留、请求预处理和权重加载提供硬件基础。美国GPU系列另有三网直连回国或国际带宽方案,可承接面向不同访问人群的推理接口部署,以及模型文件传输等网络需求。
五、哪些场景适合,哪些条件下需要换方案
美国GPU服务器更适合业务主要面向美国或邻近区域、数据已在当地、允许部署开源模型,且推理负载相对持续的场景。自建推理还能为模型版本控制、提示词管理和服务接口定制提供较大操作空间,但需要承担运行维护工作。
以下条件下,不宜只按模型规模直接采购:
长上下文是常态,而不是偶发需求
如果主要任务是长文档分析,且多路请求经常同时处理数万token,选择依据应从“权重能否装下”转向“目标缓存能否驻留”。
此时可比较更大显存、减少活跃并发、限制上下文、文档分段或检索增强等方案。它们对业务体验的影响不同,不能简单以降低输入长度代替完整需求。
极低延迟是硬约束
如果应用服务或主要用户远离美国机房,跨区域时延可能影响交互体验。即使增加GPU,也只能改善服务器侧处理时间,不能消除网络传播和传输时间。
应从业务侧测量端到端首token延迟,并把网络、排队、预填充三个部分分开分析。若网络已占据主要延迟,更换部署区域可能比继续增加显存更有效。
负载低且波动大
长期租用专用GPU更适合持续负载。若每天只有短时间调用,或者峰值非常不稳定,应比较固定租用、按需资源和推理服务接口的总成本,同时考虑模型驻留、冷启动和扩容时间。
不能只用满负载时的单位成本判断低利用率业务是否划算。
依赖大量CPU卸载才能运行
将部分权重或缓存放入主机内存,可能让模型在较小显存上启动,但数据需要通过主机与GPU之间的链路传输,延迟和吞吐可能明显受影响。
这类方案可用于验证、低频批处理或容忍较长等待的任务;对持续在线、低延迟业务,应先验证,再决定是否采用,不宜把“能启动”视为达到生产要求。
六、租用前核对配置,交付后按业务负载验收
向服务商提交需求时,建议给出“模型版本+精度+最大上下文+目标活跃并发+延迟目标”,而不是只报一个GPU显存数字。这样才能区分容量问题、性能问题和网络问题。
下单前需要确认的事项
- GPU资源:具体型号、数量、单卡可用显存,以及资源是否独占。若提供分区或共享实例,应确认实际分配的显存和计算资源。
- 多卡连接:卡间连接方式、点对点通信支持情况,以及框架准备采用的并行方式。
- CPU与内存:核心配置、主机内存容量,以及模型加载期间是否有足够余量。
- 磁盘:介质、可用容量和读写性能,是否足够同时保留新旧模型。
- 网络:公网与内网分别提供什么能力,流量如何计费,是否存在适用的限速条件。
- 运行环境:驱动、GPU运行时与推理框架版本是否兼容目标模型和量化格式。
- 使用边界:模型许可、业务数据处理要求,以及存储和访问权限是否符合企业制度。
不同项目的核对方式不能混用。显存看GPU实际报告,磁盘看可用空间及读取测试,公网质量从实际业务端测量,多卡能力则通过对应框架验证。
验收至少覆盖三个负载档位
- 加载档:启动目标模型,记录加载峰值、空闲占用和启动时间,确认实际精度与配置一致。
- 正常档:按常见输入输出长度和正常并发测试,观察首token延迟、生成速度、吞吐及CPU和GPU利用情况。
- 边界档:使用允许的最长输入、最大输出和峰值并发,检查显存不足、排队增长、超时及服务恢复表现。
结果应按请求长度和并发分类记录,不能只保留一个平均token速度。交互服务尤其应关注P95等高分位延迟;离线任务则应同时记录完成时间和有效吞吐。若框架预分配缓存,也应结合缓存使用率、抢占或重算情况判断容量,不能只看显存占用百分比。
按条件确定最终选择路径
如果需求是8B—14B模型、短至中等上下文和较低并发,可以先比较单卡24GB或48GB,并通过精度选择控制容量;如果是32B模型且允许量化,可以从32GB或48GB单卡方案评估,长上下文时优先增加缓存余量。
如果是70B模型,先决定是否接受量化:接受4bit时比较48GB与80GB单卡在目标负载下的表现;需要FP16/BF16时,则进入多卡方案评估,同时核对每卡占用和互联能力。
当模型已能稳定驻留、但响应仍慢,应转向检查计算能力、显存带宽、CPU处理和网络时延;当最长上下文或峰值并发导致容量不足,再考虑增加显存、调整并行方式或改变请求调度。先用模型规模确定权重底线,再用业务负载确定缓存预算,最后用验收结果确定配置,比单独按参数量购买GPU服务器更接近实际需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3225.html



