韩国GPU服务器资源如何按模型显存、并发请求与推理任务估算?
韩国GPU服务器的容量不能只按模型参数量或“几张卡”来判断。实际规划需要同时回答五个问题:模型权重能否装入显存,峰值并发会产生多少KV Cache,请求需要多少输入与输出吞吐,CPU、内存、磁盘和网络是否跟得上,以及未来增长后还剩多少余量。
比较稳妥的估算顺序是:先建立负载画像,再把请求转换成显存、算力和网络指标,随后判断瓶颈属于显存、计算、队列还是外围资源,最后用压测结果确定余量和扩容阈值。下面的容量数字均为估算示例,不代表某一台韩国GPU服务器的固定承载保证。
先建立负载画像:并发不是唯一输入
容量规划的起点不是“需要多少张GPU”,而是业务在高峰期怎样使用模型。至少要记录以下变量:
- 模型规模、精度或量化方式,以及是否同时运行多个模型。
- 峰值请求率,通常用每秒请求数(QPS)或每分钟请求数表示。
- 单次请求的输入Token、输出Token和最大上下文长度。
- 同时处于推理中的请求数,也就是活动并发,而不是注册用户数或全天请求量。
- 请求类型:交互式对话、Embedding、重排序、批量生成、图像理解或语音处理。
- 可接受的首Token延迟、每Token间隔、完整响应延迟和排队时间。
- 数据进入和离开韩国机房的流量,以及模型文件、缓存和日志的存储需求。
交互式生成要看四组指标
对话模型的请求通常同时消耗Prefill和Decode两类资源。Prefill处理输入提示词,Decode逐步生成输出,两者的计算特征并不相同。
| 指标 | 含义 | 容量规划用途 |
|---|---|---|
| 峰值QPS | 高峰时每秒进入的请求数 | 计算输入Token率和输出Token率 |
| 输入Token数 | 用户问题、系统提示词、历史上下文的总长度 | 影响Prefill计算和KV Cache |
| 输出Token数 | 模型实际生成的Token数量 | 影响Decode计算、响应时间和出网流量 |
| 活动并发 | 正在排队外处理中的请求数 | 直接影响KV Cache占用 |
| 首Token延迟 | 请求到第一个Token返回的时间 | 判断Prefill和排队是否拥塞 |
| 每Token间隔 | 连续输出Token之间的时间 | 判断Decode吞吐是否达到体验要求 |
| 最大上下文 | 单个请求允许的最大Token数 | 决定最坏情况下的显存需求 |
日均请求量只能用于估算总成本,不能直接用来选显卡。例如每天有100万次请求,如果大部分集中在两个小时内,实际峰值可能远高于按24小时平均得到的QPS。
活动并发可以先用以下关系做初步估算:
活动并发 ≈ 峰值QPS × 平均响应耗时
如果高峰期为10 QPS,平均响应耗时为3秒,活动并发约为30。若存在长尾请求,则还要观察P95或P99延迟对应的并发量,不能只用平均值。
不同推理任务的负载画像不同
| 推理任务 | 主要输入 | 优先观察的指标 | 常见瓶颈 |
|---|---|---|---|
| 交互式对话 | 输入Token、输出Token、上下文长度 | 首Token延迟、每Token间隔、活动并发 | KV Cache、Decode算力、队列 |
| Embedding | 文本条数、平均Token数、批大小 | 每秒处理Token、每秒文本数 | GPU计算、CPU分词、批处理效率 |
| 重排序 | 查询与候选文本对数量、文本长度 | 每秒候选对数、P95延迟 | GPU计算、CPU预处理、内存 |
| 批量文本生成 | 总Token量、完成时限、批大小 | 总处理时长、Token吞吐 | GPU利用率、显存、磁盘读取 |
| 图像或多模态推理 | 图片尺寸、图片数量、文本长度 | 每秒图片数、首响应延迟 | 显存、图像解码、PCIe和网络 |
| 语音识别或语音生成 | 音频时长、并发流数、采样率 | 实时率、流式延迟 | GPU、音频预处理、网络稳定性 |
同一张韩国GPU服务器,在短文本Embedding任务中可能有较高吞吐,但不一定适合长上下文对话。反过来,显存较大的GPU适合承载长上下文模型,却可能因价格或多卡通信成本不适合低频批量任务。
把模型和请求转换成资源变量
1. 先计算模型权重显存
模型权重显存可先按以下公式估算:
权重显存(GB)≈ 参数量 × 每参数字节数 ÷ 10亿
常见精度对应关系如下:
- FP16或BF16:每个参数约2字节。
- INT8:每个参数约1字节。
- INT4:每个参数约0.5字节。
例如,7B模型的原始权重规模大致为:
- FP16:7 × 2 ≈ 14 GB。
- INT8:7 × 1 ≈ 7 GB。
- INT4:7 × 0.5 ≈ 3.5 GB。
这只是权重本身。量化缩放参数、运行时结构、CUDA Kernel、激活值、显存碎片和框架预留空间都需要额外显存。因此不能看到“7B INT4约4GB”就认为8GB显卡一定适合生产运行。
可以把总显存需求写成:
总显存 = 模型权重 + KV Cache + 激活值 + 推理运行时开销 + 安全余量
模型文件使用的GB、显卡规格中的GB以及系统工具显示的GiB可能存在口径差异。实际选型时应统一单位,并保留一部分显存,不要把显卡标称容量全部分配给模型。
2. KV Cache通常决定并发上限
在自回归生成中,系统会缓存历史Token对应的Key和Value,避免每生成一个新Token都重新计算完整上下文。并发请求越高、上下文越长,KV Cache占用越大。

一个简化的KV Cache估算关系为:
单Token KV字节数 ≈ 2 × KV头数 × 每头维度 × 每元素字节数 × 层数
其中前面的“2”对应Key和Value。以一个示例模型为例,假设:
- 32层;
- 8个KV头;
- 每个头128维;
- KV使用FP16,每元素2字节。
则每个Token的KV Cache约为:
2 × 8 × 128 × 2 × 32 = 131072字节,约128KB。
如果单个请求缓存4096个Token,则约为0.537GB。24个活动请求全部达到这个长度时,KV Cache约为:
0.537GB × 24 ≈ 12.9GB。
如果上下文上限改为16384个Token,单请求缓存约2.15GB,24个请求则可能需要超过51GB。实际框架可能使用Paged Attention、前缀缓存、不同KV精度或动态分配,因此结果会变化,但增长方向不会改变:上下文和并发同时上升时,显存压力通常不是线性小幅增加,而是很快成为主要瓶颈。
3. 参考显存区间不能代替压测
以下表格只用于建立初步方向,权重区间包含量化元数据等可能产生的额外空间,未包含完整并发下的KV Cache。它不能直接等同于某张卡的生产承载量。
| 模型规模与精度 | 权重及相关空间的估算方向 | 资源选择思路 | 需要重点确认的条件 |
|---|---|---|---|
| 7B至8B INT4 | 约4至6GB | 24GB显存可作为短上下文、低至中并发的起点 | 最大上下文、活动并发、运行时开销 |
| 13B至14B INT4 | 约8至11GB | 24GB适合较低并发;48GB更容易保留KV和增长空间 | 是否同时运行多个副本或模型 |
| 30B至34B INT4 | 约20至26GB | 通常从48GB显存级别评估,长上下文可能需要更高容量或多卡 | 量化格式、KV精度、模型并行通信 |
| 70B INT4 | 约40至50GB | 需要80GB级别或多卡方案进行评估 | 多卡互联、张量并行、上下文和并发 |
| 7B至14B FP16/BF16 | 约14至28GB及以上 | 显存需求明显高于INT4,需重新计算KV和运行时余量 | 是否必须保留原始精度,以及推理框架支持情况 |
“两张24GB”和“一张48GB”不能简单视为同一种资源。两张24GB可以用于:

- 各自运行一个模型副本,从而提高副本数量;
- 在软件支持的情况下做张量并行;
- 分别承载不同模型或不同租户。
如果一个模型单卡无法装入,需要多卡切分,那么卡间通信、PCIe带宽、互联方式和并行效率都会影响实际吞吐。若只是追求独立请求吞吐,多个单卡副本有时比多卡运行一个副本更容易扩展;若模型本身超过单卡显存,则必须考虑多卡并行。
4. 用Token率估算计算需求
交互式生成至少要分别计算输入Token率和输出Token率:
输入Token率 = 峰值QPS × 平均输入Token数
输出Token率 = 峰值QPS × 平均输出Token数
例如,峰值12 QPS、平均输入800 Token、平均输出180 Token时:
- 输入Token率 = 12 × 800 = 9600输入Token/秒;
- 输出Token率 = 12 × 180 = 2160输出Token/秒。
这两个数字不能合并成一个简单吞吐量后直接选卡。输入Token主要影响Prefill,输出Token主要影响Decode。压测时应使用相同的输入输出比例、最大上下文、批大小和请求到达方式,分别记录两类处理能力。
对于Embedding或批量任务,更适合按完成时限倒推:
所需处理速率 = 任务总Token数 ÷ 可用处理秒数
例如,某批处理任务有200万条文本,平均每条600 Token,要求4小时完成:
- 总Token数 = 2,000,000 × 600 = 1,200,000,000 Token;
- 可用时间 = 4 × 3600 = 14,400秒;
- 平均所需速率 = 1,200,000,000 ÷ 14,400 ≈ 83,333 Token/秒。
如果计划保留30%的容量余量,目标处理速率约为108,333 Token/秒。此时需要用同一模型、同一批大小和同一推理框架测出单GPU实际处理速率,再计算GPU数量。批处理任务不应套用对话任务的首Token延迟指标。
5. 别忽略CPU、内存、磁盘和网络
韩国GPU服务器的GPU显存足够,并不代表整机容量足够。

- CPU:负责分词、请求解析、图片解码、结果后处理、压缩和队列调度。GPU利用率不高但延迟上升时,CPU可能已经成为瓶颈。
- 系统内存:用于模型加载、Tokenizer、批处理缓冲区、数据集、缓存和多个服务进程。模型切换或多副本启动时,内存峰值可能高于稳定运行状态。
- 本地磁盘:需要容纳模型文件、量化版本、容器镜像、临时文件、日志和可能的回滚版本。模型更新时还要考虑下载和解包期间的额外空间。
- 网络带宽:要分别计算请求入口、响应出口、模型下载、数据同步和监控流量。不能只看GPU服务器的端口标称速率。
- PCIe和GPU互联:多卡推理、图像传输和CPU-GPU数据交换都可能受影响,尤其是模型并行场景。
网络流量应明确使用字节还是比特。若按十进制口径计算,1GB数据在1小时内传输完毕,对应带宽为:
1 × 8 × 1000 ÷ 3600 ≈ 2.22Mbps
如果把响应内容、图片、音频和协议开销一起计算,建议在峰值结果上再留出余量。韩国服务器适合放置入口、鉴权、队列、日志或业务API,韩国GPU服务器负责模型推理时,应尽量让两者处于低延迟、可控带宽的网络路径中。若用户、数据库和GPU节点分别位于不同地区,还要把跨区域传输时延和流量费用纳入容量模型。
通过示例判断瓶颈在哪里
示例一:7B对话模型的并发估算
设定一个用于推演的场景:
- 7B级模型,使用INT4;
- 单个GPU副本,显存24GB;
- 峰值12 QPS;
- 平均输入800 Token,平均输出180 Token;
- 上下文上限4096 Token;
- 目标是让计算资源长期运行在压测上限的70%左右;
- 经过同版本模型、框架和量化方式的验收压测,单GPU输出能力约为850 Token/秒。
先计算输出需求:
12 × 180 = 2160输出Token/秒
按70%的目标利用率计算,需要的GPU副本数为:
2160 ÷(850 × 0.7)≈ 3.63
向上取整后,计算吞吐方向至少需要4个副本。这里的850 Token/秒只是示例中的压测输入,不是某种GPU的普遍性能。实际还要确认该卡的Prefill能力是否能覆盖9600输入Token/秒,以及4个副本是否都能稳定达到相同速率。
再看显存。若高峰期每个副本约有15个活动请求,并按每请求4096 Token、每请求约0.537GB的KV Cache进行保守估算,则单副本KV Cache约为:
15 × 0.537 ≈ 8.1GB
若权重、运行时和激活值占用约7至10GB,24GB显存可能接近可运行边界。实际请求长度较短时,显存压力会下降;如果大量请求接近16384 Token,则单请求KV Cache可能增加到约2.15GB,15个活动请求就可能需要超过32GB,仅靠24GB显存无法满足。
因此,这个场景的容量判断应同时满足两个条件:
- GPU副本数量能够覆盖输入和输出Token吞吐;
- 每个副本在目标活动并发和最大上下文下能够放下权重、运行时以及KV Cache。
只满足其中一个条件,仍然可能在高峰期排队、OOM或出现明显长尾延迟。
示例二:批量Embedding不能按并发对话估算
如果是批量Embedding,重点可能是四小时内完成任务,而不是每个请求在一秒内返回。此时可以按前文的108,333 Token/秒目标速率进行压测。
假设在固定批大小、文本长度和Embedding维度下,某种韩国GPU服务器单卡验收得到15,000 Token/秒,则所需卡数可按以下方式估算:
108,333 ÷ 15,000 ≈ 7.22
向上取整为8张卡,再根据任务是否允许分批完成、数据读取速度、失败重试和维护窗口决定是否增加副本。这个结果仍需检查CPU分词、数据集读取、向量写入数据库和网络传输是否能匹配。如果GPU只有50%的利用率,但数据库写入已经延迟,继续增加GPU并不能解决整体问题。
常见瓶颈与验证方向
| 现象 | 更可能的瓶颈 | 应观察的指标 | 调整方向 |
|---|---|---|---|
| 模型启动时显存不足 | 权重、运行时或多模型叠加 | 加载日志、显存分配、模型副本数 | 更大显存、量化、减少常驻模型 |
| 运行一段时间后OOM | KV Cache增长或显存碎片 | 活动并发、上下文长度、KV占用 | 限制上下文、控制并发、增加副本 |
| GPU利用率高且队列持续增加 | 计算吞吐不足 | GPU计算利用率、Token吞吐、排队时间 | 横向增加副本或调整批策略 |
| GPU利用率低但延迟高 | CPU、网络、磁盘或调度阻塞 | CPU单核、内存带宽、I/O等待、队列 | 增加CPU和内存,优化预处理链路 |
| 多卡利用率不均 | 并行切分或通信效率不足 | 各卡利用率、互联带宽、同步等待 | 更换互联条件、调整并行方式 |
| 响应内容正常但出口拥塞 | 图片、音频或大响应流量过高 | 出口Mbps、连接数、丢包和重传 | 增加带宽、压缩内容、拆分流量 |
| 单个模型没问题,多租户时变慢 | 模型副本和KV相互争用 | 按模型统计显存、队列和延迟 | 独立资源池或设置租户配额 |
韩国服务器与韩国GPU服务器的容量取舍
韩国服务器不一定都需要配GPU。较常见的分工是:
- 韩国CPU服务器负责API入口、鉴权、限流、任务队列、日志和业务逻辑;
- 韩国GPU服务器负责模型加载和推理;
- 数据库、对象存储或向量数据库根据数据规模和访问路径单独规划;
- GPU节点之间通过同区域网络连接,减少业务请求在多个地区之间往返。
如果业务要求数据主要在韩国境内处理,需要核对数据存放位置、备份位置、日志内容和跨区域传输路径。模型推理在韩国,但原始文件仍从其他地区反复拉取,可能造成网络时延和出口流量压力。
成本比较时,不能只比较GPU小时价格,还应把以下变量放入同一口径:
- GPU数量、显存大小和运行时长;
- 是单卡多副本,还是多卡模型并行;
- 配套CPU、系统内存和本地NVMe空间;
- 公网带宽、流量计费和跨区域传输;
- 模型更新、冷启动和备用节点的成本;
- 为峰值预留的空闲资源;
- 监控、日志和数据备份所需的存储。
在同样总显存下,一张大显存GPU通常部署更简单,适合不希望处理多卡通信的模型;多张中等显存GPU适合独立副本扩展,也可能更容易承载多个不同模型。但多卡并行并不会自动获得线性性能提升,必须在交付验收中验证通信和同步开销。
A5数据围绕模型推理与批量计算提供多地区物理服务器资源,韩国首尔节点可用于部署入口、鉴权、队列、日志及业务API等外围服务;香港、美国GPU系列提供A100 80GB、RTX 4090等显卡选项,并配套服务器CPU、内存与NVMe存储,可承载模型测试、AI推理和图像处理等任务,形成从业务接入到计算资源配置的部署基础。
为增长预留容量余量
容量不应只覆盖今天的峰值。可以用以下关系估算规划期负载:
规划期峰值 = 当前峰值 ×(1 + 月增长率)^规划月数 × 季节系数
例如,当前峰值为10 QPS,月增长率按8%估算,规划六个月,节日或活动季节系数取1.2,则:
10 × 1.08^6 × 1.2 ≈ 19.0 QPS
如果还希望保留20%的运行余量,资源目标应按约22.8 QPS对应的能力准备,而不是只按当前10 QPS采购。
增长率应区分几种来源:
- 请求数量增长;
- 单次输入上下文变长;
- 输出长度变长;
- 模型从7B升级到更大规模;
- 精度从INT4调整为INT8或FP16;
- 多模态请求比例增加;
- 同时运行的模型数量增加。
前两项可能主要影响吞吐和KV Cache,模型升级则可能同时改变权重显存、算力需求和多卡通信方式。模型版本、量化方式或推理框架变化后,原有压测结果不应直接沿用。
对于交互式业务,通常需要为短时突发保留20%至30%的计算和显存空间;如果请求到达非常集中、上下文长度波动大,或者扩容交付周期较长,则应通过独立副本、队列削峰或更高余量应对。批处理业务可以用任务截止时间换取弹性,但必须确保队列增长速度低于处理速度。
交付验收应围绕同一口径进行
选择韩国GPU服务器后,容量验收不能只确认“GPU可以识别”。至少要核对以下内容:

- 确认GPU型号、显存容量、GPU数量、CPU核心数、系统内存、磁盘类型和网络端口,避免只看总显存而忽略主机配置。
- 使用生产环境相同的模型文件、量化方式、推理框架、驱动和运行参数。
- 分别测试短上下文、中等上下文和接近上限的上下文,不要只使用平均长度请求。
- 按目标峰值QPS逐步增加并发,记录首Token延迟、每Token间隔、P95/P99完整响应时间、输出Token率和排队时间。
- 单独测试冷启动、模型加载、热运行和连续运行。冷启动耗时不应与稳定状态吞吐混为一项指标。
- 观察显存分配、KV Cache占用、GPU利用率、CPU利用率、系统内存、磁盘I/O和网络带宽。
- 进行超过业务高峰持续时间的稳定性测试,并记录OOM、请求超时、服务重启和错误率。
- 验证入口服务器到韩国GPU服务器之间的实际延迟、丢包、带宽和连接数上限。
验收结果应写成条件化指标,例如“在输入800 Token、输出180 Token、峰值12 QPS、最大上下文4096、P95响应时间不超过某目标时,服务可维持某吞吐并保持显存占用低于某阈值”。这种表述比单独写“支持多少并发”更可复用,也更容易在模型变更后重新验证。
用监控阈值决定何时扩容
扩容阈值应由SLO、压测上限和增长预测共同确定,而不是只看GPU利用率。可以按以下方式建立触发规则:
- 显存阈值:稳定高峰期间显存分配长期超过总容量的80%至85%,或KV Cache经常接近上限时,优先增加副本、降低单请求上下文,或更换显存更大的GPU。
- 计算阈值:GPU计算利用率持续高于压测安全区间,同时排队时间和P95延迟同步升高,说明需要横向扩容。
- 队列阈值:当P95排队时间超过业务目标的1.2至1.5倍,并持续超过一个观察窗口时,应触发扩容评估,而不是等待请求失败。
- 延迟阈值:首Token延迟、每Token间隔或完整响应P95连续超过SLO,且CPU、网络和存储没有明显异常时,通常需要增加推理副本。
- CPU与内存阈值:CPU长期超过70%至80%,或系统内存接近分配上限,说明外围资源可能先于GPU成为瓶颈。
- 网络阈值:峰值出口或入口带宽长期达到合同带宽的70%至80%,应提前扩展带宽或拆分大文件、音频和图片流量。
- 增长阈值:按当前增长率预测,未来一个交付周期内会消耗完20%至30%的余量时,应提前采购或准备新的韩国GPU服务器节点。
扩容数量可以用压测得到的单副本能力计算:
所需副本数 = 向上取整(规划期峰值吞吐 ÷ 单副本验收吞吐 ÷ 目标利用率)
同时还要满足显存条件。如果副本数量增加后仍然无法放下单个请求的模型权重和KV Cache,就不是简单扩容副本,而是需要更大显存、调整上下文、优化KV精度或采用经过验证的多卡并行方案。这样才能把模型显存、并发请求、推理任务和韩国节点资源放到同一套容量规划口径中。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4629.html



