韩国GPU服务器资源如何按模型显存、并发请求与推理任务估算?

发布人:A5数据发布时间:2026-10-19 14:37阅读量:117

韩国GPU服务器的容量不能只按模型参数量或“几张卡”来判断。实际规划需要同时回答五个问题:模型权重能否装入显存,峰值并发会产生多少KV Cache,请求需要多少输入与输出吞吐,CPU、内存、磁盘和网络是否跟得上,以及未来增长后还剩多少余量。

比较稳妥的估算顺序是:先建立负载画像,再把请求转换成显存、算力和网络指标,随后判断瓶颈属于显存、计算、队列还是外围资源,最后用压测结果确定余量和扩容阈值。下面的容量数字均为估算示例,不代表某一台韩国GPU服务器的固定承载保证。

先建立负载画像:并发不是唯一输入

容量规划的起点不是“需要多少张GPU”,而是业务在高峰期怎样使用模型。至少要记录以下变量:

  • 模型规模、精度或量化方式,以及是否同时运行多个模型。
  • 峰值请求率,通常用每秒请求数(QPS)或每分钟请求数表示。
  • 单次请求的输入Token、输出Token和最大上下文长度。
  • 同时处于推理中的请求数,也就是活动并发,而不是注册用户数或全天请求量。
  • 请求类型:交互式对话、Embedding、重排序、批量生成、图像理解或语音处理。
  • 可接受的首Token延迟、每Token间隔、完整响应延迟和排队时间。
  • 数据进入和离开韩国机房的流量,以及模型文件、缓存和日志的存储需求。

交互式生成要看四组指标

对话模型的请求通常同时消耗Prefill和Decode两类资源。Prefill处理输入提示词,Decode逐步生成输出,两者的计算特征并不相同。

指标含义容量规划用途
峰值QPS高峰时每秒进入的请求数计算输入Token率和输出Token率
输入Token数用户问题、系统提示词、历史上下文的总长度影响Prefill计算和KV Cache
输出Token数模型实际生成的Token数量影响Decode计算、响应时间和出网流量
活动并发正在排队外处理中的请求数直接影响KV Cache占用
首Token延迟请求到第一个Token返回的时间判断Prefill和排队是否拥塞
每Token间隔连续输出Token之间的时间判断Decode吞吐是否达到体验要求
最大上下文单个请求允许的最大Token数决定最坏情况下的显存需求

日均请求量只能用于估算总成本,不能直接用来选显卡。例如每天有100万次请求,如果大部分集中在两个小时内,实际峰值可能远高于按24小时平均得到的QPS。

活动并发可以先用以下关系做初步估算:

活动并发 ≈ 峰值QPS × 平均响应耗时

如果高峰期为10 QPS,平均响应耗时为3秒,活动并发约为30。若存在长尾请求,则还要观察P95或P99延迟对应的并发量,不能只用平均值。

不同推理任务的负载画像不同

推理任务主要输入优先观察的指标常见瓶颈
交互式对话输入Token、输出Token、上下文长度首Token延迟、每Token间隔、活动并发KV Cache、Decode算力、队列
Embedding文本条数、平均Token数、批大小每秒处理Token、每秒文本数GPU计算、CPU分词、批处理效率
重排序查询与候选文本对数量、文本长度每秒候选对数、P95延迟GPU计算、CPU预处理、内存
批量文本生成总Token量、完成时限、批大小总处理时长、Token吞吐GPU利用率、显存、磁盘读取
图像或多模态推理图片尺寸、图片数量、文本长度每秒图片数、首响应延迟显存、图像解码、PCIe和网络
语音识别或语音生成音频时长、并发流数、采样率实时率、流式延迟GPU、音频预处理、网络稳定性

同一张韩国GPU服务器,在短文本Embedding任务中可能有较高吞吐,但不一定适合长上下文对话。反过来,显存较大的GPU适合承载长上下文模型,却可能因价格或多卡通信成本不适合低频批量任务。

把模型和请求转换成资源变量

1. 先计算模型权重显存

模型权重显存可先按以下公式估算:

权重显存(GB)≈ 参数量 × 每参数字节数 ÷ 10亿

常见精度对应关系如下:

  • FP16或BF16:每个参数约2字节。
  • INT8:每个参数约1字节。
  • INT4:每个参数约0.5字节。

例如,7B模型的原始权重规模大致为:

  • FP16:7 × 2 ≈ 14 GB。
  • INT8:7 × 1 ≈ 7 GB。
  • INT4:7 × 0.5 ≈ 3.5 GB。

这只是权重本身。量化缩放参数、运行时结构、CUDA Kernel、激活值、显存碎片和框架预留空间都需要额外显存。因此不能看到“7B INT4约4GB”就认为8GB显卡一定适合生产运行。

可以把总显存需求写成:

总显存 = 模型权重 + KV Cache + 激活值 + 推理运行时开销 + 安全余量

模型文件使用的GB、显卡规格中的GB以及系统工具显示的GiB可能存在口径差异。实际选型时应统一单位,并保留一部分显存,不要把显卡标称容量全部分配给模型。

2. KV Cache通常决定并发上限

在自回归生成中,系统会缓存历史Token对应的Key和Value,避免每生成一个新Token都重新计算完整上下文。并发请求越高、上下文越长,KV Cache占用越大。

把模型和请求转换成资源变量 / KV Cache通常决定并发上限配图

一个简化的KV Cache估算关系为:

单Token KV字节数 ≈ 2 × KV头数 × 每头维度 × 每元素字节数 × 层数

其中前面的“2”对应Key和Value。以一个示例模型为例,假设:

  • 32层;
  • 8个KV头;
  • 每个头128维;
  • KV使用FP16,每元素2字节。

则每个Token的KV Cache约为:

2 × 8 × 128 × 2 × 32 = 131072字节,约128KB。

如果单个请求缓存4096个Token,则约为0.537GB。24个活动请求全部达到这个长度时,KV Cache约为:

0.537GB × 24 ≈ 12.9GB。

如果上下文上限改为16384个Token,单请求缓存约2.15GB,24个请求则可能需要超过51GB。实际框架可能使用Paged Attention、前缀缓存、不同KV精度或动态分配,因此结果会变化,但增长方向不会改变:上下文和并发同时上升时,显存压力通常不是线性小幅增加,而是很快成为主要瓶颈。

3. 参考显存区间不能代替压测

以下表格只用于建立初步方向,权重区间包含量化元数据等可能产生的额外空间,未包含完整并发下的KV Cache。它不能直接等同于某张卡的生产承载量。

模型规模与精度权重及相关空间的估算方向资源选择思路需要重点确认的条件
7B至8B INT4约4至6GB24GB显存可作为短上下文、低至中并发的起点最大上下文、活动并发、运行时开销
13B至14B INT4约8至11GB24GB适合较低并发;48GB更容易保留KV和增长空间是否同时运行多个副本或模型
30B至34B INT4约20至26GB通常从48GB显存级别评估,长上下文可能需要更高容量或多卡量化格式、KV精度、模型并行通信
70B INT4约40至50GB需要80GB级别或多卡方案进行评估多卡互联、张量并行、上下文和并发
7B至14B FP16/BF16约14至28GB及以上显存需求明显高于INT4,需重新计算KV和运行时余量是否必须保留原始精度,以及推理框架支持情况

“两张24GB”和“一张48GB”不能简单视为同一种资源。两张24GB可以用于:

把模型和请求转换成资源变量 / 参考显存区间不能代替压测配图

  • 各自运行一个模型副本,从而提高副本数量;
  • 在软件支持的情况下做张量并行;
  • 分别承载不同模型或不同租户。

如果一个模型单卡无法装入,需要多卡切分,那么卡间通信、PCIe带宽、互联方式和并行效率都会影响实际吞吐。若只是追求独立请求吞吐,多个单卡副本有时比多卡运行一个副本更容易扩展;若模型本身超过单卡显存,则必须考虑多卡并行。

4. 用Token率估算计算需求

交互式生成至少要分别计算输入Token率和输出Token率:

输入Token率 = 峰值QPS × 平均输入Token数
输出Token率 = 峰值QPS × 平均输出Token数

例如,峰值12 QPS、平均输入800 Token、平均输出180 Token时:

  • 输入Token率 = 12 × 800 = 9600输入Token/秒;
  • 输出Token率 = 12 × 180 = 2160输出Token/秒。

这两个数字不能合并成一个简单吞吐量后直接选卡。输入Token主要影响Prefill,输出Token主要影响Decode。压测时应使用相同的输入输出比例、最大上下文、批大小和请求到达方式,分别记录两类处理能力。

对于Embedding或批量任务,更适合按完成时限倒推:

所需处理速率 = 任务总Token数 ÷ 可用处理秒数

例如,某批处理任务有200万条文本,平均每条600 Token,要求4小时完成:

  • 总Token数 = 2,000,000 × 600 = 1,200,000,000 Token;
  • 可用时间 = 4 × 3600 = 14,400秒;
  • 平均所需速率 = 1,200,000,000 ÷ 14,400 ≈ 83,333 Token/秒。

如果计划保留30%的容量余量,目标处理速率约为108,333 Token/秒。此时需要用同一模型、同一批大小和同一推理框架测出单GPU实际处理速率,再计算GPU数量。批处理任务不应套用对话任务的首Token延迟指标。

5. 别忽略CPU、内存、磁盘和网络

韩国GPU服务器的GPU显存足够,并不代表整机容量足够。

把模型和请求转换成资源变量 / 别忽略CPU、内存、磁盘和网络配图

  • CPU:负责分词、请求解析、图片解码、结果后处理、压缩和队列调度。GPU利用率不高但延迟上升时,CPU可能已经成为瓶颈。
  • 系统内存:用于模型加载、Tokenizer、批处理缓冲区、数据集、缓存和多个服务进程。模型切换或多副本启动时,内存峰值可能高于稳定运行状态。
  • 本地磁盘:需要容纳模型文件、量化版本、容器镜像、临时文件、日志和可能的回滚版本。模型更新时还要考虑下载和解包期间的额外空间。
  • 网络带宽:要分别计算请求入口、响应出口、模型下载、数据同步和监控流量。不能只看GPU服务器的端口标称速率。
  • PCIe和GPU互联:多卡推理、图像传输和CPU-GPU数据交换都可能受影响,尤其是模型并行场景。

网络流量应明确使用字节还是比特。若按十进制口径计算,1GB数据在1小时内传输完毕,对应带宽为:

1 × 8 × 1000 ÷ 3600 ≈ 2.22Mbps

如果把响应内容、图片、音频和协议开销一起计算,建议在峰值结果上再留出余量。韩国服务器适合放置入口、鉴权、队列、日志或业务API,韩国GPU服务器负责模型推理时,应尽量让两者处于低延迟、可控带宽的网络路径中。若用户、数据库和GPU节点分别位于不同地区,还要把跨区域传输时延和流量费用纳入容量模型。

通过示例判断瓶颈在哪里

示例一:7B对话模型的并发估算

设定一个用于推演的场景:

  • 7B级模型,使用INT4;
  • 单个GPU副本,显存24GB;
  • 峰值12 QPS;
  • 平均输入800 Token,平均输出180 Token;
  • 上下文上限4096 Token;
  • 目标是让计算资源长期运行在压测上限的70%左右;
  • 经过同版本模型、框架和量化方式的验收压测,单GPU输出能力约为850 Token/秒。

先计算输出需求:

12 × 180 = 2160输出Token/秒

按70%的目标利用率计算,需要的GPU副本数为:

2160 ÷(850 × 0.7)≈ 3.63

向上取整后,计算吞吐方向至少需要4个副本。这里的850 Token/秒只是示例中的压测输入,不是某种GPU的普遍性能。实际还要确认该卡的Prefill能力是否能覆盖9600输入Token/秒,以及4个副本是否都能稳定达到相同速率。

再看显存。若高峰期每个副本约有15个活动请求,并按每请求4096 Token、每请求约0.537GB的KV Cache进行保守估算,则单副本KV Cache约为:

15 × 0.537 ≈ 8.1GB

若权重、运行时和激活值占用约7至10GB,24GB显存可能接近可运行边界。实际请求长度较短时,显存压力会下降;如果大量请求接近16384 Token,则单请求KV Cache可能增加到约2.15GB,15个活动请求就可能需要超过32GB,仅靠24GB显存无法满足。

因此,这个场景的容量判断应同时满足两个条件:

  1. GPU副本数量能够覆盖输入和输出Token吞吐;
  2. 每个副本在目标活动并发和最大上下文下能够放下权重、运行时以及KV Cache。

只满足其中一个条件,仍然可能在高峰期排队、OOM或出现明显长尾延迟。

示例二:批量Embedding不能按并发对话估算

如果是批量Embedding,重点可能是四小时内完成任务,而不是每个请求在一秒内返回。此时可以按前文的108,333 Token/秒目标速率进行压测。

假设在固定批大小、文本长度和Embedding维度下,某种韩国GPU服务器单卡验收得到15,000 Token/秒,则所需卡数可按以下方式估算:

108,333 ÷ 15,000 ≈ 7.22

向上取整为8张卡,再根据任务是否允许分批完成、数据读取速度、失败重试和维护窗口决定是否增加副本。这个结果仍需检查CPU分词、数据集读取、向量写入数据库和网络传输是否能匹配。如果GPU只有50%的利用率,但数据库写入已经延迟,继续增加GPU并不能解决整体问题。

常见瓶颈与验证方向

现象更可能的瓶颈应观察的指标调整方向
模型启动时显存不足权重、运行时或多模型叠加加载日志、显存分配、模型副本数更大显存、量化、减少常驻模型
运行一段时间后OOMKV Cache增长或显存碎片活动并发、上下文长度、KV占用限制上下文、控制并发、增加副本
GPU利用率高且队列持续增加计算吞吐不足GPU计算利用率、Token吞吐、排队时间横向增加副本或调整批策略
GPU利用率低但延迟高CPU、网络、磁盘或调度阻塞CPU单核、内存带宽、I/O等待、队列增加CPU和内存,优化预处理链路
多卡利用率不均并行切分或通信效率不足各卡利用率、互联带宽、同步等待更换互联条件、调整并行方式
响应内容正常但出口拥塞图片、音频或大响应流量过高出口Mbps、连接数、丢包和重传增加带宽、压缩内容、拆分流量
单个模型没问题,多租户时变慢模型副本和KV相互争用按模型统计显存、队列和延迟独立资源池或设置租户配额

韩国服务器与韩国GPU服务器的容量取舍

韩国服务器不一定都需要配GPU。较常见的分工是:

  • 韩国CPU服务器负责API入口、鉴权、限流、任务队列、日志和业务逻辑;
  • 韩国GPU服务器负责模型加载和推理;
  • 数据库、对象存储或向量数据库根据数据规模和访问路径单独规划;
  • GPU节点之间通过同区域网络连接,减少业务请求在多个地区之间往返。

如果业务要求数据主要在韩国境内处理,需要核对数据存放位置、备份位置、日志内容和跨区域传输路径。模型推理在韩国,但原始文件仍从其他地区反复拉取,可能造成网络时延和出口流量压力。

成本比较时,不能只比较GPU小时价格,还应把以下变量放入同一口径:

  • GPU数量、显存大小和运行时长;
  • 是单卡多副本,还是多卡模型并行;
  • 配套CPU、系统内存和本地NVMe空间;
  • 公网带宽、流量计费和跨区域传输;
  • 模型更新、冷启动和备用节点的成本;
  • 为峰值预留的空闲资源;
  • 监控、日志和数据备份所需的存储。

在同样总显存下,一张大显存GPU通常部署更简单,适合不希望处理多卡通信的模型;多张中等显存GPU适合独立副本扩展,也可能更容易承载多个不同模型。但多卡并行并不会自动获得线性性能提升,必须在交付验收中验证通信和同步开销。

A5数据围绕模型推理与批量计算提供多地区物理服务器资源,韩国首尔节点可用于部署入口、鉴权、队列、日志及业务API等外围服务;香港、美国GPU系列提供A100 80GB、RTX 4090等显卡选项,并配套服务器CPU、内存与NVMe存储,可承载模型测试、AI推理和图像处理等任务,形成从业务接入到计算资源配置的部署基础。

为增长预留容量余量

容量不应只覆盖今天的峰值。可以用以下关系估算规划期负载:

规划期峰值 = 当前峰值 ×(1 + 月增长率)^规划月数 × 季节系数

例如,当前峰值为10 QPS,月增长率按8%估算,规划六个月,节日或活动季节系数取1.2,则:

10 × 1.08^6 × 1.2 ≈ 19.0 QPS

如果还希望保留20%的运行余量,资源目标应按约22.8 QPS对应的能力准备,而不是只按当前10 QPS采购。

增长率应区分几种来源:

  • 请求数量增长;
  • 单次输入上下文变长;
  • 输出长度变长;
  • 模型从7B升级到更大规模;
  • 精度从INT4调整为INT8或FP16;
  • 多模态请求比例增加;
  • 同时运行的模型数量增加。

前两项可能主要影响吞吐和KV Cache,模型升级则可能同时改变权重显存、算力需求和多卡通信方式。模型版本、量化方式或推理框架变化后,原有压测结果不应直接沿用。

对于交互式业务,通常需要为短时突发保留20%至30%的计算和显存空间;如果请求到达非常集中、上下文长度波动大,或者扩容交付周期较长,则应通过独立副本、队列削峰或更高余量应对。批处理业务可以用任务截止时间换取弹性,但必须确保队列增长速度低于处理速度。

交付验收应围绕同一口径进行

选择韩国GPU服务器后,容量验收不能只确认“GPU可以识别”。至少要核对以下内容:

交付验收应围绕同一口径进行配图

  1. 确认GPU型号、显存容量、GPU数量、CPU核心数、系统内存、磁盘类型和网络端口,避免只看总显存而忽略主机配置。
  2. 使用生产环境相同的模型文件、量化方式、推理框架、驱动和运行参数。
  3. 分别测试短上下文、中等上下文和接近上限的上下文,不要只使用平均长度请求。
  4. 按目标峰值QPS逐步增加并发,记录首Token延迟、每Token间隔、P95/P99完整响应时间、输出Token率和排队时间。
  5. 单独测试冷启动、模型加载、热运行和连续运行。冷启动耗时不应与稳定状态吞吐混为一项指标。
  6. 观察显存分配、KV Cache占用、GPU利用率、CPU利用率、系统内存、磁盘I/O和网络带宽。
  7. 进行超过业务高峰持续时间的稳定性测试,并记录OOM、请求超时、服务重启和错误率。
  8. 验证入口服务器到韩国GPU服务器之间的实际延迟、丢包、带宽和连接数上限。

验收结果应写成条件化指标,例如“在输入800 Token、输出180 Token、峰值12 QPS、最大上下文4096、P95响应时间不超过某目标时,服务可维持某吞吐并保持显存占用低于某阈值”。这种表述比单独写“支持多少并发”更可复用,也更容易在模型变更后重新验证。

用监控阈值决定何时扩容

扩容阈值应由SLO、压测上限和增长预测共同确定,而不是只看GPU利用率。可以按以下方式建立触发规则:

  • 显存阈值:稳定高峰期间显存分配长期超过总容量的80%至85%,或KV Cache经常接近上限时,优先增加副本、降低单请求上下文,或更换显存更大的GPU。
  • 计算阈值:GPU计算利用率持续高于压测安全区间,同时排队时间和P95延迟同步升高,说明需要横向扩容。
  • 队列阈值:当P95排队时间超过业务目标的1.2至1.5倍,并持续超过一个观察窗口时,应触发扩容评估,而不是等待请求失败。
  • 延迟阈值:首Token延迟、每Token间隔或完整响应P95连续超过SLO,且CPU、网络和存储没有明显异常时,通常需要增加推理副本。
  • CPU与内存阈值:CPU长期超过70%至80%,或系统内存接近分配上限,说明外围资源可能先于GPU成为瓶颈。
  • 网络阈值:峰值出口或入口带宽长期达到合同带宽的70%至80%,应提前扩展带宽或拆分大文件、音频和图片流量。
  • 增长阈值:按当前增长率预测,未来一个交付周期内会消耗完20%至30%的余量时,应提前采购或准备新的韩国GPU服务器节点。

扩容数量可以用压测得到的单副本能力计算:

所需副本数 = 向上取整(规划期峰值吞吐 ÷ 单副本验收吞吐 ÷ 目标利用率)

同时还要满足显存条件。如果副本数量增加后仍然无法放下单个请求的模型权重和KV Cache,就不是简单扩容副本,而是需要更大显存、调整上下文、优化KV精度或采用经过验证的多卡并行方案。这样才能把模型显存、并发请求、推理任务和韩国节点资源放到同一套容量规划口径中。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4629.html

相关推荐