韩国GPU服务器运行Stable Diffusion,显存与并发如何匹配

发布人:A5数据发布时间:2026-10-20 13:48阅读量:126

韩国GPU服务器运行 Stable Diffusion 时,显存并不是越大越能直接换来更高并发。真正决定配置的,是模型版本、分辨率、采样步数、ControlNet 或 LoRA 等扩展组件,以及请求是排队执行、单卡多进程,还是多张 GPU 分担。显存先决定“能否稳定运行”,GPU 计算能力决定单张图片生成耗时,CPU、内存、磁盘和网络则决定请求进入系统后的等待、预处理和交付速度。

如果主要运行 SD 1.5、512×512 或 768×768、单图生成,12GB 至 16GB 显存通常更容易留出运行余量;SDXL 以 1024×1024 为主时,16GB 更适合单任务或经过优化的工作负载,24GB 更适合加入 ControlNet、多个 LoRA 或安排两个较轻的并行任务。需要多模型常驻、较高并发或更复杂的工作流时,应优先考虑 2 张 24GB GPU,而不能简单把一张 48GB GPU 等同于两张 24GB GPU。

以下性能数字用于配置估算和指标解释,不代表某个具体型号的实测承诺。实际结果还会受到 PyTorch、CUDA、推理后端、显卡功耗限制和工作流节点的影响。

先统一“并发”的计算口径

请求并发不等于生成并发

Stable Diffusion 服务中至少存在三种容易混淆的并发概念:

  • 请求并发:同一时间到达 API 的请求数量。
  • 生成并发:真正同时占用 GPU 进行扩散计算的任务数量。
  • 队列并发:已经接收但正在等待 GPU 的请求数量。

例如,客户端同时提交 8 个请求,并不代表 GPU 正在同时生成 8 张图片。单张 GPU 可能只运行 1 个 worker,其余 7 个请求处于队列中。此时系统可以“接住”8 个请求,但吞吐量并不会因为请求数增加而自动提升,排队延迟反而会明显上升。

如果单图生成平均耗时为 10 秒,单 worker 的理论吞吐约为:

60 ÷ 10 = 6 张/分钟

当并发请求增加到 4 个,而 GPU 仍然只能串行处理时,吞吐仍接近 6 张/分钟,只是后续请求的总等待时间变长。只有在显存、计算资源和推理框架都允许时,增加 GPU worker 才可能提高有效吞吐。

用到达率反推 GPU worker 数量

可以先用下面的估算方式确定并行槽位:

所需并行槽位 ≈ 每分钟请求数 × 单请求生成秒数 ÷ 60

例如,业务目标是每分钟处理 12 张图片,平均生成时间为 10 秒:

12 × 10 ÷ 60 = 2 个并行槽位

如果还要为波动、模型切换和偶发慢请求预留约 25% 的余量,配置目标应接近 3 个并行槽位。此时可以考虑:

  • 一张显存足够的 GPU 运行 3 个轻量 worker;
  • 两张 GPU 各运行 1 个或 2 个 worker;
  • 通过队列控制请求,接受部分等待时间,而不是强行扩大单卡并发。

对图片生成而言,第二种方式通常更容易控制显存峰值和故障影响范围。单张 GPU 上的多 worker 共享计算资源,理论并发增加后,单任务耗时可能上升,并不一定能按 worker 数量线性提升吞吐。

显存匹配模型、分辨率与并发

不同工作负载的显存参考

显存需求不能只按模型文件大小判断。推理时还要为 UNet、VAE、文本编码器、中间激活、ControlNet、LoRA、图像预处理和框架缓存保留空间。

工作负载常见分辨率建议显存口径并发判断
SD 1.5 单图、少量 LoRA512×512、768×7688GB 可作为入门,12GB 至 16GB 更稳妥通常适合单 worker,轻量工作流可测试双 worker
SD 1.5 加 ControlNet 或高分辨率修复768×768 及以上12GB 至 16GB并发数需要根据显存峰值测试,不能只看模型能否启动
SDXL 单图1024×102416GB 作为单任务参考,24GB 留有更大余量16GB 更适合单 worker,24GB 才适合尝试双 worker
SDXL 加多个 LoRA、ControlNet、放大节点1024×1024 及以上24GB 起步更合理需要观察峰值显存,通常不建议直接按双倍并发承诺
多模型常驻或复杂节点工作流多模型、多阶段处理24GB 至 48GB 以上更适合多卡隔离或单任务大显存,而不是盲目增加进程

这些区间是选型参考。启用 CPU offload、低显存模式或量化后,较小显存也可能启动部分工作流,但代价通常是 GPU 与 CPU 之间频繁搬运数据,生成时间、CPU 占用和 I/O 压力会上升。因此,“能运行”不等于“适合并发生产”。

并发时显存不是简单相加

假设一个 SDXL 工作流在单 worker 下的显存峰值为 11GB。启动两个 worker 后,模型权重可能部分共享,但激活张量、VAE 缓冲、ControlNet 和运行时缓存仍会增加。实际峰值可能接近 20GB 至 23GB,也可能因为框架缓存策略出现更高占用。

因此,24GB GPU 不应直接按“每个 worker 11GB,刚好运行两个”来采购。建议保留约 15% 至 20% 的显存余量,用于以下变化:

  • 输入分辨率临时提高;
  • 采样步数、批量大小改变;
  • 增加 LoRA、ControlNet 或 IP-Adapter;
  • 多个请求同时进入不同节点;
  • 推理框架保留的显存缓存;
  • 模型切换时短时间出现的峰值占用。

如果单 worker 峰值已经达到 20GB,24GB GPU 更适合保持单并发,而不是通过启动第二个进程扩大吞吐。此时增加第二张 24GB GPU,通常比升级到更大显存但仍只有一张 GPU 更容易实现任务隔离。

Batch size 与 worker 数量也不同

Batch size 是一次推理中处理多张图片,worker 数量是多个任务同时执行。两者都会增加显存和计算压力,但效果不同:

  • Batch size 增加后,可能提高单次任务的 GPU 利用率;
  • 多 worker 更适合多个用户请求分别排队或并行;
  • Batch size 往往会让单次请求占用更大的连续显存;
  • 多 worker 可能造成显存碎片、上下文切换和计算资源争抢。

如果业务是批量生成同一提示词的多张图片,可以单独测试 batch size 1、2、4;如果业务是多个用户提交不同提示词,则应以 worker 并发和排队延迟为主要指标。

CPU 和内存:GPU 之外的处理链路

CPU 影响哪些环节

扩散计算主要由 GPU 完成,但 CPU 仍会参与请求解析、提示词处理、图片编码、VAE 后处理、文件写入、模型切换和队列调度。以下情况容易出现 CPU 瓶颈:

  • 同时处理多路图片上传;
  • 开启高分辨率修复、图片预处理或格式转换;
  • 使用 CPU offload;
  • 多 worker 同时进行 PNG 编码和结果压缩;
  • 模型和扩展组件频繁从磁盘加载;
  • API、数据库、队列服务与推理进程共用服务器。

单卡、低并发的 Stable Diffusion 服务,8 vCPU 通常可以作为起步配置;一张 GPU 运行多个 worker,或同时承载 API、队列和图像后处理时,可以考虑 12 至 16 vCPU。两张 GPU 或包含较多预处理节点时,16 至 24 vCPU 更容易避免 CPU 成为瓶颈。

判断方法不是只看 CPU 总使用率。如果 GPU 利用率长期低于 60%,而某几个 CPU 核心接近满载,可能是单线程预处理、图片编码或调度链路限制了吞吐。反过来,如果 GPU 持续接近满载,CPU 使用率只有 30%,继续增加 vCPU 对单图生成速度的帮助通常有限。

内存要给模型、缓存和服务留余量

系统内存主要承载:

  • 模型和扩展组件的加载缓冲;
  • CPU offload 后的权重;
  • API、队列和监控服务;
  • 输入输出图片缓存;
  • 文件系统缓存;
  • 多 worker 的运行时对象。

可按以下口径作为韩国 GPU 服务器的配置起点:

  • 32GB 内存:单卡、单 worker、模型数量有限,适合开发和低并发服务;
  • 64GB 内存:24GB GPU、多个模型或 2 个 worker,适合较稳定的生产环境;
  • 128GB 内存:双 GPU、多模型常驻、较多扩展组件或同时运行其他服务。

Swap 只能缓解瞬时内存不足,不能替代真实内存。Stable Diffusion 进入 swap 后,模型加载和推理延迟可能从秒级扩大到分钟级,甚至造成请求超时。生产配置应关注内存峰值和 swap 活跃度,而不是只看“服务是否能启动”。

磁盘:模型加载速度与输出保留成本

Stable Diffusion 对磁盘的要求通常不是持续写入带宽,而是模型加载、扩展扫描、缓存访问和生成结果保存的综合表现。机械硬盘或性能不稳定的网络盘可能导致:

  • 首次加载模型时间过长;
  • 多 worker 同时启动时 I/O 队列堆积;
  • 模型切换阻塞请求;
  • 大量图片保存时 API 响应变慢。

GPU 服务器应优先选择本地 NVMe SSD。容量估算可以按下面的组成计算:

所需磁盘空间 = 模型文件 + LoRA/ControlNet 等扩展 + 缓存 + 保留的输出文件 + 系统和服务空间

例如,服务器保存 3 个约 7GB 的模型文件、约 50GB 扩展资源、100GB 输出图片和 100GB 系统及缓存空间,总占用约为:

3 × 7GB + 50GB + 100GB + 100GB = 271GB

如果还要保留未来模型、日志和临时文件,500GB NVMe 只能算起步;1TB NVMe 更适合生产环境。建议长期保持至少 20% 至 30% 的可用空间,避免磁盘接近满载后影响写入和文件系统缓存。

输出文件也容易被低估。若每张 PNG 约 5MB,每天生成 10,000 张:

10,000 × 5MB = 50,000MB ≈ 50GB

这里采用十进制口径,1GB = 1000MB。若结果直接返回客户端后不在本机长期保存,可以降低本地容量需求;如果需要保留历史结果、元数据和重试文件,则应把存储容量与备份策略一并纳入产品成本。

韩国机房的网络配置怎么判断

韩国节点的价值通常体现在用户访问路径、请求交互延迟和跨区域传输,而不是直接提升 GPU 生成速度。对于只发送提示词、返回几 MB 图片的 API,网络带宽未必是第一瓶颈;对于需要上传参考图、批量提交和下载高清结果的业务,网络才会快速成为限制因素。

带宽与延迟分别看

  • 延迟影响请求建立、上传开始、队列响应和结果返回的等待感受;
  • 带宽影响参考图、生成结果和批量任务的传输时间;
  • 丢包与抖动会让长连接、批量上传和大文件下载变得不稳定;
  • 端口峰值不等于持续可用吞吐,还要确认是否存在流量上限或共享带宽。

例如,每个请求的输入和输出合计约 20MB,每分钟处理 60 个请求:

60 × 20MB = 1200MB/分钟
1200 ÷ 60 = 20MB/秒
20 × 8 = 160Mbps

这里使用十进制单位,1MB = 1,000,000字节,换算为兆比特时先乘以 8。因此,理论上 160Mbps 就是这组流量的平均传输需求,但还应为突发流量、协议开销和其他服务预留余量。1Gbps 端口的理论上限约为 125MB/秒,不等于每秒可以稳定传输 1GB 图片数据。

如果客户端只发送文本提示词,图片由服务器生成后通过对象存储或 CDN 分发,100Mbps 至 1Gbps 都可能满足不同规模的业务;如果请求中包含参考图、蒙版和多张结果,1Gbps 端口更适合作为生产起点。购买韩国 GPU 服务器时,应单独确认端口速率、月流量规则、出站流量计费和公网 IPv4 数量,不能只依据“带宽充足”一类描述判断。

围绕 Stable Diffusion 等 AI 推理与图像生成场景,A5数据提供香港和美国 GPU 服务器,配有 A100 80GB 或 RTX 4090 等显卡选项,并搭配服务器 CPU、内存与 NVMe 存储,为模型运行、图像处理和推理服务提供硬件资源。韩国首尔也有物理服务器方案,可结合不同地区的部署需求配置计算与网络资源,支持面向韩国用户的业务布局。

按工作负载选择配置档位

下面的配置用于询价和容量规划,不对应某个固定商品型号。实际采购时还应核对显卡具体型号、是否独享、CPU 是否独享以及磁盘和带宽的交付口径。

配置档位GPU 显存CPU 与内存磁盘与网络适用工作负载
低并发开发型1×12GB 至 16GB8 vCPU、32GB500GB NVMe、100Mbps 至 1GbpsSD 1.5 单图、少量 LoRA、单 worker
单卡生产型1×24GB12 至 16 vCPU、64GB1TB NVMe、1GbpsSDXL 单图、SD 1.5 多扩展、1 至 2 个 worker
双卡并发型2×24GB16 至 24 vCPU、128GB2TB NVMe、1Gbps多用户请求、任务隔离、每张 GPU 独立 worker
大显存工作流型1×48GB 或更高16 至 24 vCPU、128GB1TB 至 2TB NVMe、1Gbps大分辨率、复杂节点、多模型常驻、单任务占用较高

“2×24GB”和“1×48GB”应根据工作流选择,而不能只比较显存总量:

  • 2×24GB 更适合两个请求分别运行,也便于一张 GPU 故障时保留部分服务能力;
  • 1×48GB 更适合单个任务需要大显存,或者模型、ControlNet 和高分辨率流程需要集中放在同一张卡上;
  • 两张 GPU 的显存通常不能自动合并为一个 48GB 显存池;
  • 多卡配置还需要确认 PCIe 插槽、散热、供电和框架是否能正确识别每张卡。

如果业务尚未确定模型版本,优先选择 24GB 显存、64GB 内存、1TB NVMe 和 1Gbps 网络的单卡配置,通常比只追求更强 GPU 核心但使用 12GB 显存更容易覆盖 SDXL 和扩展工作流。若请求量已经明确达到每分钟十几张以上,则应直接评估双卡,而不是只把单卡 worker 数量不断提高。

用哪些指标判断配置是否匹配

延迟要拆成队列、生成和返回

一次请求的总耗时可以拆分为:

总延迟 = 排队等待时间 + 模型生成时间 + 后处理时间 + 网络传输时间

只看接口平均响应时间,无法判断问题来自 GPU 还是网络。建议至少记录:

  • p50 延迟:典型请求的体验;
  • p95 延迟:高峰期大多数请求能否按时返回;
  • 队列等待时间:并发增加后是否主要耗在排队;
  • GPU 生成时间:判断显卡和推理工作流;
  • 后处理时间:判断 CPU、内存和磁盘;
  • 网络传输时间:判断韩国节点与访问用户之间的传输链路。

下面是一组模拟数据,用于说明双 worker 在单张 24GB GPU 上可能出现的变化:

用哪些指标判断配置是否匹配|延迟要拆成队列、生成和返回配图

请求并发平均生成时间平均总延迟p95 总延迟吞吐量
18.8秒9.0秒9.8秒约6.7张/分钟
29.4秒9.8秒12.0秒约12.2张/分钟
49.6秒18.9秒29秒约12.2张/分钟
89.7秒37秒58秒约12.3张/分钟

当并发从 2 增加到 4 时,吞吐量几乎没有增加,但总延迟和 p95 延迟显著上升。这说明两个 worker 已经接近 GPU 的有效并行能力,新增请求只能排队。继续增加并发并不能解决吞吐问题,应该增加 GPU、优化工作流或调整业务的排队策略。

监控数据需要关联起来看

可以在 Linux 服务器上使用只读命令检查基础资源:

nvidia-smi --query-gpu=name,memory.total,memory.used,utilization.gpu,temperature.gpu --format=csv
free -h
df -hT
iostat -xz 1

指标的典型解释如下:

现象可能原因配置判断
GPU 利用率高、显存未超限、队列持续增长计算能力不足或 worker 数量不足增加 GPU、优化采样步数,或接受更长队列
GPU 利用率低、CPU 某些核心满载预处理、图片编码或 CPU offload 瓶颈增加 vCPU、减少 CPU offload、拆分后处理服务
显存接近上限、偶发 OOM扩展组件、分辨率或并发峰值导致显存不足降低并发、减少节点,或升级显存
内存使用增长并触发 swap模型缓存、输出缓存或多 worker 占用过高增加内存、限制缓存和并发,不依赖 swap
磁盘 await 高、模型切换缓慢磁盘性能不足或多进程同时加载使用本地 NVMe,减少频繁切换
GPU 利用率不高、网络发送队列堆积图片上传或下载限制吞吐增加带宽、启用分发层或压缩结果
单请求生成稳定,但 p95 随并发快速上升GPU 已饱和,队列成为主要耗时增加并行 GPU 或设置排队上限

采购和交付时的核对边界

韩国 GPU 服务器的产品页面或报价单中,以下项目应分别确认,避免只看到“显存大小”和“1Gbps”就完成采购:

  1. 显卡是否物理独享:确认显卡型号、显存总量、是否存在虚拟化切分,以及多个进程能否同时使用。
  2. CPU 的分配方式:确认是独享核心、共享 vCPU 还是存在 CPU 超售。多 worker 场景尤其要关注单核性能。
  3. 内存容量与可扩展性:确认 32GB、64GB 或 128GB 是实际可用内存,是否被其他服务预留。
  4. 磁盘类型:确认是否为本地 NVMe,还是网络存储或普通 SSD;同时核对可用容量和数据保留规则。
  5. 网络口径:确认端口峰值、持续带宽、出站流量、月流量上限、公网 IP 和跨区域访问限制。
  6. GPU 驱动与运行环境:交付后核对系统能否识别显卡、CUDA 与推理框架是否匹配,不要只按商品名称推测环境。
  7. 计费组成:分别查看 GPU、CPU、内存、磁盘、公网流量、IP 和备份是否单独计费。
  8. 故障处理方式:确认 GPU 故障、宿主机维护和数据盘故障时的迁移、重装或数据恢复范围。

验收时应固定模型、分辨率、采样步数、采样器、LoRA、ControlNet、batch size 和输出格式,在并发 1、2、4 等级分别记录 p50、p95、吞吐和显存峰值。不要使用 SD 1.5 单图测试结果去推断 SDXL 多 ControlNet 工作流的容量,也不要用空载 GPU 利用率推断高峰期表现。

什么时候需要升级显存或增加 GPU

可以将以下条件作为容量判断的参考边界:

  • 单 worker 的显存峰值长期超过总显存的 80% 至 85%,应优先增加显存或降低工作流复杂度;
  • p95 延迟明显高于 p50,且主要耗时来自队列,应增加并行 GPU 或限制入口并发;
  • GPU 利用率长期较高但吞吐不再增加,说明计算资源已经饱和;
  • GPU 利用率低而 CPU、磁盘或网络出现持续高负载,应先补齐非 GPU 资源;
  • SDXL 单图已经需要接近 20GB 显存时,不宜把 24GB 显卡直接规划为两个稳定并行 worker;
  • 多模型频繁切换造成几十秒级加载等待时,应增加 NVMe 容量和内存缓存,或按模型拆分 GPU;
  • 输入输出合计流量接近端口持续能力的 60% 至 70% 时,应提前评估带宽扩容和结果分发。

上线后,模型、分辨率、ControlNet、LoRA、采样步数或输出保留策略发生变化,都应重新执行同一组并发测试。只有在“显存峰值可控、p95 排队时间符合业务要求、GPU 吞吐没有明显下降、CPU 与磁盘没有持续拥堵”的条件下,韩国 GPU 服务器的显存和并发配置才算真正匹配。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4784.html

相关推荐