韩国GPU服务器运行Stable Diffusion,显存与并发如何匹配
韩国GPU服务器运行 Stable Diffusion 时,显存并不是越大越能直接换来更高并发。真正决定配置的,是模型版本、分辨率、采样步数、ControlNet 或 LoRA 等扩展组件,以及请求是排队执行、单卡多进程,还是多张 GPU 分担。显存先决定“能否稳定运行”,GPU 计算能力决定单张图片生成耗时,CPU、内存、磁盘和网络则决定请求进入系统后的等待、预处理和交付速度。
如果主要运行 SD 1.5、512×512 或 768×768、单图生成,12GB 至 16GB 显存通常更容易留出运行余量;SDXL 以 1024×1024 为主时,16GB 更适合单任务或经过优化的工作负载,24GB 更适合加入 ControlNet、多个 LoRA 或安排两个较轻的并行任务。需要多模型常驻、较高并发或更复杂的工作流时,应优先考虑 2 张 24GB GPU,而不能简单把一张 48GB GPU 等同于两张 24GB GPU。
以下性能数字用于配置估算和指标解释,不代表某个具体型号的实测承诺。实际结果还会受到 PyTorch、CUDA、推理后端、显卡功耗限制和工作流节点的影响。
先统一“并发”的计算口径
请求并发不等于生成并发
Stable Diffusion 服务中至少存在三种容易混淆的并发概念:
- 请求并发:同一时间到达 API 的请求数量。
- 生成并发:真正同时占用 GPU 进行扩散计算的任务数量。
- 队列并发:已经接收但正在等待 GPU 的请求数量。
例如,客户端同时提交 8 个请求,并不代表 GPU 正在同时生成 8 张图片。单张 GPU 可能只运行 1 个 worker,其余 7 个请求处于队列中。此时系统可以“接住”8 个请求,但吞吐量并不会因为请求数增加而自动提升,排队延迟反而会明显上升。
如果单图生成平均耗时为 10 秒,单 worker 的理论吞吐约为:
60 ÷ 10 = 6 张/分钟
当并发请求增加到 4 个,而 GPU 仍然只能串行处理时,吞吐仍接近 6 张/分钟,只是后续请求的总等待时间变长。只有在显存、计算资源和推理框架都允许时,增加 GPU worker 才可能提高有效吞吐。
用到达率反推 GPU worker 数量
可以先用下面的估算方式确定并行槽位:
所需并行槽位 ≈ 每分钟请求数 × 单请求生成秒数 ÷ 60
例如,业务目标是每分钟处理 12 张图片,平均生成时间为 10 秒:
12 × 10 ÷ 60 = 2 个并行槽位
如果还要为波动、模型切换和偶发慢请求预留约 25% 的余量,配置目标应接近 3 个并行槽位。此时可以考虑:
- 一张显存足够的 GPU 运行 3 个轻量 worker;
- 两张 GPU 各运行 1 个或 2 个 worker;
- 通过队列控制请求,接受部分等待时间,而不是强行扩大单卡并发。
对图片生成而言,第二种方式通常更容易控制显存峰值和故障影响范围。单张 GPU 上的多 worker 共享计算资源,理论并发增加后,单任务耗时可能上升,并不一定能按 worker 数量线性提升吞吐。
显存匹配模型、分辨率与并发
不同工作负载的显存参考
显存需求不能只按模型文件大小判断。推理时还要为 UNet、VAE、文本编码器、中间激活、ControlNet、LoRA、图像预处理和框架缓存保留空间。
| 工作负载 | 常见分辨率 | 建议显存口径 | 并发判断 |
|---|---|---|---|
| SD 1.5 单图、少量 LoRA | 512×512、768×768 | 8GB 可作为入门,12GB 至 16GB 更稳妥 | 通常适合单 worker,轻量工作流可测试双 worker |
| SD 1.5 加 ControlNet 或高分辨率修复 | 768×768 及以上 | 12GB 至 16GB | 并发数需要根据显存峰值测试,不能只看模型能否启动 |
| SDXL 单图 | 1024×1024 | 16GB 作为单任务参考,24GB 留有更大余量 | 16GB 更适合单 worker,24GB 才适合尝试双 worker |
| SDXL 加多个 LoRA、ControlNet、放大节点 | 1024×1024 及以上 | 24GB 起步更合理 | 需要观察峰值显存,通常不建议直接按双倍并发承诺 |
| 多模型常驻或复杂节点工作流 | 多模型、多阶段处理 | 24GB 至 48GB 以上 | 更适合多卡隔离或单任务大显存,而不是盲目增加进程 |
这些区间是选型参考。启用 CPU offload、低显存模式或量化后,较小显存也可能启动部分工作流,但代价通常是 GPU 与 CPU 之间频繁搬运数据,生成时间、CPU 占用和 I/O 压力会上升。因此,“能运行”不等于“适合并发生产”。
并发时显存不是简单相加
假设一个 SDXL 工作流在单 worker 下的显存峰值为 11GB。启动两个 worker 后,模型权重可能部分共享,但激活张量、VAE 缓冲、ControlNet 和运行时缓存仍会增加。实际峰值可能接近 20GB 至 23GB,也可能因为框架缓存策略出现更高占用。
因此,24GB GPU 不应直接按“每个 worker 11GB,刚好运行两个”来采购。建议保留约 15% 至 20% 的显存余量,用于以下变化:
- 输入分辨率临时提高;
- 采样步数、批量大小改变;
- 增加 LoRA、ControlNet 或 IP-Adapter;
- 多个请求同时进入不同节点;
- 推理框架保留的显存缓存;
- 模型切换时短时间出现的峰值占用。
如果单 worker 峰值已经达到 20GB,24GB GPU 更适合保持单并发,而不是通过启动第二个进程扩大吞吐。此时增加第二张 24GB GPU,通常比升级到更大显存但仍只有一张 GPU 更容易实现任务隔离。
Batch size 与 worker 数量也不同
Batch size 是一次推理中处理多张图片,worker 数量是多个任务同时执行。两者都会增加显存和计算压力,但效果不同:
- Batch size 增加后,可能提高单次任务的 GPU 利用率;
- 多 worker 更适合多个用户请求分别排队或并行;
- Batch size 往往会让单次请求占用更大的连续显存;
- 多 worker 可能造成显存碎片、上下文切换和计算资源争抢。
如果业务是批量生成同一提示词的多张图片,可以单独测试 batch size 1、2、4;如果业务是多个用户提交不同提示词,则应以 worker 并发和排队延迟为主要指标。
CPU 和内存:GPU 之外的处理链路
CPU 影响哪些环节
扩散计算主要由 GPU 完成,但 CPU 仍会参与请求解析、提示词处理、图片编码、VAE 后处理、文件写入、模型切换和队列调度。以下情况容易出现 CPU 瓶颈:
- 同时处理多路图片上传;
- 开启高分辨率修复、图片预处理或格式转换;
- 使用 CPU offload;
- 多 worker 同时进行 PNG 编码和结果压缩;
- 模型和扩展组件频繁从磁盘加载;
- API、数据库、队列服务与推理进程共用服务器。
单卡、低并发的 Stable Diffusion 服务,8 vCPU 通常可以作为起步配置;一张 GPU 运行多个 worker,或同时承载 API、队列和图像后处理时,可以考虑 12 至 16 vCPU。两张 GPU 或包含较多预处理节点时,16 至 24 vCPU 更容易避免 CPU 成为瓶颈。
判断方法不是只看 CPU 总使用率。如果 GPU 利用率长期低于 60%,而某几个 CPU 核心接近满载,可能是单线程预处理、图片编码或调度链路限制了吞吐。反过来,如果 GPU 持续接近满载,CPU 使用率只有 30%,继续增加 vCPU 对单图生成速度的帮助通常有限。
内存要给模型、缓存和服务留余量
系统内存主要承载:
- 模型和扩展组件的加载缓冲;
- CPU offload 后的权重;
- API、队列和监控服务;
- 输入输出图片缓存;
- 文件系统缓存;
- 多 worker 的运行时对象。
可按以下口径作为韩国 GPU 服务器的配置起点:
- 32GB 内存:单卡、单 worker、模型数量有限,适合开发和低并发服务;
- 64GB 内存:24GB GPU、多个模型或 2 个 worker,适合较稳定的生产环境;
- 128GB 内存:双 GPU、多模型常驻、较多扩展组件或同时运行其他服务。
Swap 只能缓解瞬时内存不足,不能替代真实内存。Stable Diffusion 进入 swap 后,模型加载和推理延迟可能从秒级扩大到分钟级,甚至造成请求超时。生产配置应关注内存峰值和 swap 活跃度,而不是只看“服务是否能启动”。
磁盘:模型加载速度与输出保留成本
Stable Diffusion 对磁盘的要求通常不是持续写入带宽,而是模型加载、扩展扫描、缓存访问和生成结果保存的综合表现。机械硬盘或性能不稳定的网络盘可能导致:
- 首次加载模型时间过长;
- 多 worker 同时启动时 I/O 队列堆积;
- 模型切换阻塞请求;
- 大量图片保存时 API 响应变慢。
GPU 服务器应优先选择本地 NVMe SSD。容量估算可以按下面的组成计算:
所需磁盘空间 = 模型文件 + LoRA/ControlNet 等扩展 + 缓存 + 保留的输出文件 + 系统和服务空间
例如,服务器保存 3 个约 7GB 的模型文件、约 50GB 扩展资源、100GB 输出图片和 100GB 系统及缓存空间,总占用约为:
3 × 7GB + 50GB + 100GB + 100GB = 271GB
如果还要保留未来模型、日志和临时文件,500GB NVMe 只能算起步;1TB NVMe 更适合生产环境。建议长期保持至少 20% 至 30% 的可用空间,避免磁盘接近满载后影响写入和文件系统缓存。
输出文件也容易被低估。若每张 PNG 约 5MB,每天生成 10,000 张:
10,000 × 5MB = 50,000MB ≈ 50GB
这里采用十进制口径,1GB = 1000MB。若结果直接返回客户端后不在本机长期保存,可以降低本地容量需求;如果需要保留历史结果、元数据和重试文件,则应把存储容量与备份策略一并纳入产品成本。
韩国机房的网络配置怎么判断
韩国节点的价值通常体现在用户访问路径、请求交互延迟和跨区域传输,而不是直接提升 GPU 生成速度。对于只发送提示词、返回几 MB 图片的 API,网络带宽未必是第一瓶颈;对于需要上传参考图、批量提交和下载高清结果的业务,网络才会快速成为限制因素。
带宽与延迟分别看
- 延迟影响请求建立、上传开始、队列响应和结果返回的等待感受;
- 带宽影响参考图、生成结果和批量任务的传输时间;
- 丢包与抖动会让长连接、批量上传和大文件下载变得不稳定;
- 端口峰值不等于持续可用吞吐,还要确认是否存在流量上限或共享带宽。
例如,每个请求的输入和输出合计约 20MB,每分钟处理 60 个请求:
60 × 20MB = 1200MB/分钟
1200 ÷ 60 = 20MB/秒
20 × 8 = 160Mbps
这里使用十进制单位,1MB = 1,000,000字节,换算为兆比特时先乘以 8。因此,理论上 160Mbps 就是这组流量的平均传输需求,但还应为突发流量、协议开销和其他服务预留余量。1Gbps 端口的理论上限约为 125MB/秒,不等于每秒可以稳定传输 1GB 图片数据。
如果客户端只发送文本提示词,图片由服务器生成后通过对象存储或 CDN 分发,100Mbps 至 1Gbps 都可能满足不同规模的业务;如果请求中包含参考图、蒙版和多张结果,1Gbps 端口更适合作为生产起点。购买韩国 GPU 服务器时,应单独确认端口速率、月流量规则、出站流量计费和公网 IPv4 数量,不能只依据“带宽充足”一类描述判断。
围绕 Stable Diffusion 等 AI 推理与图像生成场景,A5数据提供香港和美国 GPU 服务器,配有 A100 80GB 或 RTX 4090 等显卡选项,并搭配服务器 CPU、内存与 NVMe 存储,为模型运行、图像处理和推理服务提供硬件资源。韩国首尔也有物理服务器方案,可结合不同地区的部署需求配置计算与网络资源,支持面向韩国用户的业务布局。
按工作负载选择配置档位
下面的配置用于询价和容量规划,不对应某个固定商品型号。实际采购时还应核对显卡具体型号、是否独享、CPU 是否独享以及磁盘和带宽的交付口径。
| 配置档位 | GPU 显存 | CPU 与内存 | 磁盘与网络 | 适用工作负载 |
|---|---|---|---|---|
| 低并发开发型 | 1×12GB 至 16GB | 8 vCPU、32GB | 500GB NVMe、100Mbps 至 1Gbps | SD 1.5 单图、少量 LoRA、单 worker |
| 单卡生产型 | 1×24GB | 12 至 16 vCPU、64GB | 1TB NVMe、1Gbps | SDXL 单图、SD 1.5 多扩展、1 至 2 个 worker |
| 双卡并发型 | 2×24GB | 16 至 24 vCPU、128GB | 2TB NVMe、1Gbps | 多用户请求、任务隔离、每张 GPU 独立 worker |
| 大显存工作流型 | 1×48GB 或更高 | 16 至 24 vCPU、128GB | 1TB 至 2TB NVMe、1Gbps | 大分辨率、复杂节点、多模型常驻、单任务占用较高 |
“2×24GB”和“1×48GB”应根据工作流选择,而不能只比较显存总量:
- 2×24GB 更适合两个请求分别运行,也便于一张 GPU 故障时保留部分服务能力;
- 1×48GB 更适合单个任务需要大显存,或者模型、ControlNet 和高分辨率流程需要集中放在同一张卡上;
- 两张 GPU 的显存通常不能自动合并为一个 48GB 显存池;
- 多卡配置还需要确认 PCIe 插槽、散热、供电和框架是否能正确识别每张卡。
如果业务尚未确定模型版本,优先选择 24GB 显存、64GB 内存、1TB NVMe 和 1Gbps 网络的单卡配置,通常比只追求更强 GPU 核心但使用 12GB 显存更容易覆盖 SDXL 和扩展工作流。若请求量已经明确达到每分钟十几张以上,则应直接评估双卡,而不是只把单卡 worker 数量不断提高。
用哪些指标判断配置是否匹配
延迟要拆成队列、生成和返回
一次请求的总耗时可以拆分为:
总延迟 = 排队等待时间 + 模型生成时间 + 后处理时间 + 网络传输时间
只看接口平均响应时间,无法判断问题来自 GPU 还是网络。建议至少记录:
- p50 延迟:典型请求的体验;
- p95 延迟:高峰期大多数请求能否按时返回;
- 队列等待时间:并发增加后是否主要耗在排队;
- GPU 生成时间:判断显卡和推理工作流;
- 后处理时间:判断 CPU、内存和磁盘;
- 网络传输时间:判断韩国节点与访问用户之间的传输链路。
下面是一组模拟数据,用于说明双 worker 在单张 24GB GPU 上可能出现的变化:

| 请求并发 | 平均生成时间 | 平均总延迟 | p95 总延迟 | 吞吐量 |
|---|---|---|---|---|
| 1 | 8.8秒 | 9.0秒 | 9.8秒 | 约6.7张/分钟 |
| 2 | 9.4秒 | 9.8秒 | 12.0秒 | 约12.2张/分钟 |
| 4 | 9.6秒 | 18.9秒 | 29秒 | 约12.2张/分钟 |
| 8 | 9.7秒 | 37秒 | 58秒 | 约12.3张/分钟 |
当并发从 2 增加到 4 时,吞吐量几乎没有增加,但总延迟和 p95 延迟显著上升。这说明两个 worker 已经接近 GPU 的有效并行能力,新增请求只能排队。继续增加并发并不能解决吞吐问题,应该增加 GPU、优化工作流或调整业务的排队策略。
监控数据需要关联起来看
可以在 Linux 服务器上使用只读命令检查基础资源:
nvidia-smi --query-gpu=name,memory.total,memory.used,utilization.gpu,temperature.gpu --format=csv
free -h
df -hT
iostat -xz 1
指标的典型解释如下:
| 现象 | 可能原因 | 配置判断 |
|---|---|---|
| GPU 利用率高、显存未超限、队列持续增长 | 计算能力不足或 worker 数量不足 | 增加 GPU、优化采样步数,或接受更长队列 |
| GPU 利用率低、CPU 某些核心满载 | 预处理、图片编码或 CPU offload 瓶颈 | 增加 vCPU、减少 CPU offload、拆分后处理服务 |
| 显存接近上限、偶发 OOM | 扩展组件、分辨率或并发峰值导致显存不足 | 降低并发、减少节点,或升级显存 |
| 内存使用增长并触发 swap | 模型缓存、输出缓存或多 worker 占用过高 | 增加内存、限制缓存和并发,不依赖 swap |
| 磁盘 await 高、模型切换缓慢 | 磁盘性能不足或多进程同时加载 | 使用本地 NVMe,减少频繁切换 |
| GPU 利用率不高、网络发送队列堆积 | 图片上传或下载限制吞吐 | 增加带宽、启用分发层或压缩结果 |
| 单请求生成稳定,但 p95 随并发快速上升 | GPU 已饱和,队列成为主要耗时 | 增加并行 GPU 或设置排队上限 |
采购和交付时的核对边界
韩国 GPU 服务器的产品页面或报价单中,以下项目应分别确认,避免只看到“显存大小”和“1Gbps”就完成采购:
- 显卡是否物理独享:确认显卡型号、显存总量、是否存在虚拟化切分,以及多个进程能否同时使用。
- CPU 的分配方式:确认是独享核心、共享 vCPU 还是存在 CPU 超售。多 worker 场景尤其要关注单核性能。
- 内存容量与可扩展性:确认 32GB、64GB 或 128GB 是实际可用内存,是否被其他服务预留。
- 磁盘类型:确认是否为本地 NVMe,还是网络存储或普通 SSD;同时核对可用容量和数据保留规则。
- 网络口径:确认端口峰值、持续带宽、出站流量、月流量上限、公网 IP 和跨区域访问限制。
- GPU 驱动与运行环境:交付后核对系统能否识别显卡、CUDA 与推理框架是否匹配,不要只按商品名称推测环境。
- 计费组成:分别查看 GPU、CPU、内存、磁盘、公网流量、IP 和备份是否单独计费。
- 故障处理方式:确认 GPU 故障、宿主机维护和数据盘故障时的迁移、重装或数据恢复范围。
验收时应固定模型、分辨率、采样步数、采样器、LoRA、ControlNet、batch size 和输出格式,在并发 1、2、4 等级分别记录 p50、p95、吞吐和显存峰值。不要使用 SD 1.5 单图测试结果去推断 SDXL 多 ControlNet 工作流的容量,也不要用空载 GPU 利用率推断高峰期表现。
什么时候需要升级显存或增加 GPU
可以将以下条件作为容量判断的参考边界:
- 单 worker 的显存峰值长期超过总显存的 80% 至 85%,应优先增加显存或降低工作流复杂度;
- p95 延迟明显高于 p50,且主要耗时来自队列,应增加并行 GPU 或限制入口并发;
- GPU 利用率长期较高但吞吐不再增加,说明计算资源已经饱和;
- GPU 利用率低而 CPU、磁盘或网络出现持续高负载,应先补齐非 GPU 资源;
- SDXL 单图已经需要接近 20GB 显存时,不宜把 24GB 显卡直接规划为两个稳定并行 worker;
- 多模型频繁切换造成几十秒级加载等待时,应增加 NVMe 容量和内存缓存,或按模型拆分 GPU;
- 输入输出合计流量接近端口持续能力的 60% 至 70% 时,应提前评估带宽扩容和结果分发。
上线后,模型、分辨率、ControlNet、LoRA、采样步数或输出保留策略发生变化,都应重新执行同一组并发测试。只有在“显存峰值可控、p95 排队时间符合业务要求、GPU 吞吐没有明显下降、CPU 与磁盘没有持续拥堵”的条件下,韩国 GPU 服务器的显存和并发配置才算真正匹配。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4784.html



