香港GPU服务器A100 80GB多任务共用时,显存如何分配与隔离?
两项任务同时使用一张A100 80GB,并不意味着系统会自动给每项任务分配40GB显存。实际运行中,先启动的模型可能占用大部分显存,后启动的任务即使计算量很小,也可能直接报显存不足;反过来,显存还有空余时,两项任务也可能因为争用计算资源而明显变慢。
香港GPU服务器上的显存分配遵循同样的机制:普通CUDA多进程共享通常按实际申请分配显存,框架限额主要约束自身的分配器,MPS用于改善多进程并发,而MIG可以把支持该功能的A100划分成具有独立资源边界的实例。要判断“每个任务能用多少、能否互相影响”,必须先明确采用哪一种共享方式,再验证应用峰值、实例边界和并发行为。
A5数据提供中国香港GPU物理服务器,配备A100 80GB及RTX 4090等GPU选项,并结合服务器CPU、内存与NVMe存储资源,面向AI推理、模型测试、图像处理等多任务计算场景。香港GPU系列提供CN2线路,可为模型服务、推理接口和并行计算任务提供相应的硬件与网络基础。
一、概念边界:共享显卡不等于平均分配显存
80GB是整卡规格,不是每个任务的承诺额度
A100 80GB中的“80GB”描述整张卡的显存规格。应用实际能够申请的容量,还会受到驱动保留、CUDA上下文、其他进程、框架缓存以及运行模式等因素影响。
这里需要区分三个数:
数值 | 含义 | 用于回答的问题 |
|---|---|---|
整卡显存总量 | 驱动报告的物理设备显存容量 | 这张卡具备多大容量 |
当前可用显存 | 当前尚未被占用或保留的容量 | 此刻是否有空间继续申请 |
任务显存额度 | 框架、运行平台或硬件实例施加的使用边界 | 某项任务被允许使用多少 |
当前可用显存是动态状态,不是资源预留。任务A看到还有30GiB可用,不意味着这30GiB已经归它所有;在A真正申请之前,任务B也可能占用其中一部分。
本文容量推演统一使用GiB:1GiB等于1024MiB,1MiB等于1024²字节。型号中的“80GB”保留产品名称口径,实际容量以设备和实例查询结果为准,不直接把型号标称值当成应用可用值。
“隔离”至少包含三层含义
多任务共享时,显存隔离、容量隔离和性能隔离不是同一件事。
普通CUDA进程通常有各自的地址空间。在正常权限与配置下,任务A不能把任务B的显存当成自己的内存直接读写。但这种地址空间隔离,不代表系统为A保留了固定容量:B仍然可能先申请掉大量空闲显存,使A后续申请失败。
同样,两项任务即使分别只使用20GiB显存,也可能争用计算单元、显存带宽和其他共享资源。显存没有超限,不代表响应时间不会波动。
因此,“进程之间不能直接访问彼此显存”“每个任务有固定显存额度”“每个任务有独立计算资源”是三个不同承诺,不能互相替代。

香港机房的位置会影响用户访问距离、数据传输路径和网络时延,但不会改变这些GPU内部机制。判断香港GPU服务器的多任务共享能力,应看交付的是整卡、普通共享设备还是MIG实例,而不是仅看机房地区。
二、工作机制:四种共享方式如何分配显存
普通CUDA多进程:按申请使用,不自动均分
在未启用硬件分区的整卡上,多个CUDA进程可以分别创建上下文,并申请设备内存。驱动管理实际的设备显存分配,但默认不会按进程数把容量平均切开。
可以把它理解成多个部门共用一个仓库:每个部门的物品有各自标识,不应被其他部门随意使用,但仓库面积没有提前按部门分好。谁先放入更多物品,谁就占用更多空间。
例如,某张设备当前可供业务使用的容量约为72GiB:
任务A启动模型,占用28GiB;
任务B启动模型,占用18GiB;
任务C平时占用10GiB,在处理长请求时还要额外申请20GiB。
C平时运行时,三者合计占用56GiB;进入峰值后,总需求变为76GiB。即使C单独运行完全正常,共享运行时也可能申请失败。
这一机制还有一个后果:启动顺序会改变哪项任务先获得资源,但不会增加总容量。把失败任务改成先启动,可能只是让另一项任务在稍后失败。
框架缓存与限额:控制申请行为,不等于硬件分区
PyTorch等框架通常使用缓存分配器。张量释放后,对应内存可能留在框架缓存中,用于后续快速分配,而不是立即归还给驱动。
以PyTorch为例,常见指标有:
指标 | 含义 | 常见误判 |
|---|---|---|
| 当前由张量占用的显存 | 把它当成进程全部显存 |
| 当前由缓存分配器管理的显存 | 把所有缓存都判断为泄漏 |
| 驱动侧看到的进程设备内存使用情况 | 认为它应与张量占用完全一致 |
CUDA上下文、第三方库或其他分配路径可能使这些数值存在差异。执行torch.cuda.empty_cache()可以释放部分未使用的缓存,但不能释放仍被张量引用的内存,也不会自动给另一个任务建立固定配额。
PyTorch提供torch.cuda.set_per_process_memory_fraction(),可限制该进程缓存分配器能够申请的容量。它适合给可信应用设置预算,但边界必须说清楚:
框架显存限额约束的是对应分配器,不是把整张GPU划成互不影响的硬件区域。它既不为本进程预留容量,也不统一约束所有第三方CUDA分配。
即使某进程配置了25%的额度,如果其他进程已经占满设备,它也未必能拿到这25%。
相关定义可核对PyTorch CUDA内存管理文档和set_per_process_memory_fraction接口说明。
MPS:改善并发,不自动生成固定显存切片
NVIDIA MPS主要面向多个CUDA进程的并发执行,让部分多进程工作负载更有效地利用GPU。它不应被理解成“启用之后,每项任务自动获得相等显存”。
在支持的环境中,MPS可以提供客户端资源控制,包括活跃线程比例以及设备内存分配限额。但这两类控制作用不同:
活跃线程比例控制的是客户端可使用的执行资源,不是显存容量比例。
设备内存限额限制相应客户端的分配,仍不等于为其预留独立物理显存。
客户端之间仍可能竞争共享资源,不能据此承诺稳定的吞吐量或尾延迟。
MPS的具体限制和故障影响范围与GPU架构、驱动及配置有关。涉及多租户或严格服务等级要求时,应按NVIDIA MPS文档核对,不能仅凭“MPS已开启”认定资源隔离已经成立。
MIG:把支持的A100划分为有边界的实例
MIG,即Multi-Instance GPU,是A100支持的硬件分区机制。它可以把一张GPU划成多个GPU实例,为实例配置对应的显存切片和计算资源。
按照NVIDIA的A100 80GB MIG配置定义,常见GPU实例配置包括:
MIG配置名称 | 标称显存档位 | 相对计算资源档位 |
|---|---|---|
| 10GB | 1个计算切片档位 |
| 20GB | 2个计算切片档位 |
| 40GB | 3个计算切片档位 |
| 40GB | 4个计算切片档位 |
| 80GB | 整卡计算切片档位 |
这些是配置档位,不代表应用可以申请到完全相同数值的净显存,也不代表任意组合都能同时创建。可用组合受切片布局、实例放置和平台支持条件约束,应以实际设备列出的配置为准。配置与机制可核对NVIDIA MIG用户指南。
3g.40gb与4g.40gb尤其值得注意:两者显存档位相同,但计算资源不同。任务需要较大模型容量,却不一定需要同等比例的算力,因此只比较“多少GB”会遗漏重要条件。
MIG下还存在GPU实例和计算实例的层级。GPU实例建立显存等资源边界;如果一个GPU实例内部又划出多个计算实例,它们仍共享所属GPU实例的显存资源。不能把“计算实例数量”直接理解成“独立显存分区数量”。

MIG不会因为其他实例空闲,就自动把那些实例的显存借给当前任务。一个10GB档位的实例遇到超过自身容量的需求,其他实例即使空闲,也不能直接帮它扩容。这是固定边界带来的保护,也是利用率上的取舍。
三、影响因素:为什么平均占用不高,仍然会显存不足
模型加载成功,只验证了启动阶段
推理任务的显存不只有模型权重,还可能包括KV缓存、输入输出张量、算子工作区、临时缓冲及运行库开销。
训练任务则还涉及梯度、优化器状态、激活值等。相同模型在不同精度、批大小、序列长度和优化器配置下,显存需求可能相差明显。
对语言模型推理而言,并发请求数和上下文长度通常会改变KV缓存需求。因此,“模型加载后只用了18GiB”不等于“任务限制在20GiB就能长期运行”。
显存预算应写成:
单任务预算 = 常驻占用 + 目标负载下的动态峰值 + 必要运行余量。
余量不是一个通用固定比例,应由负载波动和可接受失败风险决定。
多进程可能重复加载同一份模型
同一张卡上启动四个独立工作进程,并不意味着四个进程自动共享一份GPU模型权重。
如果每个进程都各自加载约8GiB权重,仅权重部分就可能累计约32GiB,之后还要计入各自的上下文、缓存和临时工作区。
这也是“增加工作进程后显存突然上涨”的常见原因。某些服务框架能够通过集中推理、请求排队或特定共享机制减少重复,但不能把CPU侧的共享内存经验直接套到GPU权重上。
缓存、碎片和临时工作区会抬高峰值
缓存分配器可以复用已申请的内存,减少频繁分配开销,但不同大小的请求反复出现后,缓存中的空间未必能被下一次申请有效复用。
某些算子还会根据输入尺寸和算法选择申请额外工作区。于是同一个模型处理短请求时稳定,处理长请求或较大批次时却可能突然增加占用。
如果框架显示保留容量明显高于张量占用,应结合缓存分配器统计检查,而不是只看一个差值就认定泄漏。也不建议把频繁清缓存作为共享策略:它无法建立配额边界,还可能增加后续分配开销。
请求调度决定峰值是否重叠
显存峰值能否同时出现,直接影响共用安全性。
下面是一组用于容量推演的示例,设业务可用预算为72GiB:
任务 | 常驻占用 | 额外动态峰值 | 单任务峰值预算 |
|---|---|---|---|
推理服务A | 16GiB | 8GiB | 24GiB |
推理服务B | 14GiB | 6GiB | 20GiB |
批处理任务C | 8GiB | 4GiB | 12GiB |
共享运行开销与余量 | — | — | 8GiB |
合计 | — | — | 64GiB |
按此预算,仍有8GiB剩余。但如果A的动态部分从8GiB升到20GiB,合计就变成76GiB,超过72GiB预算。

限制最大并发、输入长度和动态批大小,可以把峰值控制在预算内。如果依靠错峰运行降低总需求,必须由任务调度或请求准入机制执行,不能只凭“通常不会同时到峰值”作容量承诺。
四、验证方法:分别证明容量、边界和并发行为
第一步:确认拿到的是整卡还是实例
先查询设备身份和显存信息:
nvidia-smi -L
nvidia-smi --query-gpu=index,name,uuid,memory.total,memory.used,memory.free --format=csv
nvidia-smi -q -d MEMORY
这些是只读查询,不会更改GPU配置。MIG环境中,整卡信息和应用可见实例的容量不是同一层级;容器内也可能只看到分配给它的设备。
具有相应可见性和权限时,可进一步查询:
nvidia-smi mig -lgip -i 0
nvidia-smi mig -lgi -i 0
nvidia-smi mig -lci -i 0
如果命令不受支持或权限不足,应核对驱动、平台接口和交付配置,不能仅凭查询失败判断“没有MIG”。
容器只暴露某张GPU,通常只是设备访问控制。CUDA_VISIBLE_DEVICES也是设备选择与可见性设置,本身不会把显存切成固定额度。
第二步:区分应用占用与设备占用
驱动侧可查询进程显存:
nvidia-smi --query-compute-apps=gpu_uuid,pid,process_name,used_gpu_memory --format=csv
部分MIG、虚拟化或权限受限环境中,字段可能不可用或显示N/A。应改用平台支持的实例监控,并保留应用侧统计。
下面的PyTorch示例用于验证缓存分配器统计和限额设置,不是完整的服务容量测试:
import torch
if not torch.cuda.is_available():
raise RuntimeError("当前环境没有可用的 CUDA 设备")
device = 0
torch.cuda.set_device(device)
# 示例仅设置本进程 PyTorch 缓存分配器额度,不建立硬件分区。
torch.cuda.set_per_process_memory_fraction(0.25, device)
gib = 1024 ** 3
free_bytes, total_bytes = torch.cuda.mem_get_info(device)
print(f"可见设备总量: {total_bytes / gib:.2f} GiB")
print(f"当前空闲容量: {free_bytes / gib:.2f} GiB")
torch.cuda.reset_peak_memory_stats(device)
# uint8 每个元素为 1 字节,4 个 256MiB 张量合计约 1GiB。
buffers = [
torch.empty(256 * 1024 * 1024, dtype=torch.uint8, device=device)
for _ in range(4)
]
torch.cuda.synchronize(device)
print(f"张量占用: {torch.cuda.memory_allocated(device) / gib:.2f} GiB")
print(f"分配器保留: {torch.cuda.memory_reserved(device) / gib:.2f} GiB")
print(f"张量峰值: {torch.cuda.max_memory_allocated(device) / gib:.2f} GiB")
print(f"保留峰值: {torch.cuda.max_memory_reserved(device) / gib:.2f} GiB")
该程序会实际占用显存,应在测试环境或已确认有足够余量的设备上运行。25%的计算基准是该进程可见设备的总容量;如果进程看到的是MIG实例,就按实例容量计算,不按整卡标称80GB计算。
正式业务应在目标模型的完整执行路径中记录峰值,而不是只运行上述小规模分配示例。
第三步:测试共享峰值,而不是把单任务结果相加
建议按以下顺序完成验证:
单任务运行:记录启动峰值、稳定运行占用和目标输入下的动态峰值。
并发运行:让计划共用的任务同时进入高占用阶段,记录显存、吞吐量和响应时间。
改变启动顺序:检查是否出现“先启动者正常,后启动者失败”。
达到配置上限:验证最大输入、最大并发和最大批大小,而非只测平均请求。
重复业务周期:观察缓存、动态形状和请求波动是否使保留容量持续变化。
例如,两项服务单独运行各需要26GiB,并不能只凭“26+26小于整卡容量”判断共享通过。并发时还要观察两项任务是否各自增加工作区、是否重复加载资源,以及延迟是否满足目标。
性能验证也应独立进行:如果显存没有明显增长,但P95延迟显著上升,问题可能是计算或带宽争用,而不是显存分配不足。
第四步:在隔离环境验证边界是否生效
真正验证额度,需要让测试任务接近并适度越过它被允许的边界,同时观察其他任务是否仍能保持既定资源使用。
这类测试可能触发显存不足、请求失败或进程退出,应使用测试实例、保存任务状态、限制申请步长,并设置停止条件,不应在生产整卡上直接申请全部剩余显存。
不同方式的通过条件不同:
共享方式 | 需要验证的现象 | 不能据此推导的结论 |
|---|---|---|
普通CUDA多进程 | 多任务在目标峰值下能够同时运行 | 每个进程已有固定配额 |
框架限额 | 对应分配器达到额度后拒绝继续申请 | 所有CUDA分配均受统一硬限制 |
MPS限额 | 当前版本与配置下客户端限制有效 | 已获得MIG式硬件分区 |
MIG实例 | 任务只看到指定实例容量,其他实例有独立资源边界 | 整卡故障和主机资源影响已被消除 |
如果需要严格的容量隔离,应同时核对配置证据和运行行为。仅看到某任务一直占用约10GiB,不能证明它被限制在10GiB;它可能只是尚未尝试申请更多。
五、适用限制:显存边界之外,还要确认哪些条件
对于同一团队、可信应用且负载可控的任务,普通多进程共享配合框架预算、并发限制和任务调度,可以保留较好的容量灵活性。前提是接受任务之间存在资源竞争,并对总峰值负责。
如果目标是改善多进程计算利用率,可以评估MPS,但应把它视为并发机制,而不是默认的显存隔离方案。
如果不同任务需要明确显存和计算资源边界,MIG更贴近这一要求。不过,固定分区会带来容量闲置:任务无法直接借用其他实例的空闲显存,调整实例布局也可能影响正在运行的任务。启停MIG或重建实例前,需要按实际设备与驱动确认停机要求和恢复方案,不应在承载业务时随意修改。
MIG也不能替代完整的多租户安全设计。用户权限、设备访问、容器边界和主机安全仍需单独处理;CPU、系统内存、磁盘及网络也可能成为共享瓶颈。整卡级或主机级故障不能因为显存分区就被视为不存在。
在A5IDC官网所讨论的香港GPU服务器场景中,可把交付核对集中到四项:实际设备型号与应用可见容量、共享方式、额度作用范围、目标并发下的验收结果。若交付的是MIG实例,还应明确GPU实例配置及其内部是否继续共享。
判断边界可以落在三个可复核的问题上:任务在目标负载下实际需要多少显存;超过额度时由谁拒绝申请;邻近任务达到峰值时,本任务的容量和性能还能否满足要求。这三项得到验证,才能区分“目前碰巧能共用”和“已经建立可执行的分配与隔离规则”。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3100.html


