香港GPU服务器A100 80GB多任务共用时,显存如何分配与隔离?

发布人:A5数据发布时间:2026-10-10 13:45阅读量:161

两项任务同时使用一张A100 80GB,并不意味着系统会自动给每项任务分配40GB显存。实际运行中,先启动的模型可能占用大部分显存,后启动的任务即使计算量很小,也可能直接报显存不足;反过来,显存还有空余时,两项任务也可能因为争用计算资源而明显变慢。

香港GPU服务器上的显存分配遵循同样的机制:普通CUDA多进程共享通常按实际申请分配显存,框架限额主要约束自身的分配器,MPS用于改善多进程并发,而MIG可以把支持该功能的A100划分成具有独立资源边界的实例。要判断“每个任务能用多少、能否互相影响”,必须先明确采用哪一种共享方式,再验证应用峰值、实例边界和并发行为。

A5数据提供中国香港GPU物理服务器,配备A100 80GB及RTX 4090等GPU选项,并结合服务器CPU、内存与NVMe存储资源,面向AI推理、模型测试、图像处理等多任务计算场景。香港GPU系列提供CN2线路,可为模型服务、推理接口和并行计算任务提供相应的硬件与网络基础。

一、概念边界:共享显卡不等于平均分配显存

80GB是整卡规格,不是每个任务的承诺额度

A100 80GB中的“80GB”描述整张卡的显存规格。应用实际能够申请的容量,还会受到驱动保留、CUDA上下文、其他进程、框架缓存以及运行模式等因素影响。

这里需要区分三个数:

数值

含义

用于回答的问题

整卡显存总量

驱动报告的物理设备显存容量

这张卡具备多大容量

当前可用显存

当前尚未被占用或保留的容量

此刻是否有空间继续申请

任务显存额度

框架、运行平台或硬件实例施加的使用边界

某项任务被允许使用多少

当前可用显存是动态状态,不是资源预留。任务A看到还有30GiB可用,不意味着这30GiB已经归它所有;在A真正申请之前,任务B也可能占用其中一部分。

本文容量推演统一使用GiB:1GiB等于1024MiB,1MiB等于1024²字节。型号中的“80GB”保留产品名称口径,实际容量以设备和实例查询结果为准,不直接把型号标称值当成应用可用值。

“隔离”至少包含三层含义

多任务共享时,显存隔离、容量隔离和性能隔离不是同一件事。

普通CUDA进程通常有各自的地址空间。在正常权限与配置下,任务A不能把任务B的显存当成自己的内存直接读写。但这种地址空间隔离,不代表系统为A保留了固定容量:B仍然可能先申请掉大量空闲显存,使A后续申请失败。

同样,两项任务即使分别只使用20GiB显存,也可能争用计算单元、显存带宽和其他共享资源。显存没有超限,不代表响应时间不会波动。

因此,“进程之间不能直接访问彼此显存”“每个任务有固定显存额度”“每个任务有独立计算资源”是三个不同承诺,不能互相替代。

一、概念边界:共享显卡不等于平均分配显存配图

香港机房的位置会影响用户访问距离、数据传输路径和网络时延,但不会改变这些GPU内部机制。判断香港GPU服务器的多任务共享能力,应看交付的是整卡、普通共享设备还是MIG实例,而不是仅看机房地区。

二、工作机制:四种共享方式如何分配显存

普通CUDA多进程:按申请使用,不自动均分

在未启用硬件分区的整卡上,多个CUDA进程可以分别创建上下文,并申请设备内存。驱动管理实际的设备显存分配,但默认不会按进程数把容量平均切开。

可以把它理解成多个部门共用一个仓库:每个部门的物品有各自标识,不应被其他部门随意使用,但仓库面积没有提前按部门分好。谁先放入更多物品,谁就占用更多空间。

例如,某张设备当前可供业务使用的容量约为72GiB:

  • 任务A启动模型,占用28GiB;

  • 任务B启动模型,占用18GiB;

  • 任务C平时占用10GiB,在处理长请求时还要额外申请20GiB。

C平时运行时,三者合计占用56GiB;进入峰值后,总需求变为76GiB。即使C单独运行完全正常,共享运行时也可能申请失败。

这一机制还有一个后果:启动顺序会改变哪项任务先获得资源,但不会增加总容量。把失败任务改成先启动,可能只是让另一项任务在稍后失败。

框架缓存与限额:控制申请行为,不等于硬件分区

PyTorch等框架通常使用缓存分配器。张量释放后,对应内存可能留在框架缓存中,用于后续快速分配,而不是立即归还给驱动。

以PyTorch为例,常见指标有:

指标

含义

常见误判

memory_allocated()

当前由张量占用的显存

把它当成进程全部显存

memory_reserved()

当前由缓存分配器管理的显存

把所有缓存都判断为泄漏

nvidia-smi中的进程占用

驱动侧看到的进程设备内存使用情况

认为它应与张量占用完全一致

CUDA上下文、第三方库或其他分配路径可能使这些数值存在差异。执行torch.cuda.empty_cache()可以释放部分未使用的缓存,但不能释放仍被张量引用的内存,也不会自动给另一个任务建立固定配额。

PyTorch提供torch.cuda.set_per_process_memory_fraction(),可限制该进程缓存分配器能够申请的容量。它适合给可信应用设置预算,但边界必须说清楚:

框架显存限额约束的是对应分配器,不是把整张GPU划成互不影响的硬件区域。它既不为本进程预留容量,也不统一约束所有第三方CUDA分配。

即使某进程配置了25%的额度,如果其他进程已经占满设备,它也未必能拿到这25%。

相关定义可核对PyTorch CUDA内存管理文档和set_per_process_memory_fraction接口说明。

MPS:改善并发,不自动生成固定显存切片

NVIDIA MPS主要面向多个CUDA进程的并发执行,让部分多进程工作负载更有效地利用GPU。它不应被理解成“启用之后,每项任务自动获得相等显存”。

在支持的环境中,MPS可以提供客户端资源控制,包括活跃线程比例以及设备内存分配限额。但这两类控制作用不同:

  • 活跃线程比例控制的是客户端可使用的执行资源,不是显存容量比例。

  • 设备内存限额限制相应客户端的分配,仍不等于为其预留独立物理显存。

  • 客户端之间仍可能竞争共享资源,不能据此承诺稳定的吞吐量或尾延迟。

MPS的具体限制和故障影响范围与GPU架构、驱动及配置有关。涉及多租户或严格服务等级要求时,应按NVIDIA MPS文档核对,不能仅凭“MPS已开启”认定资源隔离已经成立。

MIG:把支持的A100划分为有边界的实例

MIG,即Multi-Instance GPU,是A100支持的硬件分区机制。它可以把一张GPU划成多个GPU实例,为实例配置对应的显存切片和计算资源。

按照NVIDIA的A100 80GB MIG配置定义,常见GPU实例配置包括:

MIG配置名称

标称显存档位

相对计算资源档位

1g.10gb

10GB

1个计算切片档位

2g.20gb

20GB

2个计算切片档位

3g.40gb

40GB

3个计算切片档位

4g.40gb

40GB

4个计算切片档位

7g.80gb

80GB

整卡计算切片档位

这些是配置档位,不代表应用可以申请到完全相同数值的净显存,也不代表任意组合都能同时创建。可用组合受切片布局、实例放置和平台支持条件约束,应以实际设备列出的配置为准。配置与机制可核对NVIDIA MIG用户指南。

3g.40gb与4g.40gb尤其值得注意:两者显存档位相同,但计算资源不同。任务需要较大模型容量,却不一定需要同等比例的算力,因此只比较“多少GB”会遗漏重要条件。

MIG下还存在GPU实例和计算实例的层级。GPU实例建立显存等资源边界;如果一个GPU实例内部又划出多个计算实例,它们仍共享所属GPU实例的显存资源。不能把“计算实例数量”直接理解成“独立显存分区数量”。

二、工作机制:四种共享方式如何分配显存/MIG配图

MIG不会因为其他实例空闲,就自动把那些实例的显存借给当前任务。一个10GB档位的实例遇到超过自身容量的需求,其他实例即使空闲,也不能直接帮它扩容。这是固定边界带来的保护,也是利用率上的取舍。

三、影响因素:为什么平均占用不高,仍然会显存不足

模型加载成功,只验证了启动阶段

推理任务的显存不只有模型权重,还可能包括KV缓存、输入输出张量、算子工作区、临时缓冲及运行库开销。

训练任务则还涉及梯度、优化器状态、激活值等。相同模型在不同精度、批大小、序列长度和优化器配置下,显存需求可能相差明显。

对语言模型推理而言,并发请求数和上下文长度通常会改变KV缓存需求。因此,“模型加载后只用了18GiB”不等于“任务限制在20GiB就能长期运行”。

显存预算应写成:

单任务预算 = 常驻占用 + 目标负载下的动态峰值 + 必要运行余量。

余量不是一个通用固定比例,应由负载波动和可接受失败风险决定。

多进程可能重复加载同一份模型

同一张卡上启动四个独立工作进程,并不意味着四个进程自动共享一份GPU模型权重。

如果每个进程都各自加载约8GiB权重,仅权重部分就可能累计约32GiB,之后还要计入各自的上下文、缓存和临时工作区。

这也是“增加工作进程后显存突然上涨”的常见原因。某些服务框架能够通过集中推理、请求排队或特定共享机制减少重复,但不能把CPU侧的共享内存经验直接套到GPU权重上。

缓存、碎片和临时工作区会抬高峰值

缓存分配器可以复用已申请的内存,减少频繁分配开销,但不同大小的请求反复出现后,缓存中的空间未必能被下一次申请有效复用。

某些算子还会根据输入尺寸和算法选择申请额外工作区。于是同一个模型处理短请求时稳定,处理长请求或较大批次时却可能突然增加占用。

如果框架显示保留容量明显高于张量占用,应结合缓存分配器统计检查,而不是只看一个差值就认定泄漏。也不建议把频繁清缓存作为共享策略:它无法建立配额边界,还可能增加后续分配开销。

请求调度决定峰值是否重叠

显存峰值能否同时出现,直接影响共用安全性。

下面是一组用于容量推演的示例,设业务可用预算为72GiB:

任务

常驻占用

额外动态峰值

单任务峰值预算

推理服务A

16GiB

8GiB

24GiB

推理服务B

14GiB

6GiB

20GiB

批处理任务C

8GiB

4GiB

12GiB

共享运行开销与余量

—

—

8GiB

合计

—

—

64GiB

按此预算,仍有8GiB剩余。但如果A的动态部分从8GiB升到20GiB,合计就变成76GiB,超过72GiB预算。

两根同口径堆叠柱对应基准峰值预算64GiB与A动态需求升高后的76GiB,共用72GiB预算线,分段呈现常驻、动态和运行开销及余量

限制最大并发、输入长度和动态批大小,可以把峰值控制在预算内。如果依靠错峰运行降低总需求,必须由任务调度或请求准入机制执行,不能只凭“通常不会同时到峰值”作容量承诺。

四、验证方法:分别证明容量、边界和并发行为

第一步:确认拿到的是整卡还是实例

先查询设备身份和显存信息:

nvidia-smi -L
nvidia-smi --query-gpu=index,name,uuid,memory.total,memory.used,memory.free --format=csv
nvidia-smi -q -d MEMORY

这些是只读查询,不会更改GPU配置。MIG环境中,整卡信息和应用可见实例的容量不是同一层级;容器内也可能只看到分配给它的设备。

具有相应可见性和权限时,可进一步查询:

nvidia-smi mig -lgip -i 0
nvidia-smi mig -lgi -i 0
nvidia-smi mig -lci -i 0

如果命令不受支持或权限不足,应核对驱动、平台接口和交付配置,不能仅凭查询失败判断“没有MIG”。

容器只暴露某张GPU,通常只是设备访问控制。CUDA_VISIBLE_DEVICES也是设备选择与可见性设置,本身不会把显存切成固定额度。

第二步:区分应用占用与设备占用

驱动侧可查询进程显存:

nvidia-smi --query-compute-apps=gpu_uuid,pid,process_name,used_gpu_memory --format=csv

部分MIG、虚拟化或权限受限环境中,字段可能不可用或显示N/A。应改用平台支持的实例监控,并保留应用侧统计。

下面的PyTorch示例用于验证缓存分配器统计和限额设置,不是完整的服务容量测试:

import torch

if not torch.cuda.is_available():
    raise RuntimeError("当前环境没有可用的 CUDA 设备")

device = 0
torch.cuda.set_device(device)

# 示例仅设置本进程 PyTorch 缓存分配器额度,不建立硬件分区。
torch.cuda.set_per_process_memory_fraction(0.25, device)

gib = 1024 ** 3
free_bytes, total_bytes = torch.cuda.mem_get_info(device)
print(f"可见设备总量: {total_bytes / gib:.2f} GiB")
print(f"当前空闲容量: {free_bytes / gib:.2f} GiB")

torch.cuda.reset_peak_memory_stats(device)

# uint8 每个元素为 1 字节,4 个 256MiB 张量合计约 1GiB。
buffers = [
    torch.empty(256 * 1024 * 1024, dtype=torch.uint8, device=device)
    for _ in range(4)
]

torch.cuda.synchronize(device)

print(f"张量占用: {torch.cuda.memory_allocated(device) / gib:.2f} GiB")
print(f"分配器保留: {torch.cuda.memory_reserved(device) / gib:.2f} GiB")
print(f"张量峰值: {torch.cuda.max_memory_allocated(device) / gib:.2f} GiB")
print(f"保留峰值: {torch.cuda.max_memory_reserved(device) / gib:.2f} GiB")

该程序会实际占用显存,应在测试环境或已确认有足够余量的设备上运行。25%的计算基准是该进程可见设备的总容量;如果进程看到的是MIG实例,就按实例容量计算,不按整卡标称80GB计算。

正式业务应在目标模型的完整执行路径中记录峰值,而不是只运行上述小规模分配示例。

第三步:测试共享峰值,而不是把单任务结果相加

建议按以下顺序完成验证:

  1. 单任务运行:记录启动峰值、稳定运行占用和目标输入下的动态峰值。

  2. 并发运行:让计划共用的任务同时进入高占用阶段,记录显存、吞吐量和响应时间。

  3. 改变启动顺序:检查是否出现“先启动者正常,后启动者失败”。

  4. 达到配置上限:验证最大输入、最大并发和最大批大小,而非只测平均请求。

  5. 重复业务周期:观察缓存、动态形状和请求波动是否使保留容量持续变化。

例如,两项服务单独运行各需要26GiB,并不能只凭“26+26小于整卡容量”判断共享通过。并发时还要观察两项任务是否各自增加工作区、是否重复加载资源,以及延迟是否满足目标。

性能验证也应独立进行:如果显存没有明显增长,但P95延迟显著上升,问题可能是计算或带宽争用,而不是显存分配不足。

第四步:在隔离环境验证边界是否生效

真正验证额度,需要让测试任务接近并适度越过它被允许的边界,同时观察其他任务是否仍能保持既定资源使用。

这类测试可能触发显存不足、请求失败或进程退出,应使用测试实例、保存任务状态、限制申请步长,并设置停止条件,不应在生产整卡上直接申请全部剩余显存。

不同方式的通过条件不同:

共享方式

需要验证的现象

不能据此推导的结论

普通CUDA多进程

多任务在目标峰值下能够同时运行

每个进程已有固定配额

框架限额

对应分配器达到额度后拒绝继续申请

所有CUDA分配均受统一硬限制

MPS限额

当前版本与配置下客户端限制有效

已获得MIG式硬件分区

MIG实例

任务只看到指定实例容量,其他实例有独立资源边界

整卡故障和主机资源影响已被消除

如果需要严格的容量隔离,应同时核对配置证据和运行行为。仅看到某任务一直占用约10GiB,不能证明它被限制在10GiB;它可能只是尚未尝试申请更多。

五、适用限制:显存边界之外,还要确认哪些条件

对于同一团队、可信应用且负载可控的任务,普通多进程共享配合框架预算、并发限制和任务调度,可以保留较好的容量灵活性。前提是接受任务之间存在资源竞争,并对总峰值负责。

如果目标是改善多进程计算利用率,可以评估MPS,但应把它视为并发机制,而不是默认的显存隔离方案。

如果不同任务需要明确显存和计算资源边界,MIG更贴近这一要求。不过,固定分区会带来容量闲置:任务无法直接借用其他实例的空闲显存,调整实例布局也可能影响正在运行的任务。启停MIG或重建实例前,需要按实际设备与驱动确认停机要求和恢复方案,不应在承载业务时随意修改。

MIG也不能替代完整的多租户安全设计。用户权限、设备访问、容器边界和主机安全仍需单独处理;CPU、系统内存、磁盘及网络也可能成为共享瓶颈。整卡级或主机级故障不能因为显存分区就被视为不存在。

在A5IDC官网所讨论的香港GPU服务器场景中,可把交付核对集中到四项:实际设备型号与应用可见容量、共享方式、额度作用范围、目标并发下的验收结果。若交付的是MIG实例,还应明确GPU实例配置及其内部是否继续共享。

判断边界可以落在三个可复核的问题上:任务在目标负载下实际需要多少显存;超过额度时由谁拒绝申请;邻近任务达到峰值时,本任务的容量和性能还能否满足要求。这三项得到验证,才能区分“目前碰巧能共用”和“已经建立可执行的分配与隔离规则”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3100.html

相关推荐