Linux服务器GPU显存不足时,如何区分模型占用、进程泄漏与并发过高?
GPU显存不足不等于模型本身装不下。相同的 CUDA OOM 报错,可能由模型权重和运行时常驻内存过大、某个进程持续持有无用张量、并发请求同时产生峰值,或其他进程占用同一块 GPU 引起。Linux 主机内存不足、交换分区抖动和容器 cgroup 限制,也可能让服务表现为“显存不够”,但它们与 GPU 显存 OOM 并不是同一个问题。
排查的关键不是只看一次 nvidia-smi 的 used 数值,而是观察“单请求基线、并发变化、进程生命周期、allocated 与 reserved 的差异”。模型占用通常在加载和预热后趋于稳定;进程泄漏会在相同负载下持续增长;并发过高则与同时处理的请求数或工作进程数同步变化,并在请求结束后部分回落。
一、先确认症状和影响范围
1. 区分 GPU 显存 OOM 与主机内存 OOM
常见报错可以先按来源分类:
| 现象或日志关键词 | 更可能涉及的资源 | 初步含义 |
|---|---|---|
CUDA out of memory、torch.cuda.OutOfMemoryError | GPU 显存 | CUDA 分配显存失败,但仍需继续区分模型、泄漏、并发和碎片 |
CUBLAS_STATUS_ALLOC_FAILED、CUDA 分配失败 | GPU 显存或 CUDA 运行时 | 可能是显存不足,也可能是运行时状态异常 |
Killed process、Out of memory: Kill process | Linux 主机内存 | 内核 OOM Killer 杀掉了进程,不代表 GPU 显存一定耗尽 |
容器退出码为 137 | 主机内存或 cgroup 内存限制 | 需要检查容器限制和宿主机内存 |
| 请求超时、队列堆积、GPU 利用率周期性归零 | 服务或调度层 | 可能是并发控制、重试、CPU 内存或数据加载问题 |
nvidia-smi 显存持续升高,但框架统计较低 | 驱动上下文、其他库或其他进程 | 不能直接认定为 Python 对象泄漏 |
先同时检查 GPU 和主机内存。下面命令只读取状态,不会改变运行中的服务:
nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free,utilization.gpu --format=csv,noheader,nounits
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
free -h
swapon --show
如需观察内核是否触发过 OOM,可使用:
dmesg -T | egrep -i 'oom|out of memory|killed process|nvrm|xid'
部分发行版限制普通用户读取 dmesg,此时需要由具备权限的运维人员执行,或改查系统日志服务。NVRM、Xid 等信息并不等同于显存不足,也可能指向驱动或硬件异常,应结合发生时间和应用日志判断。
2. 记录一次完整时间线
单次采样很容易误判。至少记录以下时间点:
- 服务刚启动、模型尚未加载时的显存占用。
- 模型加载完成并预热后的空闲基线。
- 只有一个请求处理时的显存峰值。
- 并发数逐步增加时的显存峰值。
- 请求结束后显存是否回落。
- 进程重启、容器重建或模型重新加载后的变化。
可以用 watch 做短时间观察:
watch -n 1 'nvidia-smi --query-gpu=index,memory.used,memory.free,utilization.gpu --format=csv,noheader,nounits'
如需关联进程,可先获取 GPU 进程 PID,再查看其生命周期和主机内存:
ps -o pid,ppid,etime,%mem,rss,cmd -p <PID>
这里的 <PID> 只是待替换的示例。容器内的 PID 与宿主机 PID 可能不同,不能直接把两个环境的 PID 当成同一个进程。排查容器服务时,应分别在宿主机和容器内查看,确认 GPU 可见设备、进程映射和 cgroup 限制是否一致。
二、建立显存不足的原因树
可以把原因分为网络流量、系统资源、服务调度和应用运行时四层。它们可能同时存在,排查时应先找出与故障时间最同步的分支。
围绕模型推理、图像处理等 GPU 工作负载,A5数据提供香港和美国 GPU 物理服务器,配有 A100 80GB、RTX 4090 等显卡选项,并结合服务器 CPU、内存与 NVMe 存储构成计算资源。不同地区的线路配置各有特点,可为模型运行与相关业务部署提供硬件和网络资源基础。
1. 应用层:模型常驻占用过大
模型占用通常包括:
- 模型权重;
- 临时工作区和算子 workspace;
- 激活值;
- 输入和输出张量;
- 注意力机制的 KV Cache;
- 框架的显存缓存和内存碎片;
- 推理框架或 CUDA 上下文的固定开销。
以参数量估算权重只能作为第一步。7B 参数模型使用 FP16 或 BF16 时,权重理论体积约为:
7,000,000,000 × 2 字节 = 14,000,000,000 字节
按二进制单位换算约为 13.0 GiB,但实际运行还要叠加运行时开销、输入长度、批量大小和 KV Cache。因此,“权重理论上小于显存容量”并不意味着一定能完成推理。
模型占用具有几个明显特征:
- 服务启动或首次加载时显存快速上升;
- 预热结束后,在并发为 1 的情况下长期保持相对稳定;
- 同一模型的每个工作进程都可能各自加载一份权重;
- 降低精度、量化、上下文长度或批量大小后,基线显著下降;
- 即使没有请求,模型权重仍然占用大部分显存。
2. 应用层:进程或对象泄漏
进程泄漏不是指所有“显存不回落”现象。深度学习框架通常会缓存已经申请过的显存,以便后续复用,因此 nvidia-smi 中的 used 不一定在请求结束后立即下降。
更有价值的观察是:
- 并发保持为 1;
- 请求输入和输出规模基本相同;
- 同一工作进程连续处理多轮请求;
- 每轮请求结束后,框架的
allocated基线仍持续上升; - 最终在相同请求规模下发生 OOM。
常见原因包括:
- 把 GPU 张量追加到全局列表、缓存或日志对象中;
- 推理时未使用
inference_mode()或no_grad(),意外保留计算图; - 输出张量直接保存,没有转换到 CPU 或解除引用;
- 异步任务、回调或异常重试仍持有请求上下文;
- 进程重载、模型热更新或工作线程没有正确释放旧对象;
- 自定义 CUDA 扩展、解码器或第三方推理库存在资源生命周期问题。
如果框架的 allocated 已回到稳定水平,但 reserved 或驱动层 used 只是在较高水平保持不变,通常更接近缓存保留,而非持续持有活跃张量。
3. 服务层:并发过高或工作进程重复加载
并发过高的典型表现是:单请求可以完成,多个请求同时进入后才 OOM。此时每个请求的显存消耗可能是正常的,但峰值叠加超过容量。
显存峰值可以用一个近似关系理解:
总显存峰值 ≈ 模型常驻基线
+ 同时执行请求数 × 单请求临时峰值
+ 框架缓存与安全余量
这个关系不是精确计费公式,但有助于判断趋势。以下情况尤其容易放大并发:
- Web 服务配置了多个 worker,每个 worker 都加载完整模型;
- 负载均衡将多个请求同时转发到同一块 GPU;
- 请求队列没有上限,等待中的请求提前完成了 GPU 张量分配;
- 客户端超时后自动重试,导致同一任务重复执行;
- 批处理把多个请求合并成了过大的 batch;
- 流式输出未及时释放,长连接长期占用 KV Cache;
- 健康检查或预热任务与正式流量同时运行。
4. 系统层:主机内存、交换和容器限制
GPU 服务通常还依赖主机内存保存输入数据、分词结果、数据加载缓存、进程堆和 CUDA 驱动映射。如果主机可用内存不足,可能出现:
- 数据加载变慢,GPU 利用率下降;
- 交换分区持续增长,响应延迟升高;
- 容器被 cgroup OOM 杀死;
- 服务重启后重新加载模型,进一步放大 GPU 瞬时压力;
- 日志中出现主机 OOM,但应用误报为推理失败。
free -h 中应重点看 available,而不是只看 free。Linux 会把部分内存用于 page cache,buff/cache 较高本身不代表故障;如果 available 持续很低、swap 使用量增长且系统频繁换页,才需要把主机内存作为主要分支排查。
5. 网络与流量层:突发、重试和排队
网络不会直接把数据变成 GPU 显存,但请求进入速度会决定 GPU 上同时存在多少任务。以下现象常把并发问题伪装成模型问题:
- 上游连接超时后快速重试;
- 负载均衡健康检查频率过高;
- 单个慢请求占用连接,后续请求不断堆积;
- 限流只限制 QPS,没有限制 GPU 上的 in-flight 数;
- 多个客户端在同一时刻发送大上下文或大批量请求。
因此,看到 OOM 时间点时,应同时查看入口层请求数、重试数、活动连接数和服务队列长度,而不是只看 GPU 指标。
三、按低风险顺序逐层排除
1. 先排查网络和服务入口
先对齐故障时间,确认以下指标是否同时上升:
- 每秒请求数和每分钟请求数;
- GPU 服务的 in-flight 请求数;
- 队列深度和排队时间;
- 客户端重试次数、超时次数;
- 单请求输入长度、输出长度和 batch 大小;
- 工作进程数量及每个进程对应的 GPU。
Linux 侧可用 ss -s 查看连接概况:
ss -s
它只能说明连接层面的变化,不能替代应用指标。更可靠的做法是在服务中记录请求开始、进入 GPU、离开 GPU 和响应完成四个时间点,并给每条记录附上进程 PID、GPU 编号、输入长度和 batch 大小。
如果 OOM 只出现在流量峰值,且降低并发后恢复,应优先验证并发控制,而不是立刻更换模型。特别要检查“请求排队”是否真的只占用 CPU 内存,还是在进入队列时已经创建了 GPU 张量。
2. 再排查系统和其他 GPU 进程
执行以下命令,确认是否有其他任务占用显存:
nvidia-smi
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
如果同一块 GPU 上存在训练任务、旧版本服务、残留推理进程或其他容器,需要先核对进程归属、启动时间和业务影响。不要仅凭进程名就终止任务,因为同名进程可能属于不同服务。
同时检查主机内存:
free -h
swapon --show
ps -eo pid,ppid,etime,%mem,rss,cmd --sort=-rss | head -n 15
下面是一组模拟状态,用于说明读法,并不表示某台实际服务器已经执行过检查:
GPU 0: 40960 MiB total, 36100 MiB used, 4860 MiB free
PID 8121: inference-worker, 17800 MiB
PID 8194: inference-worker, 17750 MiB
total used free shared buff/cache available
Mem: 128Gi 96Gi 2.1Gi 1.0Gi 29Gi 8.0Gi
Swap: 16Gi 9.5Gi 6.5Gi
这组数据至少提示三个方向:两个工作进程可能各自加载了模型;主机可用内存较低;swap 已有明显使用。它不能单独证明存在显存泄漏,需要继续关联进程生命周期和应用分配统计。
3. 最后查看框架分配情况
以 PyTorch 为例,可以在诊断环境中记录当前分配和缓存情况:
import torch
if torch.cuda.is_available():
device = torch.cuda.current_device()
allocated = torch.cuda.memory_allocated(device) / 1024**3
reserved = torch.cuda.memory_reserved(device) / 1024**3
peak_allocated = torch.cuda.max_memory_allocated(device) / 1024**3
peak_reserved = torch.cuda.max_memory_reserved(device) / 1024**3
print(f"allocated={allocated:.2f} GiB")
print(f"reserved={reserved:.2f} GiB")
print(f"peak_allocated={peak_allocated:.2f} GiB")
print(f"peak_reserved={peak_reserved:.2f} GiB")
在单次请求前重置峰值,并在请求完成后同步 GPU,可以更准确地观察该请求的峰值。同步会影响诊断期间的时间测量,不应直接作为生产性能代码长期保留:
import torch
torch.cuda.reset_peak_memory_stats()
# 在这里执行一次待诊断的推理请求
result = run_inference()
torch.cuda.synchronize()
print({
"allocated_gib": round(torch.cuda.memory_allocated() / 1024**3, 3),
"reserved_gib": round(torch.cuda.memory_reserved() / 1024**3, 3),
"peak_allocated_gib": round(torch.cuda.max_memory_allocated() / 1024**3, 3),
"peak_reserved_gib": round(torch.cuda.max_memory_reserved() / 1024**3, 3),
})
判断时要注意:
allocated更接近当前仍被活跃张量使用的显存;reserved包括框架向 CUDA 申请后暂时缓存的显存;nvidia-smi看到的是驱动层进程占用,不只包含 PyTorch 张量;- 其他 CUDA 库、上下文、通信缓冲区和自定义算子可能不出现在框架统计中。
四、用对照实验区分三类主要根因
1. 固定并发为 1,观察预热后的基线
先让单个工作进程只处理一个请求,保持输入长度、输出长度和 batch 大小相近。观察预热前后:
- 如果模型加载后立即占用大部分显存,且多轮请求维持稳定,优先归为模型常驻占用;
- 如果每轮请求后
allocated基线逐步升高,优先检查对象引用、计算图和缓存; - 如果
allocated稳定但reserved缓慢增加,检查缓存策略和碎片; - 如果框架统计稳定而
nvidia-smi继续增加,检查非框架分配、其他线程和其他进程。
一个模拟对照结果如下:
| 测试阶段 | 并发数 | nvidia-smi used | allocated | 观察 |
|---|---|---|---|---|
| 空闲预热后 | 1 | 18.6 GiB | 16.9 GiB | 模型常驻基线 |
| 第 1 次请求后 | 1 | 22.4 GiB | 20.1 GiB | 产生临时张量 |
| 第 20 次请求后 | 1 | 22.6 GiB | 20.2 GiB | 基本稳定,暂不支持持续泄漏 |
| 第 40 次请求后 | 1 | 29.8 GiB | 27.7 GiB | 同负载持续增长,需检查引用和生命周期 |
这类结果只能说明趋势。若每轮请求的输入长度不同,KV Cache 和临时工作区也会不同,必须先把测试条件固定下来。
2. 固定单请求规模,逐步增加并发
把并发设置为 1、2、4、8 等较小档位,每档等待显存回落或达到稳定状态。若峰值近似随并发增长,并且并发下降后显存部分回落,则并发叠加的可能性较高。

典型模式如下:
并发 1:峰值 22 GiB,正常完成
并发 2:峰值 27 GiB,正常完成
并发 4:峰值 37 GiB,偶发超时
并发 8:峰值超过显存容量,出现 CUDA OOM
如果每个 worker 都加载了一份模型,还需要把“工作进程数”纳入并发模型。即使应用层只显示一个活动请求,多个空闲 worker 也可能已经各自占用完整模型显存。
3. 对比 allocated、reserved 和驱动层 used
以下组合具有较强的区分价值:
| 观察结果 | 更可能的原因 | 下一步 |
|---|---|---|
| 启动后基线高,单并发长期稳定 | 模型权重、运行时常驻或上下文占用 | 核对精度、量化、上下文长度和工作进程数 |
allocated 随请求次数持续增长 | 活跃张量、计算图或应用对象未释放 | 检查引用、输出保存、异常路径和异步任务 |
allocated 稳定,reserved 高但趋于稳定 | 框架缓存,未必是泄漏 | 观察是否影响新分配;不要仅凭 nvidia-smi 判定 |
reserved 持续增长,allocated 增长不明显 | 碎片、不同尺寸分配或缓存策略 | 固定输入尺寸,检查分配模式和框架版本 |
| 多个 PID 各自占用大块显存 | 多进程重复加载模型 | 调整 worker 与 GPU 的对应关系 |
| 只有并发高时才 OOM,降并发后恢复 | 请求峰值叠加、KV Cache 或 batch 过大 | 限制 in-flight,设置队列上限和输入边界 |
| GPU 显存正常但主机 swap 增长 | 主机内存、数据加载或容器限制 | 检查 RSS、cgroup、数据缓存和 OOM 日志 |
五、定位根因后的处理边界
1. 确认是模型常驻占用
处理顺序可以是:
- 降低权重精度或采用适合场景的量化方式;
- 缩短最大上下文长度,限制单请求输入规模;
- 降低 batch 或动态批处理的上限;
- 减少同一 GPU 上的模型副本;
- 评估模型拆分、分卡或 CPU offload 的延迟代价;
- 为临时 workspace 和请求峰值预留余量。
不要只用“模型参数量 × 每参数字节数”做容量决策。实际验收应以目标输入长度、输出长度、batch、并发和框架版本下的峰值为准。
2. 确认是进程或对象泄漏
重点检查应用代码:
- 推理路径是否使用
torch.inference_mode()或等效的无梯度模式; - 返回结果是否仍携带 GPU 张量或计算图;
- 日志、监控和缓存是否保存了完整 GPU 对象;
- 异步任务完成后是否清理回调、Future 和异常对象;
- 模型热更新是否先释放旧模型,再加载新模型;
- 异常、超时、客户端断开时是否经过同一清理路径。
torch.cuda.empty_cache() 只能尝试释放框架中“未被活跃张量使用”的缓存块,不能释放仍被 Python 引用的张量,也不能修复真正的对象泄漏。把它当成周期性补丁,可能掩盖根因,还会增加后续分配和性能波动。
如果业务暂时无法修复泄漏,可以把“受控 worker 回收”作为临时隔离手段,但应配合请求排空、健康检查、错误重试和容量预留,避免多个 worker 同时重启导致显存瞬时叠加。回收前应确认服务有冗余、配置和模型文件已保存,并准备好恢复旧版本的启动方式。
3. 确认是并发过高
优先在服务层设置 GPU 维度的并发上限,而不是只设置 HTTP 连接数。常见措施包括:
- 使用信号量限制同时进入 GPU 的请求数;
- 为队列设置最大长度,超过后快速返回可重试错误;
- 对超长上下文和大 batch 单独限流;
- 区分等待中的请求和已经分配 GPU 张量的请求;
- 控制客户端重试次数,并使用退避时间;
- 将一个 GPU 与固定数量的 worker 绑定;
- 对流式请求设置最大持续时间和取消清理机制。
当排队时间上升但 GPU 显存没有继续增长时,可以增加队列或优化调度;当排队请求已经提前占用显存时,应先改变资源分配时机,否则单纯扩大队列只会让 OOM 更快发生。
4. 确认是系统内存或容器限制
主机内存不足时,应检查:
- 每个服务进程的 RSS;
- 数据加载 worker 数量;
- 大文件缓存和预取策略;
- 容器的 memory limit 与宿主机可用内存;
- swap 是否持续增长;
- 是否有 OOM Killer 或 cgroup 事件。
不要把增加 swap 当成解决 GPU 显存不足的方法。swap 只能缓解部分主机内存压力,不能提供可供 CUDA 直接分配的 GPU 显存,且高频换页可能显著增加推理延迟。
如果需要重启服务、终止进程或执行 GPU reset,应先确认进程归属、业务影响和其他 GPU 用户。生产环境应先摘流或排空请求,保存当前配置和日志,并准备按原版本启动恢复。GPU reset 可能影响同卡上的其他任务,通常只适合在维护窗口执行,不能作为常规清理手段。
六、验证恢复是否真正成立
修复后不要只验证“服务重新启动成功”。至少进行四组验证:
- 单请求验证:并发为 1,确认模型能完成目标输入和输出。
- 并发阶梯验证:逐步增加并发,记录每档的显存峰值、延迟和错误率。
- 长时间稳定性验证:用接近真实输入分布的流量持续运行,观察基线是否漂移。
- 异常路径验证:模拟超时、客户端断开、超长输入和模型异常,确认资源能回收。
建议同时记录以下指标:
- GPU 总显存、已用显存、空闲显存;
- 每个 PID 的显存占用和存活时间;
allocated、reserved、单请求峰值;- GPU 利用率、请求并发数和队列深度;
- 主机
available、RSS、swap 使用量; - CUDA OOM、主机 OOM、容器重启和客户端重试次数。
安全余量没有统一固定值。作为容量评估的参考,可先为临时张量、输入波动和分配碎片保留约 10%~20% 的显存空间,再根据实际峰值和延迟要求调整。短时峰值低于容量并不等于稳定,长时间运行和异常路径的峰值同样需要纳入验收。
七、把复发监控点固定下来
显存问题容易在版本更新、模型切换和流量增长后重新出现,监控应围绕“增长趋势”和“关联关系”设置,而不是只设置一个瞬时阈值。
建议至少配置以下监控点:
- GPU 显存使用率持续超过约 85%~90%;
- 空闲显存低于设定安全余量;
- 单进程显存基线在相同请求规模下持续上升;
allocated与reserved的差值长期扩大;- GPU worker 数量异常增加;
- in-flight 请求数、队列深度或重试次数突增;
- 主机
available持续下降或 swap 使用量连续增长; - CUDA OOM、容器退出码 137、内核 OOM 日志出现;
- 模型版本、精度、最大上下文长度或 batch 配置发生变化。
告警记录中应带上 GPU 编号、进程 PID、服务版本、模型版本、请求规模和并发数。这样下一次出现“显存不足”时,可以直接判断是常驻基线变大、单请求峰值变大、进程数量增加,还是请求同时进入过多,而不必只依据一条 CUDA OOM 日志反复猜测。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4627.html



