Linux服务器运行大语言模型推理时内存不足,怎样定位占用来源?
推理服务刚启动就退出、并发稍高便被系统杀掉,或者服务器内存占用接近满额,但请求仍能正常完成,这几种现象不能按同一种故障处理。定位占用来源,应先区分主机物理内存、容器内存限额和 GPU 显存,再依次检查可用内存、交换活动、OOM 记录、进程私有内存与共享映射,最后对照模型加载、上下文长度和并发变化。
运维排查时,不要先清缓存或重启服务。更有效的顺序是保留现场,用只读命令回答三个问题:哪个资源域不足、内存记在哪个对象名下、占用随什么操作增长。这样才能区分正常文件缓存、模型常驻占用、重复加载、请求缓冲,以及真正需要继续追踪的内存泄漏。

一、确认现象:是主机内存、容器限额,还是显存不足
准备环境与故障时间点
下面的主机排查命令适用于常见 Linux 发行版,主要依赖 /proc 和 procps 工具。内核日志、其他用户进程的详细内存映射可能需要管理员权限。容器相关示例使用 cgroup v2;若环境仍使用 v1,文件名和统计接口不同,不能直接套用。
先记录故障发生时间、模型名称、推理框架版本、启动参数、服务 PID,以及故障前是否发生以下变化:
- 换了更大的模型,或调整了量化、CPU 卸载方式。
- 增加上下文长度、批量大小、并发请求数。
- 增加 worker、模型副本或数据处理进程。
- 同一主机新增其他服务,或修改了容器内存限额。
这些信息决定后续该比较哪些指标。启动阶段退出,应优先观察权重加载峰值;运行一段时间后退出,应重点观察请求相关内存和长期增长趋势。
先在宿主机执行:
date -Is
uname -r
free -h
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|SwapTotal|SwapFree' /proc/meminfo
free -h 按输出后缀显示单位,例如 Gi 表示二进制容量;/proc/meminfo 中的 kB 按 Linux 统计口径表示 KiB。后文使用的 GiB 等于 1024³ 字节。
重点不是 free 列有多小,而是 available,即 MemAvailable。它是内核对“不明显依赖交换就能用于新分配的内存”的估算,包含部分可回收缓存,不等于空闲页数量,也不保证任意分配都能成功。
| 观察结果 | 初步含义 | 下一步 |
|---|---|---|
free 很低,available 仍较充足 | 可能主要是正常缓存 | 检查交换活动和内存压力 |
available 持续下降,伴随交换读写 | 主机存在实际内存压力 | 查进程、共享内存及内核占用 |
| 主机余量较多,容器却退出 | 可能触发容器或父级限额 | 查 cgroup 和终止记录 |
| 日志明确出现 CUDA 显存分配失败 | GPU 显存不足,不能只靠主机内存解释 | 查显存占用及推理参数 |
对于安装了 NVIDIA 驱动和管理工具的服务器,可以补充:
nvidia-smi
它用于核对 GPU 显存与相关进程。显存不等于 Linux 的进程 RSS;GPU 工作负载也可能因 CPU 卸载、锁页内存、分词和请求队列消耗大量主机内存。其他加速器应使用对应工具,不能把这条命令视为通用接口。
二、先看主机:缓存、交换和内核占用是否异常
判断缓存是不是“占满内存”的原因
模型权重通过文件读取或 mmap 映射时,Linux 会保留文件页缓存。因此,模型加载后 Cached 增长,本身不是泄漏证据。
这里有两个容易误判的地方:
- 文件映射页可能同时体现在进程 RSS 和系统缓存统计中,两者不能直接相加。
Shmem包括 tmpfs 和共享内存,不能全部当作可以轻松丢弃的普通文件缓存。
如果 MemAvailable 仍充足、没有持续交换、请求延迟也正常,通常不需要为了让内存图表下降而处理缓存。
低 MemFree 不等于内存不足;缓存变大也不等于泄漏。实际压力应结合可用内存、交换活动、内存等待和分配失败一起判断。
区分“用过交换”与“正在交换”
执行:
swapon --show
vmstat 1 10
swapon --show 显示交换设备或文件及其使用量。vmstat 第一行通常反映启动以来的平均情况,后续行更适合观察当前活动。
重点看:
si:从交换区读入内存的速率。so:将内存写入交换区的速率。wa:CPU 等待 I/O 的比例,需要结合其他磁盘活动判断。
vmstat 默认内存单位通常为 KiB,具体以本机手册为准。交换区已经使用几 GiB,但后续 si、so 长期接近零,可能只是历史冷页还留在交换区,不意味着当前持续抖动。
反过来,si、so 持续非零,且推理延迟同步上升,才更支持工作集超过可承受内存的判断。没有配置交换区时,这两列为零也不能证明内存充足,压力可能直接表现为回收等待或 OOM。
内核支持 PSI 时,可进一步查看:
cat /proc/pressure/memory
some 表示部分任务因内存压力停顿,full 表示所有非空闲任务同时停顿;avg10、avg60、avg300 是不同时间窗口内的平均停顿百分比。应与故障前基线比较,而不是套用一个通用阈值。
如果文件不存在,说明该接口在当前环境不可用,继续通过交换、延迟和日志判断即可。
进程加起来不多,系统内存却很紧张
这时不能只盯住推理进程。检查:
grep -E 'Slab|SReclaimable|SUnreclaim|KernelStack|PageTables|Unevictable|Mlocked|Shmem' /proc/meminfo
df -h -t tmpfs
结果含义如下:
SUnreclaim较大且持续增长:关注不可回收 slab,再用sudo slabtop查看对象类型。PageTables异常增长:检查是否出现大量进程、映射或复杂地址空间。Shmem较大:检查共享内存、tmpfs 和多进程通信,但不要只凭df推断全部来源。Mlocked或Unevictable增长:关注锁定页和不可回收页,包括某些加速器数据传输缓冲。
这些指标通常是进一步定位的线索,不应互相简单相加。df -h -t tmpfs 只能检查当前挂载命名空间内可见的 tmpfs;容器中的挂载或其他共享内存对象还需要单独核对。
三、检查边界:谁触发了 OOM,谁设置了限额
先从日志确认终止原因
在使用 systemd 的宿主机上,按实际故障窗口查询:
sudo journalctl -k --since "2 hours ago" --no-pager |
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
如果没有持久化日志或系统不使用 journald,可补查当前内核环形缓冲:
sudo dmesg -T | grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
环形缓冲可能被覆盖,dmesg -T 的时间转换也有局限。没有查到记录,不足以证明从未发生 OOM。
日志中需要区分:
- 全局 OOM:主机层面的内存分配无法满足。
- 内存 cgroup OOM:服务或容器所在资源组达到限制。
- 被杀进程:提供线索,但不一定是全部内存压力的唯一制造者。
容器退出码 137 通常表示进程收到 SIGKILL,不是 OOM 的充分证据。管理员操作、运行时终止也可能产生相同结果。还应核对容器状态、编排平台事件,以及是否由 systemd-oomd 等用户态机制提前终止;后者不一定留下内核 OOM killer 的同类记录。
主机有余量,也要检查 cgroup
先确认挂载类型,并选取故障服务的实际宿主机 PID:
findmnt -t cgroup2
PID=12345
cat "/proc/$PID/cgroup"
12345 只是示例,需替换为实际 PID。cgroup v2 常见格式为 0::/某个路径。在宿主机统一挂载于 /sys/fs/cgroup 的环境中,可以读取:
CG=$(awk -F: '$1=="0" {print $3}' "/proc/$PID/cgroup")
for f in memory.current memory.max memory.high \
memory.swap.current memory.swap.max memory.events memory.stat; do
printf '\n%s\n' "$f"
cat "/sys/fs/cgroup${CG}/$f"
done
如果出现路径不存在,应核对实际挂载点、进程是否已退出,以及是否在容器的 cgroup 命名空间中执行;不要据此判断“没有限制”。某些接口也可能因内核版本不同而缺失。
关键文件的含义是:

memory.current:当前资源组及其子组的内存用量,单位为字节,不等于单个进程 RSS。memory.max:硬限额,max表示本层没有设置该项限制。memory.high:压力控制阈值,超过后可能引发回收和节流,不等同于硬限额。memory.swap.max:交换使用上限。memory.events:high、max、oom、oom_kill等事件计数。
事件计数应比较故障前后的增量。oom 增加与 oom_kill 增加不是同一件事,只有看到对应杀进程事件,才能据此支持“发生了内核 OOM 杀进程”的判断。
还要逐级检查父 cgroup。当前组的 memory.max 为 max,不代表父级没有限制;父级中的其他服务也可能共同消耗额度。
memory.stat 可进一步区分匿名内存、文件缓存、内核内存等来源,但字段间可能存在包含关系。例如 shmem 属于 file 的一部分,不能把所有字段相加。容器内的 free 也不一定准确反映本容器配额,应以资源组统计核对。
四、深入进程:区分私有占用、共享映射和重复加载
先找占用较大的进程,再看分摊口径
在宿主机执行:
ps -eo pid,ppid,user,rss,vsz,comm --sort=-rss | head -n 21
RSS 和 VSZ 在该命令中通常以 KiB 表示:
- RSS 是当前驻留物理内存,包含共享页。
- VSZ 是虚拟地址空间,包含未实际驻留的映射,不能当作真实物理占用。
- 多个进程的 RSS 直接相加,可能重复计算共享权重和共享库。
对高占用进程进一步查看:
PID=12345
sudo grep -E '^(Rss|Pss|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Anonymous|Swap|SwapPss):' \
"/proc/$PID/smaps_rollup"
这些数据以 KiB 为单位。Pss 将共享页按映射进程数量分摊,更适合估算多个 worker 的合计占用;Private_Dirty 持续增长,则更值得追踪私有缓冲、堆分配或复制后的数据。

需要注意,PSS 会随共享进程数量变化。一个 worker 退出后,其他 worker 的 PSS 可能上升,但实际物理内存未必增加。快照之间也存在时间差,因此不能要求它与主机统计完全对齐。
若系统没有 smaps_rollup,可检查 /proc/PID/smaps 或使用 pmap -x PID。详细映射扫描有开销,应先定位少数目标进程,避免在大量进程上高频采集。
看清内存对应哪类映射
对目标进程执行:
sudo pmap -x "$PID"
sudo cat "/proc/$PID/limits"
pmap -x 的最后部分可帮助区分权重文件映射、匿名映射、共享内存和其他映射。不同工具版本输出略有差异,应结合本机列名判断。
几个典型分支是:
- 权重文件映射 RSS 增长后趋于稳定:可能是按需触页,不应直接定性为泄漏。
- 匿名映射或私有脏页随请求增长:检查 KV cache、请求队列、分词结果和原生库缓冲。
- 多个进程各有接近完整权重规模的私有占用:检查模型是否被每个 worker 独立加载。
- 应用报内存分配失败,但主机和 cgroup 都有余量:检查
limits中的地址空间、锁页内存等限制,并结合应用栈判断。
进程分配失败不一定触发 OOM killer。地址空间限制、特定分配约束或运行库行为,都可能让应用自行报错退出。
五、对照推理阶段,把占用归因到模型和请求
模型权重与加载峰值
权重容量可以先做粗估。以约 70 亿参数、每参数 2 字节为例:
参数存储约为 70 亿 × 2 字节 = 140 亿字节,约 13.0 GiB。
这只是权重本体,不包括 KV cache、临时张量、分词器、运行库和框架元数据。量化后的实际容量还取决于缩放因子、分组信息及格式,不能仅按位宽比例计算完整运行占用。
加载峰值还可能高于稳定值:权重读取、格式转换、数据复制、设备传输和源对象释放不一定同时完成。判断时应分别记录:
- 服务启动前的主机和 cgroup 基线。
- 模型加载期间的峰值。
- 加载完成、尚无请求时的稳定占用。
- 压测期间的占用与延迟。
只有启动阶段超限,而稳定阶段有余量时,应优先检查加载路径和峰值,不能直接认定是请求内存泄漏。
KV cache 与上下文、并发的关系
常规注意力实现中,KV cache 可以粗略估算为:
2 × 层数 × KV 头数 × 每头维度 × 每元素字节数 × 缓存 token 数。
开头的 2 分别对应 K 和 V。缓存 token 数通常需要结合各活跃序列累计考虑,而不只是请求条数。
例如,32 层、8 个 KV 头、每头 128 维、每元素 2 字节,4 条序列各缓存 8192 个 token:
2 × 32 × 8 × 128 × 2 × 8192 × 4
= 4,294,967,296 字节
= 4 GiB
这只是机制估算,不包含块管理、碎片和其他工作区。KV 应使用实际 KV 头数,不能一律使用查询头数;缓存精度、模型结构、分页策略和并行方式都会改变结果。
这部分内存记在哪里,也取决于部署方式:GPU 推理通常主要消耗显存;CPU 推理、缓存卸载或混合部署可能消耗主机内存。部分框架会预先建立缓存池,因此“请求结束后占用不下降”也可能是池化复用,而非泄漏。

用增长曲线判断下一步
| 占用变化 | 更应优先检查的来源 | 验证方式 |
|---|---|---|
| 启动后升高,随后稳定 | 权重、缓存池、常驻运行库 | 固定空载观察 |
| 随上下文和活跃请求增加 | KV cache、工作区、请求缓冲 | 固定其他变量逐项调整 |
| worker 增加后阶梯式上涨 | 重复加载、独立缓存 | 对比进程树与各进程 PSS |
| 请求结束后仍持续上升,无明显平台期 | 未释放引用、无界队列、原生分配 | 多轮相同负载并检查私有内存 |
| 文件缓存增长,匿名内存稳定 | 权重读取、文件访问 | 对比 file、anon 与可用内存 |
不要仅凭“请求结束后 RSS 没降”判定泄漏。内存分配器可能保留已释放区域供后续复用;更有价值的证据是相同负载重复运行时,占用是否不断抬升且无法形成稳定平台。
六、按分支修复,并复测完整运行周期
从小范围调整开始
完成归因后,再选择修复动作:
- 缓存为主且没有压力:保留缓存,继续观察,不为图表好看而干预。
- 上下文或并发驱动增长:一次只调整一项,例如并发上限、上下文上限或队列长度,确认内存变化与服务能力的取舍。
- worker 重复加载:核对模型副本数、进程启动方式和共享机制;减少副本可能降低吞吐,需要同步测试。
- 加载峰值过高:优先检查框架支持的低峰值加载、转换和卸载方式,不照搬其他版本的参数。
- cgroup 限额过低:在核对主机余量、父级限制和其他服务后调整,不能只扩大当前容器额度。
- 匿名或私有内存持续增长:保留时间序列,进入应用级分析;Python 对象分析不能覆盖所有原生库和设备分配。
这些变更可能中断服务或改变容量。修改前应保存当前部署配置、启动参数和资源限额,确认维护窗口与恢复方式;采用单实例或小流量验证,失败时恢复原配置和原部署。具体参数应以当前框架版本的帮助信息为准。
不建议把 drop_caches、关闭交换或直接强杀进程作为第一步。清缓存不能释放仍被引用的匿名内存,还可能增加后续读盘延迟;关闭交换可能把原本可容忍的压力变成 OOM。新增交换也只能在容量、磁盘空间和延迟允许的条件下作为缓冲,不应替代稳定工作集所需的内存。
用同一负载验证修复
复测应覆盖加载、预热、持续请求和空闲回落,保持模型版本与测试输入一致。至少记录:
- 主机
MemAvailable、交换读写和 memory PSI。 - cgroup 当前占用、峰值及
memory.events增量。 - 关键进程 RSS、PSS、私有内存变化。
- GPU 显存、请求延迟、错误率和实际并发。
内核支持时,可读取 memory.peak 作为资源组峰值参考;若接口不存在,应以采样数据记录峰值。监控短时加载峰值时要适当缩短采样间隔,但不必对详细映射持续高频扫描。
修复有效不能只看“没有再次退出”。还应确认同一负载下没有新增 OOM 杀进程事件,内存增长形成可解释的平台,没有持续交换抖动,延迟与错误率处于可接受范围。
上线后继续保留趋势观察,覆盖一次预期高峰和多轮请求周期。后续扩容或调整参数时,以实测的启动峰值、稳定常驻占用、请求增量和资源限额共同判断,而不是只用模型文件大小估算整台服务器的内存需求。
面向大语言模型推理部署,A5数据提供香港、美国GPU服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型权重加载、推理计算和数据读写提供硬件基础。其AMD EPYC物理服务器系列还提供128GB内存及双路平台等配置,可承载CPU推理、模型卸载与多进程服务,覆盖不同部署方式下的主机内存和计算资源需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3385.html



