Linux服务器运行大语言模型推理时内存不足,怎样定位占用来源?

发布人:A5数据发布时间:2026-10-12 10:45阅读量:183

推理服务刚启动就退出、并发稍高便被系统杀掉,或者服务器内存占用接近满额,但请求仍能正常完成,这几种现象不能按同一种故障处理。定位占用来源,应先区分主机物理内存、容器内存限额和 GPU 显存,再依次检查可用内存、交换活动、OOM 记录、进程私有内存与共享映射,最后对照模型加载、上下文长度和并发变化。

运维排查时,不要先清缓存或重启服务。更有效的顺序是保留现场,用只读命令回答三个问题:哪个资源域不足、内存记在哪个对象名下、占用随什么操作增长。这样才能区分正常文件缓存、模型常驻占用、重复加载、请求缓冲,以及真正需要继续追踪的内存泄漏。

引言:先保留现场再定位配图

一、确认现象:是主机内存、容器限额,还是显存不足

准备环境与故障时间点

下面的主机排查命令适用于常见 Linux 发行版,主要依赖 /proc 和 procps 工具。内核日志、其他用户进程的详细内存映射可能需要管理员权限。容器相关示例使用 cgroup v2;若环境仍使用 v1,文件名和统计接口不同,不能直接套用。

先记录故障发生时间、模型名称、推理框架版本、启动参数、服务 PID,以及故障前是否发生以下变化:

  • 换了更大的模型,或调整了量化、CPU 卸载方式。
  • 增加上下文长度、批量大小、并发请求数。
  • 增加 worker、模型副本或数据处理进程。
  • 同一主机新增其他服务,或修改了容器内存限额。

这些信息决定后续该比较哪些指标。启动阶段退出,应优先观察权重加载峰值;运行一段时间后退出,应重点观察请求相关内存和长期增长趋势。

先在宿主机执行:

date -Is
uname -r
free -h
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|SwapTotal|SwapFree' /proc/meminfo

free -h 按输出后缀显示单位,例如 Gi 表示二进制容量;/proc/meminfo 中的 kB 按 Linux 统计口径表示 KiB。后文使用的 GiB 等于 1024³ 字节。

重点不是 free 列有多小,而是 available,即 MemAvailable。它是内核对“不明显依赖交换就能用于新分配的内存”的估算,包含部分可回收缓存,不等于空闲页数量,也不保证任意分配都能成功。

观察结果初步含义下一步
free 很低,available 仍较充足可能主要是正常缓存检查交换活动和内存压力
available 持续下降,伴随交换读写主机存在实际内存压力查进程、共享内存及内核占用
主机余量较多,容器却退出可能触发容器或父级限额查 cgroup 和终止记录
日志明确出现 CUDA 显存分配失败GPU 显存不足,不能只靠主机内存解释查显存占用及推理参数

对于安装了 NVIDIA 驱动和管理工具的服务器,可以补充:

nvidia-smi

它用于核对 GPU 显存与相关进程。显存不等于 Linux 的进程 RSS;GPU 工作负载也可能因 CPU 卸载、锁页内存、分词和请求队列消耗大量主机内存。其他加速器应使用对应工具,不能把这条命令视为通用接口。

二、先看主机:缓存、交换和内核占用是否异常

判断缓存是不是“占满内存”的原因

模型权重通过文件读取或 mmap 映射时,Linux 会保留文件页缓存。因此,模型加载后 Cached 增长,本身不是泄漏证据。

这里有两个容易误判的地方:

  • 文件映射页可能同时体现在进程 RSS 和系统缓存统计中,两者不能直接相加。
  • Shmem 包括 tmpfs 和共享内存,不能全部当作可以轻松丢弃的普通文件缓存。

如果 MemAvailable 仍充足、没有持续交换、请求延迟也正常,通常不需要为了让内存图表下降而处理缓存。

低 MemFree 不等于内存不足;缓存变大也不等于泄漏。实际压力应结合可用内存、交换活动、内存等待和分配失败一起判断。

区分“用过交换”与“正在交换”

执行:

swapon --show
vmstat 1 10

swapon --show 显示交换设备或文件及其使用量。vmstat 第一行通常反映启动以来的平均情况,后续行更适合观察当前活动。

重点看:

  • si:从交换区读入内存的速率。
  • so:将内存写入交换区的速率。
  • wa:CPU 等待 I/O 的比例,需要结合其他磁盘活动判断。

vmstat 默认内存单位通常为 KiB,具体以本机手册为准。交换区已经使用几 GiB,但后续 si、so 长期接近零,可能只是历史冷页还留在交换区,不意味着当前持续抖动。

反过来,si、so 持续非零,且推理延迟同步上升,才更支持工作集超过可承受内存的判断。没有配置交换区时,这两列为零也不能证明内存充足,压力可能直接表现为回收等待或 OOM。

内核支持 PSI 时,可进一步查看:

cat /proc/pressure/memory

some 表示部分任务因内存压力停顿,full 表示所有非空闲任务同时停顿;avg10、avg60、avg300 是不同时间窗口内的平均停顿百分比。应与故障前基线比较,而不是套用一个通用阈值。

如果文件不存在,说明该接口在当前环境不可用,继续通过交换、延迟和日志判断即可。

进程加起来不多,系统内存却很紧张

这时不能只盯住推理进程。检查:

grep -E 'Slab|SReclaimable|SUnreclaim|KernelStack|PageTables|Unevictable|Mlocked|Shmem' /proc/meminfo
df -h -t tmpfs

结果含义如下:

  • SUnreclaim 较大且持续增长:关注不可回收 slab,再用 sudo slabtop 查看对象类型。
  • PageTables 异常增长:检查是否出现大量进程、映射或复杂地址空间。
  • Shmem 较大:检查共享内存、tmpfs 和多进程通信,但不要只凭 df 推断全部来源。
  • Mlocked 或 Unevictable 增长:关注锁定页和不可回收页,包括某些加速器数据传输缓冲。

这些指标通常是进一步定位的线索,不应互相简单相加。df -h -t tmpfs 只能检查当前挂载命名空间内可见的 tmpfs;容器中的挂载或其他共享内存对象还需要单独核对。

三、检查边界:谁触发了 OOM,谁设置了限额

先从日志确认终止原因

在使用 systemd 的宿主机上,按实际故障窗口查询:

sudo journalctl -k --since "2 hours ago" --no-pager |
  grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'

如果没有持久化日志或系统不使用 journald,可补查当前内核环形缓冲:

sudo dmesg -T | grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'

环形缓冲可能被覆盖,dmesg -T 的时间转换也有局限。没有查到记录,不足以证明从未发生 OOM。

日志中需要区分:

  • 全局 OOM:主机层面的内存分配无法满足。
  • 内存 cgroup OOM:服务或容器所在资源组达到限制。
  • 被杀进程:提供线索,但不一定是全部内存压力的唯一制造者。

容器退出码 137 通常表示进程收到 SIGKILL,不是 OOM 的充分证据。管理员操作、运行时终止也可能产生相同结果。还应核对容器状态、编排平台事件,以及是否由 systemd-oomd 等用户态机制提前终止;后者不一定留下内核 OOM killer 的同类记录。

主机有余量,也要检查 cgroup

先确认挂载类型,并选取故障服务的实际宿主机 PID:

findmnt -t cgroup2
PID=12345
cat "/proc/$PID/cgroup"

12345 只是示例,需替换为实际 PID。cgroup v2 常见格式为 0::/某个路径。在宿主机统一挂载于 /sys/fs/cgroup 的环境中,可以读取:

CG=$(awk -F: '$1=="0" {print $3}' "/proc/$PID/cgroup")

for f in memory.current memory.max memory.high \
         memory.swap.current memory.swap.max memory.events memory.stat; do
  printf '\n%s\n' "$f"
  cat "/sys/fs/cgroup${CG}/$f"
done

如果出现路径不存在,应核对实际挂载点、进程是否已退出,以及是否在容器的 cgroup 命名空间中执行;不要据此判断“没有限制”。某些接口也可能因内核版本不同而缺失。

关键文件的含义是:

三、检查边界:谁触发了 OOM,谁设置了限额配图

  • memory.current:当前资源组及其子组的内存用量,单位为字节,不等于单个进程 RSS。
  • memory.max:硬限额,max 表示本层没有设置该项限制。
  • memory.high:压力控制阈值,超过后可能引发回收和节流,不等同于硬限额。
  • memory.swap.max:交换使用上限。
  • memory.events:high、max、oom、oom_kill 等事件计数。

事件计数应比较故障前后的增量。oom 增加与 oom_kill 增加不是同一件事,只有看到对应杀进程事件,才能据此支持“发生了内核 OOM 杀进程”的判断。

还要逐级检查父 cgroup。当前组的 memory.max 为 max,不代表父级没有限制;父级中的其他服务也可能共同消耗额度。

memory.stat 可进一步区分匿名内存、文件缓存、内核内存等来源,但字段间可能存在包含关系。例如 shmem 属于 file 的一部分,不能把所有字段相加。容器内的 free 也不一定准确反映本容器配额,应以资源组统计核对。

四、深入进程:区分私有占用、共享映射和重复加载

先找占用较大的进程,再看分摊口径

在宿主机执行:

ps -eo pid,ppid,user,rss,vsz,comm --sort=-rss | head -n 21

RSS 和 VSZ 在该命令中通常以 KiB 表示:

  • RSS 是当前驻留物理内存,包含共享页。
  • VSZ 是虚拟地址空间,包含未实际驻留的映射,不能当作真实物理占用。
  • 多个进程的 RSS 直接相加,可能重复计算共享权重和共享库。

对高占用进程进一步查看:

PID=12345
sudo grep -E '^(Rss|Pss|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Anonymous|Swap|SwapPss):' \
  "/proc/$PID/smaps_rollup"

这些数据以 KiB 为单位。Pss 将共享页按映射进程数量分摊,更适合估算多个 worker 的合计占用;Private_Dirty 持续增长,则更值得追踪私有缓冲、堆分配或复制后的数据。

四、深入进程:区分私有占用、共享映射和重复加载配图

需要注意,PSS 会随共享进程数量变化。一个 worker 退出后,其他 worker 的 PSS 可能上升,但实际物理内存未必增加。快照之间也存在时间差,因此不能要求它与主机统计完全对齐。

若系统没有 smaps_rollup,可检查 /proc/PID/smaps 或使用 pmap -x PID。详细映射扫描有开销,应先定位少数目标进程,避免在大量进程上高频采集。

看清内存对应哪类映射

对目标进程执行:

sudo pmap -x "$PID"
sudo cat "/proc/$PID/limits"

pmap -x 的最后部分可帮助区分权重文件映射、匿名映射、共享内存和其他映射。不同工具版本输出略有差异,应结合本机列名判断。

几个典型分支是:

  • 权重文件映射 RSS 增长后趋于稳定:可能是按需触页,不应直接定性为泄漏。
  • 匿名映射或私有脏页随请求增长:检查 KV cache、请求队列、分词结果和原生库缓冲。
  • 多个进程各有接近完整权重规模的私有占用:检查模型是否被每个 worker 独立加载。
  • 应用报内存分配失败,但主机和 cgroup 都有余量:检查 limits 中的地址空间、锁页内存等限制,并结合应用栈判断。

进程分配失败不一定触发 OOM killer。地址空间限制、特定分配约束或运行库行为,都可能让应用自行报错退出。

五、对照推理阶段,把占用归因到模型和请求

模型权重与加载峰值

权重容量可以先做粗估。以约 70 亿参数、每参数 2 字节为例:

参数存储约为 70 亿 × 2 字节 = 140 亿字节,约 13.0 GiB。

这只是权重本体,不包括 KV cache、临时张量、分词器、运行库和框架元数据。量化后的实际容量还取决于缩放因子、分组信息及格式,不能仅按位宽比例计算完整运行占用。

加载峰值还可能高于稳定值:权重读取、格式转换、数据复制、设备传输和源对象释放不一定同时完成。判断时应分别记录:

  1. 服务启动前的主机和 cgroup 基线。
  2. 模型加载期间的峰值。
  3. 加载完成、尚无请求时的稳定占用。
  4. 压测期间的占用与延迟。

只有启动阶段超限,而稳定阶段有余量时,应优先检查加载路径和峰值,不能直接认定是请求内存泄漏。

KV cache 与上下文、并发的关系

常规注意力实现中,KV cache 可以粗略估算为:

2 × 层数 × KV 头数 × 每头维度 × 每元素字节数 × 缓存 token 数。

开头的 2 分别对应 K 和 V。缓存 token 数通常需要结合各活跃序列累计考虑,而不只是请求条数。

例如,32 层、8 个 KV 头、每头 128 维、每元素 2 字节,4 条序列各缓存 8192 个 token:

2 × 32 × 8 × 128 × 2 × 8192 × 4
= 4,294,967,296 字节
= 4 GiB

这只是机制估算,不包含块管理、碎片和其他工作区。KV 应使用实际 KV 头数,不能一律使用查询头数;缓存精度、模型结构、分页策略和并行方式都会改变结果。

这部分内存记在哪里,也取决于部署方式:GPU 推理通常主要消耗显存;CPU 推理、缓存卸载或混合部署可能消耗主机内存。部分框架会预先建立缓存池,因此“请求结束后占用不下降”也可能是池化复用,而非泄漏。

五、对照推理阶段,把占用归因到模型和请求配图

用增长曲线判断下一步

占用变化更应优先检查的来源验证方式
启动后升高,随后稳定权重、缓存池、常驻运行库固定空载观察
随上下文和活跃请求增加KV cache、工作区、请求缓冲固定其他变量逐项调整
worker 增加后阶梯式上涨重复加载、独立缓存对比进程树与各进程 PSS
请求结束后仍持续上升,无明显平台期未释放引用、无界队列、原生分配多轮相同负载并检查私有内存
文件缓存增长,匿名内存稳定权重读取、文件访问对比 file、anon 与可用内存

不要仅凭“请求结束后 RSS 没降”判定泄漏。内存分配器可能保留已释放区域供后续复用;更有价值的证据是相同负载重复运行时,占用是否不断抬升且无法形成稳定平台。

六、按分支修复,并复测完整运行周期

从小范围调整开始

完成归因后,再选择修复动作:

  • 缓存为主且没有压力:保留缓存,继续观察,不为图表好看而干预。
  • 上下文或并发驱动增长:一次只调整一项,例如并发上限、上下文上限或队列长度,确认内存变化与服务能力的取舍。
  • worker 重复加载:核对模型副本数、进程启动方式和共享机制;减少副本可能降低吞吐,需要同步测试。
  • 加载峰值过高:优先检查框架支持的低峰值加载、转换和卸载方式,不照搬其他版本的参数。
  • cgroup 限额过低:在核对主机余量、父级限制和其他服务后调整,不能只扩大当前容器额度。
  • 匿名或私有内存持续增长:保留时间序列,进入应用级分析;Python 对象分析不能覆盖所有原生库和设备分配。

这些变更可能中断服务或改变容量。修改前应保存当前部署配置、启动参数和资源限额,确认维护窗口与恢复方式;采用单实例或小流量验证,失败时恢复原配置和原部署。具体参数应以当前框架版本的帮助信息为准。

不建议把 drop_caches、关闭交换或直接强杀进程作为第一步。清缓存不能释放仍被引用的匿名内存,还可能增加后续读盘延迟;关闭交换可能把原本可容忍的压力变成 OOM。新增交换也只能在容量、磁盘空间和延迟允许的条件下作为缓冲,不应替代稳定工作集所需的内存。

用同一负载验证修复

复测应覆盖加载、预热、持续请求和空闲回落,保持模型版本与测试输入一致。至少记录:

  • 主机 MemAvailable、交换读写和 memory PSI。
  • cgroup 当前占用、峰值及 memory.events 增量。
  • 关键进程 RSS、PSS、私有内存变化。
  • GPU 显存、请求延迟、错误率和实际并发。

内核支持时,可读取 memory.peak 作为资源组峰值参考;若接口不存在,应以采样数据记录峰值。监控短时加载峰值时要适当缩短采样间隔,但不必对详细映射持续高频扫描。

修复有效不能只看“没有再次退出”。还应确认同一负载下没有新增 OOM 杀进程事件,内存增长形成可解释的平台,没有持续交换抖动,延迟与错误率处于可接受范围。

上线后继续保留趋势观察,覆盖一次预期高峰和多轮请求周期。后续扩容或调整参数时,以实测的启动峰值、稳定常驻占用、请求增量和资源限额共同判断,而不是只用模型文件大小估算整台服务器的内存需求。

面向大语言模型推理部署,A5数据提供香港、美国GPU服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型权重加载、推理计算和数据读写提供硬件基础。其AMD EPYC物理服务器系列还提供128GB内存及双路平台等配置,可承载CPU推理、模型卸载与多进程服务,覆盖不同部署方式下的主机内存和计算资源需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3385.html

相关推荐