Linux服务器内存持续下降如何排查?从进程占用到OOM确认泄漏

发布人:A5数据发布时间:2026-10-23 15:31阅读量:125

看到 free -h 中的 used 持续增加,并不等于 Linux 服务器正在发生内存泄漏。Linux 会主动利用空闲内存作为页缓存,缓存增加时 free 可能变小,但只要 MemAvailable 仍然充足,通常不构成内存压力。真正需要重点关注的是:可用内存是否持续下降、交换区是否发生持续读写、哪个进程的匿名内存不断增长,以及内核日志中是否出现 OOM 记录。

排查时应先保留现场,再从主机整体状态逐步缩小到服务、进程、内存区域和运行时堆。单次查看进程排行榜只能说明“当前谁占用得多”,不能直接证明泄漏;需要结合一段时间内的 RSS、PSS、匿名页和 OOM 计数变化,最后通过修复后的复测确认问题是否消失。

全文排查方法概述配图

一、先确认是否真的存在内存压力

1. 查看可用内存、缓存和交换区

以下命令只读取系统状态,适用于大多数使用 systemd 的 Linux 发行版:

date
free -h
swapon --show
vmstat 1 5

重点查看 free -h 的几个字段:

  • available:内核估算的当前可分配内存,比单纯的 free 更适合判断是否有压力。
  • buff/cache:缓冲区和页缓存,很多内容可以在需要时回收。
  • swap:交换区使用量。已经使用的交换区不一定代表当前正在发生严重换页,关键还要结合 vmstat 的 si 和 so。
  • vmstat 中的 si、so:通常以 KB/s 表示换入、换出速率。连续多个采样都有较大数值,说明内存回收已经影响到运行状态。

例如,下面两种情况的含义不同:

观察结果更可能的含义下一步
buff/cache 较大,available 仍充足,si/so 接近 0正常缓存利用不要急于清缓存,继续观察趋势
available 持续下降,si/so 持续有数值主机存在内存压力检查进程、cgroup 和 OOM 日志
Swap used 较高,但 si/so 长期为 0过去曾发生换出,当前未必紧张结合业务延迟和可用内存判断
available 很低,换入换出明显,服务响应变慢已经出现实际内存争用优先保留现场,随后做限流或服务级处置

不要只用“已用内存百分比”判断故障。Linux 的 used 通常包含可回收缓存,缓存越多,数字看起来越高,但不代表应用已经占满物理内存。

2. 拆分内存的主要来源

free 只能提供概览,可以进一步查看 /proc/meminfo:

grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|AnonPages|SwapTotal|SwapFree|Unevictable):' /proc/meminfo

这些字段可以帮助判断内存增长来自哪里:

  • AnonPages:进程匿名内存,通常包括堆、栈以及部分运行时分配区域。它持续增加时,应重点检查应用进程。
  • Cached:文件页缓存,通常可回收。单独增加不等于泄漏。
  • SReclaimable:可回收的内核 slab 对象,例如部分目录项和 inode 缓存。
  • Shmem:共享内存和 tmpfs 使用量,数据库、消息队列、容器共享内存都可能使它增加。
  • Unevictable:不可回收页,可能与锁定内存、特殊映射或某些内核机制有关。
  • SwapFree:交换区剩余量,需要与换入换出速率一起看。

/proc/meminfo 中的数值通常以 KiB 记录,不能直接与十进制 MB 混用。查看趋势时,建议每次使用相同命令和相同时间间隔,不要把不同工具的取整结果直接进行精确比较。

二、从主机外部状态逐步进入进程

1. 先确认是否发生过 OOM

OOM(Out Of Memory)表示内核在回收和分配内存时无法满足请求,并选择终止某个进程。它能证明“某个内存边界被击穿”,但不能单独证明存在内存泄漏。

使用 systemd 的主机可以先查看当前启动周期内的内核日志:

sudo journalctl -k -b --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'

也可以限定时间范围:

sudo journalctl -k --since "2 hours ago" --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'

没有 journalctl 或日志不完整时,可以尝试:

sudo dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'

典型的系统级 OOM 日志可能包含类似信息:

Out of memory: Killed process 1234 (worker) total-vm:2456780kB, anon-rss:1876540kB

看到 Killed process、进程 PID、进程名和 anon-rss,说明内核确实执行过 OOM Kill。此时应记录 PID、进程名、时间和对应服务,不要马上重启后再查,否则可能丢失关键上下文。

如果日志只有:

Memory cgroup out of memory: Killed process ...

则需要优先检查容器或 systemd 服务的内存上限。主机还有大量可用内存时,单个服务也可能因为自己的 cgroup 达到上限而被杀掉。

容器环境中,退出码 137 通常表示进程收到 SIGKILL,但它本身不能单独证明是 OOM。使用 Docker 时可以进一步核对:

docker stats --no-stream
docker inspect --format '{{.Name}} OOMKilled={{.State.OOMKilled}} ExitCode={{.State.ExitCode}}' <container_name_or_id>

如果是 systemd 管理的服务,可以查看限制和当前使用量:

sudo systemctl show app.service -p MemoryCurrent -p MemoryHigh -p MemoryMax -p ControlGroup

不同 systemd 版本支持的属性可能不完全一致。如果某个属性不存在,应以 systemctl show app.service 的实际输出为准,不要直接修改未知配置项。

2. 确认是否是 cgroup 达到限制

在 cgroup v2 主机上,可以通过下面命令确认挂载类型:

stat -fc %T /sys/fs/cgroup

输出为 cgroup2fs 时,可以根据服务的 ControlGroup 路径查看事件计数。先获取路径:

cg=$(sudo systemctl show app.service -p ControlGroup --value)
printf '%s\n' "$cg"

如果输出类似 /system.slice/app.service,再查看:

sudo cat /sys/fs/cgroup"$cg"/memory.current
sudo cat /sys/fs/cgroup"$cg"/memory.max
sudo cat /sys/fs/cgroup"$cg"/memory.events

重点关注:

  • memory.current:当前 cgroup 使用量。
  • memory.max:硬限制,可能显示为 max。
  • memory.events 中的 high、max、oom、oom_kill:分别表示触及高水位、达到上限、发生内存分配失败或执行了 OOM Kill。

如果 memory.current 接近 memory.max,同时主机的 MemAvailable 仍然较高,问题更可能是服务级限制过小,而不是整台服务器物理内存不足。不要为了“避免 OOM”直接取消限制;限制本身可能是防止单个服务拖垮整机的保护措施,应先确认业务容量和其他服务的余量。

二、从主机外部状态逐步进入进程配图

3. 找出当前占用内存最多的进程

查看进程排序:

ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20

其中:

  • RSS 是进程当前驻留在物理内存中的大小,单位通常是 KB。
  • VSZ 是虚拟地址空间大小,不能直接当作物理内存占用。
  • %MEM 是相对于主机物理内存的比例。
  • RSS 包含部分共享库和共享页,多个进程的 RSS 相加可能重复计算。

因此,排行榜适合找出候选进程,但不适合直接计算所有进程的真实占用。可以使用 pidstat 观察一段时间:

pidstat -r -p ALL 60 5

如果系统没有 pidstat,可以直接检查指定进程:

pid=1234

grep -E '^(Name|Pid|VmRSS|VmSwap|RssAnon|RssFile|RssShmem|Threads):' /proc/"$pid"/status

if [ -r /proc/"$pid"/smaps_rollup ]; then
  grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Pss_Shmem|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Anonymous|Swap):' \
    /proc/"$pid"/smaps_rollup
else
  echo "当前内核或权限不提供 smaps_rollup"
fi

PSS 会按比例分摊共享页,比 RSS 更适合比较多个进程的实际影响。判断应用是否疑似泄漏时,尤其要关注:

  • Anonymous 或 Pss_Anon 是否持续上升;
  • Private_Dirty 是否持续上升;
  • VmSwap 是否不断增加;
  • 进程在负载下降后,内存是否仍然不回落。

可以采集一个简单趋势样本:

pid=1234

for i in $(seq 1 10); do
  printf '\n[%s]\n' "$(date '+%F %T')"
  if [ -r /proc/"$pid"/smaps_rollup ]; then
    grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Private_Dirty|Anonymous|Swap):' \
      /proc/"$pid"/smaps_rollup
  else
    grep -E '^(VmRSS|VmSwap|RssAnon|RssFile|RssShmem):' \
      /proc/"$pid"/status
  fi
  sleep 60
done

这组命令只适合观察固定 PID。服务重启后 PID 可能变化,若进程频繁重启,应改用服务级监控、cgroup 指标或按进程名重新获取 PID。采集期间不要为了释放内存执行 kill -9,否则会丢失泄漏趋势和退出前状态。

三、区分缓存增长、进程增长和真正的泄漏

1. 进程匿名内存单调增加

在业务负载相对稳定、请求量没有同步增长的情况下,如果某个进程的 Pss_Anon、Anonymous 或 Private_Dirty 持续增加,并且长时间不回落,应优先怀疑:

三、区分缓存增长、进程增长和真正的泄漏配图

  • 应用对象或请求上下文没有释放;
  • 连接、文件描述符、缓存条目或队列持续累积;
  • 线程数量增长导致栈内存增加;
  • 运行时垃圾回收未及时回收,或堆分配器保留了已释放的内存;
  • 第三方库或 native 扩展存在内存泄漏。

但“RSS 变大”仍然不是充分证据。部分语言运行时会在对象释放后保留堆空间,以便后续复用;此时业务对象数量可能已经稳定,但进程 RSS 不会立即下降。这种情况更接近堆保留或碎片化,不一定是对象泄漏。

进一步确认需要使用与应用运行时匹配的工具:

  • Java:在低峰期使用 jcmd PID GC.heap_info、类直方图或应用内存分析工具,注意部分操作会触发安全点或增加暂停。
  • Go:通过受保护的 pprof 端点采集 heap profile,比较不同时间点的对象保留情况。
  • Python:使用 tracemalloc 或应用级对象统计,区分 Python 对象增长和底层扩展分配。
  • C/C++:优先在测试环境使用 AddressSanitizer、Valgrind 或专用堆分析器,生产环境直接启用可能带来明显性能开销。

分析工具应在确认运行时和版本后选择。不要因为 RSS 增长就直接在生产环境启用高开销工具,也不要把一次类直方图结果当成泄漏结论。

2. 文件缓存或 slab 增长

如果 AnonPages 基本稳定,但 Cached、SReclaimable 或 slab 持续增加,原因可能是文件访问模式、目录项缓存、inode 缓存或内核对象增长。

可以查看 slab 排名:

sudo slabtop -o

重点观察某类对象是否在长时间内持续增长,而不是只看一次排序。例如目录项和 inode 数量较大,可能与大量小文件扫描、临时文件创建或目录遍历有关。

不要把下面的操作当作常规修复:

sync
echo 3 | sudo tee /proc/sys/vm/drop_caches

清理缓存会暂时降低缓存占用,但不会修复应用泄漏、文件句柄泄漏或内核对象异常,还可能导致后续请求重新从磁盘读取数据,造成 I/O 峰值。只有在明确的测试场景下,经过业务影响评估后才考虑使用;一次性写入不会持久修改内核参数,但缓存会随着业务重新建立。

3. 交换区使用量上升

交换区有使用量并不自动等于故障。长期不活跃的页面可能被换出,即使当前内存压力已经缓解,这部分数据也可能继续留在 swap 中。

更有意义的判断是:

  • vmstat 的 si/so 是否持续有明显数值;
  • 业务延迟是否同时上升;
  • MemAvailable 是否持续下降;
  • 哪些进程的 VmSwap 增长;
  • 磁盘 I/O 是否出现明显等待。

如果只有 Swap used 高,但 si/so 接近 0、业务正常、MemAvailable 充足,通常不需要立即清空交换区。强行执行 swapoff 可能要求系统把页面重新装回物理内存,在内存紧张时反而触发更严重的问题。

4. 内核日志出现 OOM,但没有明显大进程

这类情况要检查三个边界:

  1. 主机物理内存是否不足;
  2. systemd、容器或其他 cgroup 是否设置了更低的内存上限;
  3. 是否存在不可回收内存、锁定内存或内核模块相关问题。

如果 OOM 日志中的进程 anon-rss 并不大,但 memory.events 中 oom_kill 增加,优先核对 cgroup 限制和容器配置。若主机整体 Unevictable、内核 slab 或共享内存异常增长,则需要结合内核版本、文件系统、驱动和业务组件继续定位,不应只盯着用户态进程。

四、根据结果选择处理方式

可以按照下面的分支安排处理优先级:

结果可能原因处理方向
MemAvailable 充足,主要是 Cached 增长正常页缓存保留缓存,继续监控
单个服务的匿名内存持续增长应用对象、堆或 native 内存异常保留样本,做运行时分析并修复代码或依赖
多个工作进程同时增长并发量、连接数、任务堆积或容量不足检查请求量、队列、worker 数和连接池
主机可用内存尚可,但 cgroup 接近 memory.max服务级内存上限触发核对限制设计,再决定调整或降低服务峰值
si/so 持续较高且延迟增加物理内存不足或工作集过大先降低压力,再评估扩容或增加交换保护
slabtop 中某类对象异常增长内核缓存、文件系统或驱动相关结合版本、文件操作和内核日志调查
日志有 Killed process 或 oom_kill 增加已发生 OOM记录被杀进程和边界,修复根因后复测

1. 需要立即止损时,先做服务级处置

如果确认某个服务的内存仍在快速增长,且已经影响其他业务,可以在保存进程和日志数据后进行优雅重启。前提是已确认服务名称、依赖关系和维护窗口,重启可能造成连接中断和未完成请求失败。

sudo systemctl show app.service -p FragmentPath -p ActiveState -p MainPID
sudo systemctl restart app.service
sudo systemctl is-active --quiet app.service && echo "service is active"
sudo journalctl -u app.service -n 50 --no-pager

如果服务不由 systemd 管理,应使用实际的进程管理器执行优雅重启,不要直接对不确定的 PID 使用 kill -9。重启只能作为止损手段,不能证明问题已经修复;若代码或依赖没有变化,内存通常会再次增长。

2. 把增加 swap 作为缓冲,不作为泄漏修复

物理内存紧张而又不能立即扩容时,适量 swap 可以增加短时缓冲,但会带来磁盘 I/O 和延迟风险。执行前应确认磁盘容量、磁盘类型、业务延迟要求和现有 swap:

free -h
swapon --show
df -h /
df -i /

下面仅演示在 /swapfile 不存在时创建一个示例大小为 4 GiB 的交换文件。4 GiB 不是通用推荐值,应按业务峰值和磁盘余量调整:

SWAPFILE=/swapfile

if sudo test -e "$SWAPFILE"; then
  echo "$SWAPFILE already exists; do not overwrite it"
else
  sudo fallocate -l 4G "$SWAPFILE"
  sudo chmod 600 "$SWAPFILE"
  sudo mkswap "$SWAPFILE"
  sudo swapon "$SWAPFILE"
fi

swapon --show
free -h

mkswap 会初始化指定文件,路径必须确认无误,不能对已有业务文件执行。若磁盘空间不足、文件系统不支持 fallocate 或 swapon 失败,应停止操作并先检查错误信息,不要反复初始化同一路径。

需要持久化到重启后的系统时,先备份配置,再添加明确的单行配置:

sudo cp -a /etc/fstab "/etc/fstab.bak.$(date +%Y%m%d%H%M%S)"
printf '%s\n' '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapon -a
swapon --show

回滚前应确认交换区不是系统当前唯一可用的缓冲,并确保物理内存足以承载换出页面。先从 /etc/fstab 中删除此前添加的那一行,再执行:

sudo swapoff /swapfile
sudo rm -- /swapfile

swapoff 如果因内存不足失败,不要使用强制方式删除文件,应先恢复内存余量或安排维护窗口。增加 swap 只能降低瞬时 OOM 风险,不能替代应用修复、容量规划或 cgroup 配置检查。

3. 对应用进行根因修复

确认内存趋势后,修复方向通常包括:

  • 限制无界缓存,设置条目数量、总字节数和过期策略;
  • 检查连接、文件描述符、线程和异步任务是否在异常路径中释放;
  • 修复请求上下文、队列消息或订阅对象的生命周期;
  • 升级已确认存在内存问题的运行时或第三方依赖;
  • 对无法立即修复的 worker 设置合理的平滑回收策略,避免多个 worker 同时重启;
  • 根据真实峰值调整服务的内存上限,而不是盲目取消限制。

如果采用 worker 周期回收,应确保服务支持优雅退出,并设置错峰策略。直接频繁重启所有 worker 可能造成连接抖动、缓存丢失和瞬时 CPU 峰值。

五、修复后复测与持续观察

修复后应使用与故障期间相同或相近的指标重新采集,至少包括:

free -h
swapon --show
vmstat 60 10
ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20
sudo journalctl -k --since "1 hour ago" --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill' || true

如果问题涉及 systemd 服务,还要重新检查:

sudo systemctl show app.service -p MainPID -p MemoryCurrent -p MemoryHigh -p MemoryMax

验证是否成功,不能只看重启后 used 变小。更可靠的标准包括:

  • 业务负载恢复到峰值后,服务的匿名内存不再单调增长;
  • 请求量下降后,进程的 PSS 或运行时堆能够稳定或部分回落;
  • MemAvailable 在业务高峰后仍保持合理余量;
  • vmstat 中没有持续的 si/so;
  • cgroup 的 memory.events 不再新增 oom 或 oom_kill;
  • 内核日志不再出现新的 OOM 记录;
  • 服务延迟、错误率、重启次数和连接数没有因处置措施恶化。

观察窗口应覆盖一次完整业务高峰和低谷。低流量服务可以观察数小时到一天,批处理或周期任务则应覆盖任务完整运行周期。建议将 MemAvailable、进程 RSS/PSS、cgroup memory.current、swap 换入换出速率以及 OOM 事件纳入监控,而不是只设置一个“内存使用率超过某百分比”的告警。

五、修复后复测与持续观察配图

当缓存继续增长但 MemAvailable、业务延迟和 OOM 计数均稳定时,不必把缓存下降作为修复目标。真正需要持续追踪的是不可回收的匿名内存、cgroup 边界和进程在相同工作量下的长期趋势。

围绕 Linux 服务长期运行中的内存占用与容量需求,A5数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖不同内存配置的 Xeon Gold 与 AMD EPYC 平台,部分方案配有 NVMe 存储。这些计算、内存和磁盘资源可为数据库、接口服务及多任务应用提供部署基础,满足不同访问地区和业务负载的资源需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5394.html

相关推荐