Linux服务器内存持续下降如何排查?从进程占用到OOM确认泄漏
看到 free -h 中的 used 持续增加,并不等于 Linux 服务器正在发生内存泄漏。Linux 会主动利用空闲内存作为页缓存,缓存增加时 free 可能变小,但只要 MemAvailable 仍然充足,通常不构成内存压力。真正需要重点关注的是:可用内存是否持续下降、交换区是否发生持续读写、哪个进程的匿名内存不断增长,以及内核日志中是否出现 OOM 记录。
排查时应先保留现场,再从主机整体状态逐步缩小到服务、进程、内存区域和运行时堆。单次查看进程排行榜只能说明“当前谁占用得多”,不能直接证明泄漏;需要结合一段时间内的 RSS、PSS、匿名页和 OOM 计数变化,最后通过修复后的复测确认问题是否消失。

一、先确认是否真的存在内存压力
1. 查看可用内存、缓存和交换区
以下命令只读取系统状态,适用于大多数使用 systemd 的 Linux 发行版:
date
free -h
swapon --show
vmstat 1 5
重点查看 free -h 的几个字段:
available:内核估算的当前可分配内存,比单纯的free更适合判断是否有压力。buff/cache:缓冲区和页缓存,很多内容可以在需要时回收。swap:交换区使用量。已经使用的交换区不一定代表当前正在发生严重换页,关键还要结合vmstat的si和so。vmstat中的si、so:通常以 KB/s 表示换入、换出速率。连续多个采样都有较大数值,说明内存回收已经影响到运行状态。
例如,下面两种情况的含义不同:
| 观察结果 | 更可能的含义 | 下一步 |
|---|---|---|
buff/cache 较大,available 仍充足,si/so 接近 0 | 正常缓存利用 | 不要急于清缓存,继续观察趋势 |
available 持续下降,si/so 持续有数值 | 主机存在内存压力 | 检查进程、cgroup 和 OOM 日志 |
Swap used 较高,但 si/so 长期为 0 | 过去曾发生换出,当前未必紧张 | 结合业务延迟和可用内存判断 |
available 很低,换入换出明显,服务响应变慢 | 已经出现实际内存争用 | 优先保留现场,随后做限流或服务级处置 |
不要只用“已用内存百分比”判断故障。Linux 的 used 通常包含可回收缓存,缓存越多,数字看起来越高,但不代表应用已经占满物理内存。
2. 拆分内存的主要来源
free 只能提供概览,可以进一步查看 /proc/meminfo:
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|AnonPages|SwapTotal|SwapFree|Unevictable):' /proc/meminfo
这些字段可以帮助判断内存增长来自哪里:
AnonPages:进程匿名内存,通常包括堆、栈以及部分运行时分配区域。它持续增加时,应重点检查应用进程。Cached:文件页缓存,通常可回收。单独增加不等于泄漏。SReclaimable:可回收的内核 slab 对象,例如部分目录项和 inode 缓存。Shmem:共享内存和 tmpfs 使用量,数据库、消息队列、容器共享内存都可能使它增加。Unevictable:不可回收页,可能与锁定内存、特殊映射或某些内核机制有关。SwapFree:交换区剩余量,需要与换入换出速率一起看。
/proc/meminfo 中的数值通常以 KiB 记录,不能直接与十进制 MB 混用。查看趋势时,建议每次使用相同命令和相同时间间隔,不要把不同工具的取整结果直接进行精确比较。
二、从主机外部状态逐步进入进程
1. 先确认是否发生过 OOM
OOM(Out Of Memory)表示内核在回收和分配内存时无法满足请求,并选择终止某个进程。它能证明“某个内存边界被击穿”,但不能单独证明存在内存泄漏。
使用 systemd 的主机可以先查看当前启动周期内的内核日志:
sudo journalctl -k -b --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'
也可以限定时间范围:
sudo journalctl -k --since "2 hours ago" --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'
没有 journalctl 或日志不完整时,可以尝试:
sudo dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill'
典型的系统级 OOM 日志可能包含类似信息:
Out of memory: Killed process 1234 (worker) total-vm:2456780kB, anon-rss:1876540kB
看到 Killed process、进程 PID、进程名和 anon-rss,说明内核确实执行过 OOM Kill。此时应记录 PID、进程名、时间和对应服务,不要马上重启后再查,否则可能丢失关键上下文。
如果日志只有:
Memory cgroup out of memory: Killed process ...
则需要优先检查容器或 systemd 服务的内存上限。主机还有大量可用内存时,单个服务也可能因为自己的 cgroup 达到上限而被杀掉。
容器环境中,退出码 137 通常表示进程收到 SIGKILL,但它本身不能单独证明是 OOM。使用 Docker 时可以进一步核对:
docker stats --no-stream
docker inspect --format '{{.Name}} OOMKilled={{.State.OOMKilled}} ExitCode={{.State.ExitCode}}' <container_name_or_id>
如果是 systemd 管理的服务,可以查看限制和当前使用量:
sudo systemctl show app.service -p MemoryCurrent -p MemoryHigh -p MemoryMax -p ControlGroup
不同 systemd 版本支持的属性可能不完全一致。如果某个属性不存在,应以 systemctl show app.service 的实际输出为准,不要直接修改未知配置项。
2. 确认是否是 cgroup 达到限制
在 cgroup v2 主机上,可以通过下面命令确认挂载类型:
stat -fc %T /sys/fs/cgroup
输出为 cgroup2fs 时,可以根据服务的 ControlGroup 路径查看事件计数。先获取路径:
cg=$(sudo systemctl show app.service -p ControlGroup --value)
printf '%s\n' "$cg"
如果输出类似 /system.slice/app.service,再查看:
sudo cat /sys/fs/cgroup"$cg"/memory.current
sudo cat /sys/fs/cgroup"$cg"/memory.max
sudo cat /sys/fs/cgroup"$cg"/memory.events
重点关注:
memory.current:当前 cgroup 使用量。memory.max:硬限制,可能显示为max。memory.events中的high、max、oom、oom_kill:分别表示触及高水位、达到上限、发生内存分配失败或执行了 OOM Kill。
如果 memory.current 接近 memory.max,同时主机的 MemAvailable 仍然较高,问题更可能是服务级限制过小,而不是整台服务器物理内存不足。不要为了“避免 OOM”直接取消限制;限制本身可能是防止单个服务拖垮整机的保护措施,应先确认业务容量和其他服务的余量。

3. 找出当前占用内存最多的进程
查看进程排序:
ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20
其中:
RSS是进程当前驻留在物理内存中的大小,单位通常是 KB。VSZ是虚拟地址空间大小,不能直接当作物理内存占用。%MEM是相对于主机物理内存的比例。RSS包含部分共享库和共享页,多个进程的 RSS 相加可能重复计算。
因此,排行榜适合找出候选进程,但不适合直接计算所有进程的真实占用。可以使用 pidstat 观察一段时间:
pidstat -r -p ALL 60 5
如果系统没有 pidstat,可以直接检查指定进程:
pid=1234
grep -E '^(Name|Pid|VmRSS|VmSwap|RssAnon|RssFile|RssShmem|Threads):' /proc/"$pid"/status
if [ -r /proc/"$pid"/smaps_rollup ]; then
grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Pss_Shmem|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Anonymous|Swap):' \
/proc/"$pid"/smaps_rollup
else
echo "当前内核或权限不提供 smaps_rollup"
fi
PSS 会按比例分摊共享页,比 RSS 更适合比较多个进程的实际影响。判断应用是否疑似泄漏时,尤其要关注:
Anonymous或Pss_Anon是否持续上升;Private_Dirty是否持续上升;VmSwap是否不断增加;- 进程在负载下降后,内存是否仍然不回落。
可以采集一个简单趋势样本:
pid=1234
for i in $(seq 1 10); do
printf '\n[%s]\n' "$(date '+%F %T')"
if [ -r /proc/"$pid"/smaps_rollup ]; then
grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Private_Dirty|Anonymous|Swap):' \
/proc/"$pid"/smaps_rollup
else
grep -E '^(VmRSS|VmSwap|RssAnon|RssFile|RssShmem):' \
/proc/"$pid"/status
fi
sleep 60
done
这组命令只适合观察固定 PID。服务重启后 PID 可能变化,若进程频繁重启,应改用服务级监控、cgroup 指标或按进程名重新获取 PID。采集期间不要为了释放内存执行 kill -9,否则会丢失泄漏趋势和退出前状态。
三、区分缓存增长、进程增长和真正的泄漏
1. 进程匿名内存单调增加
在业务负载相对稳定、请求量没有同步增长的情况下,如果某个进程的 Pss_Anon、Anonymous 或 Private_Dirty 持续增加,并且长时间不回落,应优先怀疑:

- 应用对象或请求上下文没有释放;
- 连接、文件描述符、缓存条目或队列持续累积;
- 线程数量增长导致栈内存增加;
- 运行时垃圾回收未及时回收,或堆分配器保留了已释放的内存;
- 第三方库或 native 扩展存在内存泄漏。
但“RSS 变大”仍然不是充分证据。部分语言运行时会在对象释放后保留堆空间,以便后续复用;此时业务对象数量可能已经稳定,但进程 RSS 不会立即下降。这种情况更接近堆保留或碎片化,不一定是对象泄漏。
进一步确认需要使用与应用运行时匹配的工具:
- Java:在低峰期使用
jcmd PID GC.heap_info、类直方图或应用内存分析工具,注意部分操作会触发安全点或增加暂停。 - Go:通过受保护的 pprof 端点采集 heap profile,比较不同时间点的对象保留情况。
- Python:使用
tracemalloc或应用级对象统计,区分 Python 对象增长和底层扩展分配。 - C/C++:优先在测试环境使用 AddressSanitizer、Valgrind 或专用堆分析器,生产环境直接启用可能带来明显性能开销。
分析工具应在确认运行时和版本后选择。不要因为 RSS 增长就直接在生产环境启用高开销工具,也不要把一次类直方图结果当成泄漏结论。
2. 文件缓存或 slab 增长
如果 AnonPages 基本稳定,但 Cached、SReclaimable 或 slab 持续增加,原因可能是文件访问模式、目录项缓存、inode 缓存或内核对象增长。
可以查看 slab 排名:
sudo slabtop -o
重点观察某类对象是否在长时间内持续增长,而不是只看一次排序。例如目录项和 inode 数量较大,可能与大量小文件扫描、临时文件创建或目录遍历有关。
不要把下面的操作当作常规修复:
sync
echo 3 | sudo tee /proc/sys/vm/drop_caches
清理缓存会暂时降低缓存占用,但不会修复应用泄漏、文件句柄泄漏或内核对象异常,还可能导致后续请求重新从磁盘读取数据,造成 I/O 峰值。只有在明确的测试场景下,经过业务影响评估后才考虑使用;一次性写入不会持久修改内核参数,但缓存会随着业务重新建立。
3. 交换区使用量上升
交换区有使用量并不自动等于故障。长期不活跃的页面可能被换出,即使当前内存压力已经缓解,这部分数据也可能继续留在 swap 中。
更有意义的判断是:
vmstat的si/so是否持续有明显数值;- 业务延迟是否同时上升;
MemAvailable是否持续下降;- 哪些进程的
VmSwap增长; - 磁盘 I/O 是否出现明显等待。
如果只有 Swap used 高,但 si/so 接近 0、业务正常、MemAvailable 充足,通常不需要立即清空交换区。强行执行 swapoff 可能要求系统把页面重新装回物理内存,在内存紧张时反而触发更严重的问题。
4. 内核日志出现 OOM,但没有明显大进程
这类情况要检查三个边界:
- 主机物理内存是否不足;
- systemd、容器或其他 cgroup 是否设置了更低的内存上限;
- 是否存在不可回收内存、锁定内存或内核模块相关问题。
如果 OOM 日志中的进程 anon-rss 并不大,但 memory.events 中 oom_kill 增加,优先核对 cgroup 限制和容器配置。若主机整体 Unevictable、内核 slab 或共享内存异常增长,则需要结合内核版本、文件系统、驱动和业务组件继续定位,不应只盯着用户态进程。
四、根据结果选择处理方式
可以按照下面的分支安排处理优先级:
| 结果 | 可能原因 | 处理方向 |
|---|---|---|
MemAvailable 充足,主要是 Cached 增长 | 正常页缓存 | 保留缓存,继续监控 |
| 单个服务的匿名内存持续增长 | 应用对象、堆或 native 内存异常 | 保留样本,做运行时分析并修复代码或依赖 |
| 多个工作进程同时增长 | 并发量、连接数、任务堆积或容量不足 | 检查请求量、队列、worker 数和连接池 |
主机可用内存尚可,但 cgroup 接近 memory.max | 服务级内存上限触发 | 核对限制设计,再决定调整或降低服务峰值 |
si/so 持续较高且延迟增加 | 物理内存不足或工作集过大 | 先降低压力,再评估扩容或增加交换保护 |
slabtop 中某类对象异常增长 | 内核缓存、文件系统或驱动相关 | 结合版本、文件操作和内核日志调查 |
日志有 Killed process 或 oom_kill 增加 | 已发生 OOM | 记录被杀进程和边界,修复根因后复测 |
1. 需要立即止损时,先做服务级处置
如果确认某个服务的内存仍在快速增长,且已经影响其他业务,可以在保存进程和日志数据后进行优雅重启。前提是已确认服务名称、依赖关系和维护窗口,重启可能造成连接中断和未完成请求失败。
sudo systemctl show app.service -p FragmentPath -p ActiveState -p MainPID
sudo systemctl restart app.service
sudo systemctl is-active --quiet app.service && echo "service is active"
sudo journalctl -u app.service -n 50 --no-pager
如果服务不由 systemd 管理,应使用实际的进程管理器执行优雅重启,不要直接对不确定的 PID 使用 kill -9。重启只能作为止损手段,不能证明问题已经修复;若代码或依赖没有变化,内存通常会再次增长。
2. 把增加 swap 作为缓冲,不作为泄漏修复
物理内存紧张而又不能立即扩容时,适量 swap 可以增加短时缓冲,但会带来磁盘 I/O 和延迟风险。执行前应确认磁盘容量、磁盘类型、业务延迟要求和现有 swap:
free -h
swapon --show
df -h /
df -i /
下面仅演示在 /swapfile 不存在时创建一个示例大小为 4 GiB 的交换文件。4 GiB 不是通用推荐值,应按业务峰值和磁盘余量调整:
SWAPFILE=/swapfile
if sudo test -e "$SWAPFILE"; then
echo "$SWAPFILE already exists; do not overwrite it"
else
sudo fallocate -l 4G "$SWAPFILE"
sudo chmod 600 "$SWAPFILE"
sudo mkswap "$SWAPFILE"
sudo swapon "$SWAPFILE"
fi
swapon --show
free -h
mkswap 会初始化指定文件,路径必须确认无误,不能对已有业务文件执行。若磁盘空间不足、文件系统不支持 fallocate 或 swapon 失败,应停止操作并先检查错误信息,不要反复初始化同一路径。
需要持久化到重启后的系统时,先备份配置,再添加明确的单行配置:
sudo cp -a /etc/fstab "/etc/fstab.bak.$(date +%Y%m%d%H%M%S)"
printf '%s\n' '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapon -a
swapon --show
回滚前应确认交换区不是系统当前唯一可用的缓冲,并确保物理内存足以承载换出页面。先从 /etc/fstab 中删除此前添加的那一行,再执行:
sudo swapoff /swapfile
sudo rm -- /swapfile
swapoff 如果因内存不足失败,不要使用强制方式删除文件,应先恢复内存余量或安排维护窗口。增加 swap 只能降低瞬时 OOM 风险,不能替代应用修复、容量规划或 cgroup 配置检查。
3. 对应用进行根因修复
确认内存趋势后,修复方向通常包括:
- 限制无界缓存,设置条目数量、总字节数和过期策略;
- 检查连接、文件描述符、线程和异步任务是否在异常路径中释放;
- 修复请求上下文、队列消息或订阅对象的生命周期;
- 升级已确认存在内存问题的运行时或第三方依赖;
- 对无法立即修复的 worker 设置合理的平滑回收策略,避免多个 worker 同时重启;
- 根据真实峰值调整服务的内存上限,而不是盲目取消限制。
如果采用 worker 周期回收,应确保服务支持优雅退出,并设置错峰策略。直接频繁重启所有 worker 可能造成连接抖动、缓存丢失和瞬时 CPU 峰值。
五、修复后复测与持续观察
修复后应使用与故障期间相同或相近的指标重新采集,至少包括:
free -h
swapon --show
vmstat 60 10
ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20
sudo journalctl -k --since "1 hour ago" --no-pager | grep -Ei 'out of memory|oom|killed process|memory cgroup|oom-kill' || true
如果问题涉及 systemd 服务,还要重新检查:
sudo systemctl show app.service -p MainPID -p MemoryCurrent -p MemoryHigh -p MemoryMax
验证是否成功,不能只看重启后 used 变小。更可靠的标准包括:
- 业务负载恢复到峰值后,服务的匿名内存不再单调增长;
- 请求量下降后,进程的 PSS 或运行时堆能够稳定或部分回落;
MemAvailable在业务高峰后仍保持合理余量;vmstat中没有持续的si/so;- cgroup 的
memory.events不再新增oom或oom_kill; - 内核日志不再出现新的 OOM 记录;
- 服务延迟、错误率、重启次数和连接数没有因处置措施恶化。
观察窗口应覆盖一次完整业务高峰和低谷。低流量服务可以观察数小时到一天,批处理或周期任务则应覆盖任务完整运行周期。建议将 MemAvailable、进程 RSS/PSS、cgroup memory.current、swap 换入换出速率以及 OOM 事件纳入监控,而不是只设置一个“内存使用率超过某百分比”的告警。

当缓存继续增长但 MemAvailable、业务延迟和 OOM 计数均稳定时,不必把缓存下降作为修复目标。真正需要持续追踪的是不可回收的匿名内存、cgroup 边界和进程在相同工作量下的长期趋势。
围绕 Linux 服务长期运行中的内存占用与容量需求,A5数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖不同内存配置的 Xeon Gold 与 AMD EPYC 平台,部分方案配有 NVMe 存储。这些计算、内存和磁盘资源可为数据库、接口服务及多任务应用提供部署基础,满足不同访问地区和业务负载的资源需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5394.html



