Linux服务器进程内存持续增长怎么查?如何区分泄漏、缓存与正常占用
业务变慢、请求超时或进程被系统终止时,内存持续增长值得尽快排查;但单看 free 中的已用内存或某个进程的 RSS,无法断定发生了内存泄漏。Linux 会把部分空闲内存用于缓存,容器也可能先触及自身限制而非整机耗尽,因此应同时观察可用内存、交换活动、进程占用和服务的资源上限。
判断时先区分“机器是否有内存压力”,再确认增长来自哪个进程、容器或内核部分,最后结合负载变化追踪到服务或应用。若进程的私有匿名内存随时间和相同负载持续上升,且无法由有界缓存、请求积压或正常工作集解释,才有理由进一步验证泄漏。
先确认是否存在真实内存压力
先查看整机内存概况:
free -h
重点关注 available,而不是只看 used。available 是内核对不引发交换的可用内存估算;buff/cache 中的一部分可在需要时回收,但并非所有缓存都能立即释放。机器运行一段时间后,缓存增多并不等同于故障。
再观察交换和内存回收是否持续发生:
vmstat 1 10
关注 si、so(交换读入、写出,通常以 KiB/s 显示)、free、swpd 以及 r、b 等字段。第一行可能是自启动以来的平均值,后续行更适合看采样间隔内的变化。swpd 非零仅表示使用过交换空间;若 si、so 长时间不为零,并伴随延迟升高或进程停顿,才更像正在承受交换压力。
查看内核内存压力指标:
cat /proc/pressure/memory
其中 some 表示部分任务因内存资源等待,full 表示采样期间所有非空闲任务都曾同时受阻。它们是观察趋势的线索,不是脱离业务负载即可套用的故障阈值。
同时核对是否发生过 OOM(内存不足时的终止):
journalctl -k --since "1 hour ago" | grep -Ei 'oom|out of memory|killed process'
如果系统没有可用的 systemd 日志,可尝试:
dmesg -T | grep -Ei 'oom|out of memory|killed process'
日志显示被终止的进程时,应进一步确认是整机 OOM,还是容器或服务的内存限制触发了局部 OOM;两者的处理位置不同。
建立原因树:从主机到应用逐层缩小范围
| 层级 | 观察依据 | 下一步 |
|---|---|---|
| 主机 | MemAvailable 持续下降,交换活动增加,内存压力指标升高 | 找出进程占用,并检查内核缓存、不可回收内存和 OOM 记录 |
| 网络与连接 | 连接数、队列或请求积压上升;进程内存或内核 socket 内存随之增长 | 比较连接数与内存变化,定位是否有慢请求、连接未释放或消费跟不上 |
| 服务与容器 | 容器或服务达到自身上限,整机仍有较多可用内存 | 核对 cgroup 计量、限制及服务重启记录 |
| 应用 | 进程私有内存随请求量、任务量或运行时间持续增长 | 按语言和运行时检查堆、对象、缓存及非堆内存 |
网络通常不是“进程内存泄漏”的直接证明,但连接堆积、请求排队或响应变慢,可能让服务保留更多请求上下文和缓冲区。反过来,socket 等内核资源也可能占用整机内存,却没有完整显示在某个进程的 RSS 中,因此要把连接指标与主机、进程数据对照起来。
逐层排除:确认占用来自哪里
1. 找出占用较高的进程
ps -eo pid,ppid,comm,rss,vsz,%mem --sort=-rss | head -20
RSS 是当前驻留在物理内存中的页面,通常以 KiB 显示;VSZ 是进程映射或预留的虚拟地址空间,不等于实际占用的物理内存。RSS 还会把进程共享的页面计入,因此多个进程的 RSS 相加可能重复计算共享部分。
对可疑进程查看汇总信息:
PID=1234
cat "/proc/$PID/smaps_rollup"
将 1234 替换为实际 PID。重点比较 Rss、Pss、Private_Clean、Private_Dirty 和 Anonymous 等字段。PSS 会按比例分摊共享页面,适合辅助比较进程的实际贡献;私有匿名内存持续增加,更值得继续调查。该文件是否可用取决于内核版本和权限,缺失时可查看 /proc/$PID/status,或使用系统已有的 pmap -x "$PID"。
2. 判断是整机紧张还是服务限制过紧
服务和容器可能有单独的 cgroup 内存限制。整机尚有可用内存,不代表服务不会因达到自身上限而被杀。
先查看进程所属的 cgroup:
cat "/proc/$PID/cgroup"
在采用 cgroup v2 的系统上,进入对应的 cgroup 目录后查看:
cat /sys/fs/cgroup/对应的cgroup路径/memory.current
cat /sys/fs/cgroup/对应的cgroup路径/memory.max
cat /sys/fs/cgroup/对应的cgroup路径/memory.events
cat /sys/fs/cgroup/对应的cgroup路径/memory.stat
memory.current 是该 cgroup 当前计量值,memory.max 是限制值;显示 max 通常表示没有设置该项硬限制。memory.events 中的 oom、oom_kill 等计数若持续增加,说明应重点检查该 cgroup 内的资源压力。memory.stat 的字段会因内核版本和配置有所不同,可用来区分匿名内存、文件缓存等类别。若系统使用 cgroup v1,相关文件名和目录布局不同,不要直接套用 v2 路径。
使用 Docker 的环境也可辅助查看:
docker stats --no-stream
该输出用于快速比较容器间占用,最终仍应结合容器限制、cgroup 文件和主机指标判断。
3. 排除缓存、内核占用和连接积压
若 free 显示缓存较高,但 MemAvailable 稳定、交换活动不明显,且业务没有内存压力证据,优先观察缓存随负载变化的趋势,不要仅凭缓存占用认定泄漏。若 slabtop 可用,可查看内核 slab 分配的大致情况:
slabtop
检查网络连接数量和 socket 统计:
ss -s
cat /proc/net/sockstat
如果连接数、积压队列和服务内存同步增长,应继续核对连接是否按预期关闭、请求处理速度是否下降,以及上游是否出现重试或突发流量。ss -s 和 /proc/net/sockstat 提供的是系统视角的统计,不能单独说明是哪一个应用对象未释放。
4. 用时间序列区分正常增长与持续泄漏
单次采样不能说明内存是否持续增长。建议在相近负载下,以固定间隔记录主机可用内存、进程 RSS/PSS、cgroup 当前值、连接数和请求量;同时记录进程启动时间、版本变更及任务批次。采样间隔可从几分钟开始,按业务波动调整。
例如,某进程 RSS 从 1.8 GiB 增至 2.1 GiB、再增至 2.4 GiB,若期间请求量也持续增加,这只能说明占用与负载一起变化。若请求量回落后占用趋于稳定,可能是工作集或缓存扩张;若在相似负载周期中私有匿名内存不断抬高,且 cgroup 的 oom_kill 计数增加,才更需要沿应用内存分配路径调查。这里的数字仅用于演示判断方法,不是通用阈值。

从服务行为定位到应用根因
确认增长归属于某个服务后,把内存曲线与业务事件对齐:是否在定时任务、批量导入、流量高峰、配置变更或错误重试后出现阶梯式增长;任务结束后是否回落;进程重启后是否只是暂时恢复。还应比较线程数、连接数、文件描述符和队列长度,避免把并发增长误判成对象泄漏。
不同运行时需要查看不同内存区域:
- JVM 服务:对照进程 RSS 与堆使用情况。堆稳定而 RSS 持续上升时,应调查线程栈、直接内存、类元数据和本地库等非堆来源。
jcmd、jstat等工具适用于相应 JDK 环境;采集堆转储可能暂停服务并产生较大的磁盘文件,执行前应评估影响与敏感数据风险。 - 原生程序:结合
smaps_rollup、分配器统计和应用自身的分配分析工具,区分仍被引用的对象与分配器保留但暂未归还操作系统的内存。RSS 不下降不必然意味着对象仍在持续泄漏。 - Python、Node.js 等运行时:结合运行时堆统计、对象增长情况和任务周期判断。某些追踪或堆快照功能需要在启动时启用,或会明显消耗内存、暂停进程;应先在测试环境验证,再选择生产采集方式。
更有说服力的泄漏证据是:相近负载下,特定类型的存活对象或私有内存持续增加;一次性任务结束、队列排空后仍不回落;并且增长能够稳定复现。若只有 RSS 高、但堆和私有对象没有相应增长,应继续调查共享映射、分配器行为、直接内存或内核资源,而不是仓促归因。
进程内存曲线背后,稳定的硬件资源有助于承载持续运行的业务服务。A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,配置涵盖Xeon与AMD EPYC平台、不同容量的内存以及SSD或NVMe存储,可面向网站、数据库、接口服务和容器等负载提供部署基础。多地区资源也便于围绕业务访问区域安排服务部署。
验证恢复并保留复发线索
修复后应在与故障前相近的负载下,继续记录 MemAvailable、交换活动、进程 PSS、cgroup 内存与 OOM 计数,并覆盖至少一个完整的业务周期。恢复的依据不是进程重启后数字暂时下降,而是增长斜率趋稳、任务结束后占用符合预期、压力和 OOM 事件不再增加,且服务延迟恢复到自身正常范围。
重启进程会中断服务,也可能清除堆积现场。若确实需要重启,应先保存关键指标与日志,确认流量切换、影响范围和恢复步骤;不要把重启当成泄漏已修复的证明。复发监控至少应覆盖主机可用内存与交换速率、容器内存及限制、进程 PSS 或运行时堆、OOM 事件、连接与队列长度,并对持续上升趋势和增长速率设置告警。阈值应依据机器容量、服务基线和业务周期校准,而不是对所有服务器使用同一个数值。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6676.html



