日本服务器上Linux进程内存占用持续增长,如何判断是否存在内存泄漏?
进程的 RSS 连续上升,并不能单独证明存在内存泄漏:它可能来自正常的业务缓存、并发增加或运行时内存池,也可能只是系统把空闲内存用于文件缓存。判断日本服务器上的 Linux 进程是否泄漏,关键是把进程内存、系统可用内存、交换活动、容器限制,以及 CPU、I/O、网络和应用响应放到同一时间轴上观察。
如果在负载和流量大致稳定时,进程的匿名私有内存持续增长,回落或空闲阶段也不释放,同时系统可用内存下降、容器限制逼近,甚至伴随交换、延迟或 OOM 事件,那么泄漏的可能性会提高。反之,如果进程内存随请求量增长后趋于稳定,或增长主要来自可回收缓存,单凭 RSS 上升就下结论并不可靠。
先明确观察对象和时间窗口
先确定要观察的是哪个进程、哪个服务实例,以及它是否运行在容器或受限的 systemd 服务中。PID 可能在重启后变化,采样期间应记录进程启动时间、父进程和服务实例,避免把前后两个进程的数据拼成一条增长曲线。
日本服务器并不会改变 Linux 的内存指标定义,但时区可能让监控图、应用日志和系统日志错开。建议记录带时区的时间,并确认所有数据源使用同一时区;若平台分别显示日本时间和 UTC,先统一时间再比较事件先后。
date -Is
date -u -Is
ps -p "$PID" -o pid,ppid,comm,%cpu,%mem,rss,vsz,etimes,nlwp
建立观察窗口时,不宜只截取一次 top 输出。可以先以 30~60 秒为采样间隔,观察至少数十分钟;如果问题只在定时任务、流量高峰或批处理后出现,则要覆盖相应周期。对比时尽量选择业务量相近的时间段,并记录请求量、并发数、任务数量或队列长度。没有负载背景,内存曲线很容易被误读。
建议每个采样点同时保留以下信息:
- 进程 RSS、匿名内存、PSS 或私有内存,以及线程数。
- 系统
MemAvailable、缓存、交换空间使用量和交换进出活动。 - 容器或服务的内存用量、上限及限制事件。
- 请求量、并发、CPU、磁盘 I/O、网络流量、响应时间和错误率。
- 发布、扩容、定时任务、缓存清理、批处理等可能改变负载的事件。
指标A:区分进程实际驻留和虚拟地址空间
Linux 中常被混用的 RSS 和 VSZ 含义不同。RSS 是当前驻留在物理内存中的进程页面估算值;VSZ 是进程映射的虚拟地址空间,可能包含尚未实际驻留的区域。VSZ 很大或持续变化,不等于物理内存同样被占用。
RSS 也有边界:共享页面可能被多个进程分别计入 RSS,直接把多个进程的 RSS 相加会高估实际占用。PSS 会按共享比例分摊页面,更适合评估某个进程对系统内存的贡献;私有匿名内存持续增加,则是值得进一步检查的信号之一,但仍不是泄漏的单独证明。
先用 ps 查看进程概况,再读取 /proc 下的细项:
grep -E '^(VmRSS|VmSize|VmSwap|RssAnon|RssFile|RssShmem):' \
"/proc/$PID/status"
if [ -r "/proc/$PID/smaps_rollup" ]; then
grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Pss_Shmem|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Anonymous|Swap):' \
"/proc/$PID/smaps_rollup"
fi
smaps_rollup 是否可用取决于内核版本和权限;若不存在,可查看 /proc/$PID/smaps,但文件内容较多,建议汇总同一类字段,而不是只盯某一个映射。读取进程数据也可能因权限或进程已退出而失败,先确认 PID 对应的确是目标服务。
可以按下面的方式理解变化:
| 观察到的变化 | 可能解释 | 接下来核对什么 |
|---|---|---|
| RSS 上升,匿名私有内存也持续上升 | 堆对象、原生分配或私有映射增加 | 流量和并发是否稳定;空闲后是否回落;运行时堆指标 |
| RSS 上升,但文件映射或共享页面占比明显 | 文件映射、共享库或共享内存变化 | 对应映射类型、文件访问和共享内存使用情况 |
| VSZ 上升,RSS 基本稳定 | 虚拟地址空间保留或映射扩展 | 实际驻留页、运行时预留策略和映射区域 |
| RSS 高位保持不变,后续不再增长 | 高水位、内存池或已建立的缓存 | 是否超过预期容量;后续负载下是否继续爬升 |
| 进程 RSS 不变,但整机可用内存下降 | 其他进程、内核内存或文件缓存变化 | 同机其他进程、MemAvailable、缓存和 slab |
对于 JVM 等运行时,进程 RSS 不等于语言堆的已用量。堆可能预留空间,GC 后也不一定立即把已提交内存归还操作系统;原生库、线程栈、直接内存和内存映射同样会计入进程占用。应把运行时自己的堆、GC 或原生内存指标与 RSS 一起看,不能仅凭 RSS 判断堆泄漏。
指标B:观察系统可用内存和交换活动
free 输出里的 free 不是判断内存是否紧张的唯一依据。Linux 会把部分空闲内存用于页缓存等用途,许多缓存可以在需要时回收。排查时应重点看 available、缓存变化以及是否发生持续的交换进出。
free -h
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|SwapTotal|SwapFree):' \
/proc/meminfo
vmstat 1 60
vmstat 通常会先显示自启动以来的平均值,再显示后续采样间隔的数据;分析短期变化时,应重点看后续各行。关注 si 和 so 是否持续有值:它们反映交换读入和写出活动。已经占用了一部分 swap,不代表此刻正在发生严重交换;更应关注是否持续换入换出,并同时出现响应变慢或 I/O 增长。
系统层面的几种组合值得区分:
MemAvailable稳定,缓存随负载变化,si/so接近零:暂时没有明显的系统级内存压力。进程仍可能有缓慢泄漏,但不能据此判断已经影响整机。MemAvailable持续下降,匿名内存增加,si/so持续出现:内存压力正在加重,需要继续查明增长来自哪个进程或服务组。- 进程 RSS 稳定,但
MemAvailable下降:检查同机其他服务、文件缓存、共享内存和内核占用,不能把系统变化归因于目标进程。 - 可用内存较低,但应用延迟和交换活动都稳定:还需结合系统负载与业务响应评估,不能只按一个固定百分比判定故障。
把容器和服务的内存上限纳入观察
容器中的进程即使看到主机还有可用内存,也可能先触及容器的 cgroup 限额。因此需要同时看主机和服务所在内存组的用量、上限及事件计数。
先查看进程所属的 cgroup:
cat "/proc/$PID/cgroup"
在使用 cgroup v2 的系统上,可在对应的 /sys/fs/cgroup 路径下查看 memory.current、memory.max、memory.stat 和 memory.events。路径会随服务管理方式和容器配置变化,应根据上一步输出核对实际位置,不要假设所有进程都在同一个固定目录。
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
grep -E '^(anon|file|shmem|kernel|slab) ' /sys/fs/cgroup/memory.stat
如果这些文件不在对应路径,系统可能采用 cgroup v1,或者进程处于嵌套的 cgroup 目录。cgroup v1 常见指标名称包括 memory.usage_in_bytes、memory.limit_in_bytes 和 memory.failcnt,要先找到目标进程实际所属目录再读取。
在 cgroup v2 中,memory.events 里的 high、max、oom、oom_kill 等计数可帮助判断是否触及限制或发生 OOM 相关事件。计数是累计值,应比较采样前后的变化,而不是只看当前数字。容器内存统计也可能包含文件缓存等内容,因此它与某个进程的 RSS 不一定相等。
若服务运行在 Docker 中,docker stats 可以帮助快速查看容器级趋势,但它不能替代 cgroup 详细指标和进程级观测。应把容器用量、限制、容器内目标进程 RSS 及主机可用内存放在一起比较。
用同一时间轴连接内存、CPU、I/O和业务表现
内存增长如果尚未造成性能影响,不一定已经进入故障阶段;而响应变慢也未必是内存问题。要判断两者是否相关,应观察增长的先后顺序,并同时记录 CPU、磁盘 I/O、网络、队列和错误率。
下面是一组仅用于说明分析方法的模拟数据,不是实际监控记录。假设请求速率大体稳定,但目标进程 RSS 和匿名内存连续上升:

| 时间 | 请求速率 | RSS | 匿名内存 | 主机可用内存 | cgroup 用量/上限 | p95 响应时间 | 错误率 |
|---|---|---|---|---|---|---|---|
| 10:00 | 约 400 次/秒 | 1.2 GiB | 0.8 GiB | 7.6 GiB | 2.0/4 GiB | 120 ms | 0.1% |
| 10:20 | 约 400 次/秒 | 1.7 GiB | 1.3 GiB | 7.1 GiB | 2.5/4 GiB | 125 ms | 0.1% |
| 10:40 | 约 400 次/秒 | 2.2 GiB | 1.8 GiB | 6.6 GiB | 3.0/4 GiB | 142 ms | 0.1% |
| 11:00 | 约 400 次/秒 | 2.7 GiB | 2.3 GiB | 6.0 GiB | 3.5/4 GiB | 170 ms | 0.2% |
这组数据中,请求量相近,匿名内存和 RSS 却持续增加,cgroup 空间逐渐收窄,响应时间也开始恶化。这种联动值得优先调查,但仍不能仅凭这张表确认泄漏:还要查看是否有缓存预热、批处理、队列积压或近期部署变化。
可用 pidstat 观察进程的 CPU、内存与 I/O 指标;vmstat 观察系统运行队列、交换和阻塞情况。若安装了 sysstat,还可以结合 iostat 查看磁盘延迟:
pidstat -r -u -d -p "$PID" 60
vmstat 1 60
iostat -xz 1 60
在同一时间段还要对照应用侧指标:请求速率和并发是否增加,队列长度是否持续堆积,p95 或 p99 延迟是否变差,错误率是否上升。对于网络型服务,可查看网卡流量或连接数量;网络流量上升可能代表业务量变大,也可能是重试或异常请求导致额外负载。pidstat 中的缺页、CPU 和 I/O 变化也要结合场景解释,缺页增多不自动意味着泄漏。
如果内存上升先于延迟变化,随后出现交换活动或队列积压,内存压力可能是性能恶化的候选原因。若 CPU 已因请求量激增而升高,队列先开始增长,内存也随并发扩大,则要先判断业务负载是否超出原有容量。相关指标能建立因果候选,但仍需结合进程和运行时的数据验证。
排除“看起来像泄漏”的常见原因
流量、并发和队列发生变化
请求量增加会扩大工作集:进程可能保留更多连接、请求对象、缓存条目或并发任务。要按请求量、活动会话、并发数和队列长度比较内存,而不只是比较“几点钟”或“某次重启后”的 RSS。
若内存与并发同步上升,负载下降后逐步回落,增长可能是工作集扩张。若业务量恢复到原水平,进程内存仍持续爬升,才更值得检查对象或分配是否无法释放。对于有意保留连接池或缓存的服务,回落慢也可能是设计行为,需要查看是否有明确的上限和淘汰策略。
缓存有界增长,或内存分配器保留内存
应用缓存可能在启动、首次访问或流量增长时逐步填充,达到容量后趋稳。某些内存分配器即使应用已经释放对象,也会把内存留在进程内以供后续复用,因此 RSS 不一定立即下降。
观察重点是增长是否有上限、是否随新数据量持续增加,以及缓存命中率、条目数和淘汰次数是否与内存曲线相符。只看到一次高位驻留,不足以区分“已释放但留在分配器中”和“仍被对象引用”。
文件缓存、共享内存和映射文件变化
文件页缓存通常影响系统级内存统计,未必对应目标进程的匿名私有内存。进程通过 mmap 映射文件,也可能使 RSS 随实际访问页变化。应比较 smaps_rollup 中的匿名、文件和共享相关字段,同时查看 /proc/meminfo 的缓存变化。
若整机可用内存下降,但目标进程匿名内存没有同步增长,应扩大范围检查其他进程、内核内存和文件缓存。不要通过简单相加所有进程 RSS 来估算整机实际占用,因为共享页可能被重复计算。
运行时、周期任务和发布变化
GC、批处理、定时任务、数据导入、索引构建和缓存刷新都可能导致短时内存上涨。JVM、Go、Python 等运行时也有自己的堆和分配器行为;进程的 RSS、运行时堆已用量、堆已提交量并非同一个指标。
将曲线与发布记录、任务时间表、GC 日志和应用指标对齐。若增长总是在某项任务开始后出现,并在任务完成后稳定或回落,先评估任务峰值是否在服务限额之内。若每轮任务后基线都抬高,且后续周期重复累积,则需要进一步定位对象留存或原生内存分配。
形成判断:看趋势、组成和可重复性
可以把“疑似泄漏”作为一个逐步增强的判断,而不是由某个阈值直接触发。以下信号同时出现时,怀疑程度通常更高:

- 在请求量、并发或任务量相近的观察窗口中,目标进程 RSS 或 PSS 持续增长。
- 增长主要来自匿名私有内存,或运行时确认的堆、原生分配不断增加;缓存等已知有界用途无法解释增长。
- 负载回落或业务空闲后,内存基线仍持续抬高,经过多个相似周期也没有稳定平台。
- 主机可用内存或 cgroup 剩余空间同步减少,并出现持续交换、限制事件、延迟增加或 OOM 相关记录。
- 在另一轮相似负载下,增长趋势能够重复出现,而不是只发生一次。
排除替代解释后,再按运行时定位。JVM 可结合应用已有的堆、GC 和类对象监控;原生进程可从映射和分配器指标入手;应用级缓存则要检查条目数、容量限制和淘汰行为。运行时诊断工具可能带来暂停、额外 CPU 或磁盘占用,尤其是堆转储可能需要较大磁盘空间,也可能影响服务响应。应先评估影响范围、磁盘余量和业务时段,优先在可复现环境或低峰期采集,不要为了验证而直接在生产环境反复重启或生成大文件。
OOM 记录也要区分主机级和 cgroup 级事件。可以查看内核日志中是否出现 OOM 或进程被杀记录:
journalctl -k --since "2 hours ago" |
grep -Ei 'oom|out of memory|killed process|memory cgroup'
查到 OOM 只能证明发生过内存相关的杀进程事件,不能单独证明目标进程泄漏。应核对时间、PID、进程名、所在 cgroup、当时的系统可用内存和内存组事件计数。没有日志也不能完全排除限制压力:日志保留范围、权限和平台采集方式都可能影响可见性。
复测时保留基线和负载条件
完成一轮观测后,先保留时间戳、部署版本、进程启动时间和业务负载,再选择相近负载做复测。复测不只是看 RSS 有没有变小,而是比较同一请求量、并发和任务周期下,进程内存组成、系统可用量、cgroup 用量及业务响应是否重复出现相同趋势。
如果曲线在预热后进入平台,负载下降时系统仍有充足可用内存且服务指标稳定,可能是正常的工作集或缓存行为。如果每轮相似负载都让匿名内存基线逐步抬高,容器余量不断缩小,或空闲阶段仍无法稳定,则应保存运行时诊断数据并继续追查对象留存、缓存上限、原生分配和第三方库。
后续采样可固定为一张时间对照表:进程 RSS/PSS 与匿名私有内存、主机 MemAvailable 与 si/so、cgroup 用量与事件、CPU 与 I/O、网络和请求量、队列长度、p95/p99 延迟与错误率。这些指标使用相同的时间粒度和时区,才更容易分辨内存增长是负载的结果、性能恶化的原因,还是与故障同时出现的另一种现象。
A5idc数据提供日本物理服务器,涵盖 Xeon Gold、AMD EPYC 与 NVMe 存储配置,并有 CIA、GIA、CN2、SoftBank 等线路选项;CTG 系列还包含单路、双路及 SSD、大容量 HDD 方案。相关资源可用于部署网站、数据库、接口服务和多任务业务,为持续运行中的进程内存与系统负载观察提供服务器基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9646.html



