美国服务器上的应用频繁内存溢出,怎样区分进程泄漏与内存上限不足?
美国服务器上的应用频繁出现“内存溢出”,单看内存使用率或一次 OOM 日志很容易误判。真正要分辨的是:进程自身的常驻占用是否在相近负载下持续抬高,还是当前工作集随并发增长后碰到了运行时、容器或主机的内存上限。前者更接近泄漏或无法回收,后者更接近容量与上限配置不足;两种情况也可能同时存在。
判断不能脱离时间轴。应把进程 RSS/PSS、运行时堆、cgroup current/max、主机 MemAvailable、swap 活动,与 CPU/GC、磁盘 I/O、网络往返、请求响应时间、错误率和队列长度对齐。美国节点的内存管理规则并不会因为地理位置改变,但跨地域访问、上游服务延迟、实例规格和容器配额,可能改变并发量与工作集大小。
建立观察窗口:先确定边界
“内存上限不足”至少可能发生在三个层面:应用运行时、服务或容器的 cgroup,以及主机本身。先确认哪一层触发,才能避免把容器限制误认为物理内存耗尽。
| 触发层级 | 常见表现 | 核对重点 |
|---|---|---|
| 应用运行时 | Java、Node.js、Python 等运行时主动抛出内存异常,但操作系统未必记录 OOM Kill | 堆上限、堆外内存、线程栈、直接缓冲区、运行时 GC 指标 |
| 服务或容器 | 进程 RSS 尚未占满主机内存,但服务或容器达到 memory.max、MemoryMax 或 Docker 内存限制 | cgroup 当前用量、上限、memory.events、容器和 sidecar 的总占用 |
| 主机或虚拟机 | 多个进程同时占用上升,MemAvailable 降低,swap 活跃,内核日志出现 OOM Killer | 实例实际内存、全部进程、内核缓存、swap、内存压力 PSI |
| swap 压力 | 应用响应变慢、磁盘 I/O 和 iowait 上升,但不一定已经发生 OOM | swap in/out 速率、磁盘延迟、内存压力和响应时间的同步变化 |
例如,Java 的 -Xmx 只是 Java 堆上限,不等于进程可以使用的全部内存;Metaspace、线程栈、NIO 直接缓冲区和本地库都可能计入进程 RSS。类似地,Node.js 的 heapUsed 也不包含全部外部内存。应用日志中的“heap out of memory”和内核日志中的“killed process”属于不同层面的信号。
统一时间和采样范围
美国服务器上的主机日志、监控平台、应用日志和云平台面板可能使用不同的时区。排查前应统一使用 UTC 或明确记录时区,尤其要注意夏令时切换造成的时间错位。
观察窗口至少应包含三个阶段:
- 异常前的稳定阶段,用来确认基线。
- 内存持续上升或 OOM 发生阶段,用来观察触发条件。
- 流量下降、请求排空或服务恢复后的阶段,用来判断内存是否回落。
持续型问题可以按分钟采样,短时突发则应使用更细的采样粒度。关键不是固定使用某个时间间隔,而是让采样能够覆盖一次完整的“负载上升—内存变化—负载下降”过程。
| 指标组 | 需要观察的指标 | 主要用途 |
|---|---|---|
| 主机内存 | MemAvailable、匿名页、文件缓存、swap 使用量 | 判断主机是否真的缺少可回收内存 |
| 进程占用 | RSS、PSS、RssAnon、RssFile、线程数、子进程 | 判断增长来自进程自身、共享页还是进程树 |
| 容器和服务 | memory.current、memory.max、memory.events、memory.stat | 判断是否先触碰了 cgroup 上限 |
| 压力和 I/O | swap in/out、PSI、iowait、磁盘延迟 | 判断内存压力是否已经传导到 I/O |
| 工作负载 | RPS、在途请求数、连接数、网络 RTT、队列长度 | 判断内存变化是否由并发和网络延迟驱动 |
| 业务结果 | P50/P95/P99、5xx、超时、重试、GC 停顿 | 判断内存问题何时影响用户请求 |
先做只读采样
以下命令适用于常见 Linux 环境,主要用于采集信息。pidstat、iostat 属于 sysstat 工具包,未安装时应使用现有监控代替;smaps_rollup 也需要内核提供相应接口。
# 主机与进程概览
date -u
free -h
vmstat 1 5
ps -eo pid,ppid,comm,%cpu,%mem,rss,vsz,nlwp --sort=-rss | head -n 15
cat /proc/pressure/memory
针对目标进程,可以同时记录 RSS、匿名页、文件映射、swap 和 I/O:
PID=1234
pidstat -r -u -d -p "$PID" 1 5
grep -E 'VmRSS|RssAnon|RssFile|VmSwap|Threads' "/proc/$PID/status"
cat "/proc/$PID/smaps_rollup"
如果服务由 systemd 管理,可先查看服务所在的控制组和限制:
systemctl show app.service \
-p ControlGroup \
-p MemoryCurrent \
-p MemoryMax
如果使用 Docker,应把容器内的进程占用和容器总占用分开看:
docker stats --no-stream app-container
cgroup v2 环境下,需要使用实际服务对应的 cgroup 路径,不应直接假定根目录就是目标服务:
stat -fc %T /sys/fs/cgroup
CG="/sys/fs/cgroup/path-to-app"
cat "$CG/memory.current"
cat "$CG/memory.max"
cat "$CG/memory.events"
grep -E '^(anon|file|shmem|slab|sock) ' "$CG/memory.stat"
memory.events 是累计计数,适合在异常前后各采集一次再比较增量。若环境使用 cgroup v1,常见字段名称会变成 memory.usage_in_bytes 和 memory.limit_in_bytes,应先确认版本再读取。
指标A:内存曲线先看趋势,不看一次峰值
Linux 的 used 并不等于“已经无法使用的内存”。文件缓存通常可以在内存紧张时回收,因此 free -h 中的 MemAvailable 比单独看 used 或 buff/cache 更有参考价值。
进程层面也不能只看 RSS。RSS 会把共享库等共享页完整计入每个进程,多个进程相加时可能重复计算;PSS 会按共享关系分摊,通常更适合判断单个进程的实际占用趋势。容器层面的 memory.current 还可能包括文件缓存、共享内存、子进程和其他 cgroup 成员的开销。
下面是用于说明判断方法的模拟监控数据,不代表实际服务器监控结果:

| 时间 | RPS | P95 | 进程 RSS/PSS(MiB) | cgroup current/max(GiB) | MemAvailable(GiB) | swap in/out(MiB/s) | 队列 | 5xx |
|---|---|---|---|---|---|---|---|---|
| 00:00 | 180 | 210 ms | 820 / 760 | 0.96 / 2.00 | 6.1 | 0 / 0 | 8 | 0.2% |
| 00:10 | 181 | 225 ms | 1,040 / 970 | 1.18 / 2.00 | 6.0 | 0 / 0 | 9 | 0.2% |
| 00:20 | 179 | 240 ms | 1,280 / 1,190 | 1.41 / 2.00 | 5.9 | 0 / 0 | 10 | 0.4% |
| 00:30 | 182 | 265 ms | 1,520 / 1,420 | 1.65 / 2.00 | 5.8 | 0 / 0 | 12 | 1.1% |
| 00:40 | 90 | 310 ms | 1,510 / 1,410 | 1.64 / 2.00 | 5.8 | 0 / 0 | 7 | 0.7% |
这组曲线中,RPS 在前 30 分钟基本稳定,RSS 和 PSS 却持续上升;流量下降后,内存没有同步回到原来的基线。主机仍有可用内存,swap 也没有明显活动,因此更需要检查进程内部对象、堆外内存、无界缓存、线程、连接和子进程。
这仍然只是“泄漏候选”,不能仅凭曲线下结论。应进一步观察以下关联:
- JVM 重点看一次完整 GC 后的堆基线、老年代、Metaspace、直接缓冲区和线程数。GC 前的堆占用持续增加并不能单独证明泄漏,GC 后的基线持续抬高更有价值。
- Node.js 需要区分
heapUsed、external、arrayBuffers与 RSS。若 JavaScript 堆基本稳定而 RSS 上升,应转向检查原生模块、Buffer、线程和连接。 - Python 的
tracemalloc主要反映 Python 分配,不能覆盖所有 C 扩展或本地库占用。RSS 上升但 Python 分配稳定时,应检查本地内存和分配器保留。 - 如果进程 PSS、运行时回收后的基线和线程数都持续上升,而 RPS、队列和网络流量没有相应增加,进程泄漏的可能性更高。
- 如果只是文件缓存或分配器保留,运行时对象可能已经释放,但 RSS 不会立即下降。这属于内存驻留问题,未必等同于代码中的“不可达对象泄漏”。
指标B:把负载、压力与业务结果叠加
内存上限不足通常会与并发、队列和响应时间同步变化。下面是一组不同的模拟数据:

| 时间 | RPS | 在途请求/队列 | P95 | 进程 RSS/PSS(MiB) | cgroup current/max(GiB) | MemAvailable(GiB) | swap in/out(MiB/s) | 5xx |
|---|---|---|---|---|---|---|---|---|
| 00:00 | 120 | 80 / 12 | 220 ms | 900 / 830 | 1.05 / 1.50 | 5.8 | 0 / 0 | 0.1% |
| 00:10 | 240 | 160 / 38 | 350 ms | 1,100 / 1,020 | 1.31 / 1.50 | 5.7 | 0 / 0 | 0.3% |
| 00:20 | 360 | 290 / 110 | 980 ms | 1,280 / 1,190 | 1.48 / 1.50 | 5.7 | 0 / 0 | 2.4% |
| 00:30 | 110 | 70 / 15 | 260 ms | 960 / 890 | 1.03 / 1.50 | 5.8 | 0 / 0 | 0.2% |
这里内存、在途请求和队列随流量共同上升,cgroup 用量接近上限;负载下降后,内存和响应时间也回落。主机仍有较多 MemAvailable,因此更像是服务或容器上限不足,而不是主机物理内存耗尽。
美国服务器还要特别留意网络 RTT 对并发的影响。平均在途请求数可以用“RPS × 平均响应时间”做近似估算:
- 200 RPS、平均响应时间 200 ms 时,在途请求约为 200 × 0.2 = 40。
- 平均响应时间上升到 800 ms 时,在途请求约为 200 × 0.8 = 160。
- 在 RPS 不变的情况下,额外增加约 120 个在途请求。
- 如果每个请求平均保留 2 MiB 的业务状态、缓冲区和连接开销,额外工作集约为 120 × 2 = 240 MiB。
这只是说明机制的估算,不代表每个应用都使用 2 MiB。它解释了为什么跨地域访问、上游接口变慢或连接池排队,会让应用在相同 RPS 下消耗更多内存。此时问题可能是容量不足或缺少背压,而不是进程泄漏。
CPU、I/O 和业务指标可以帮助确认压力方向:
- CPU 使用率和 GC 频率同时升高,但 GC 后堆基线稳定,可能是堆空间偏小或分配过于频繁。
- swap in/out 持续上升,同时 iowait、磁盘延迟和 P95/P99 变差,说明内存压力已经转化为 I/O 等待。
- 网络连接数、RTT、在途请求和队列同时增长,说明请求生命周期变长,单请求工作集可能正在放大。
- 5xx、超时和重试在
memory.current接近memory.max时集中出现,更符合上限触发。 - CPU 不高不能排除泄漏。一个持续保留对象但没有频繁操作的泄漏进程,可能在 CPU 平稳时继续增长。
排除容易混淆的替代解释
| 观测现象 | 可能的替代解释 | 补充验证 |
|---|---|---|
buff/cache 很高 | 文件缓存,不一定是泄漏 | 观察 MemAvailable、文件缓存变化和分配压力下的回收情况 |
| RSS 很高但 PSS 基本稳定 | 共享库或共享映射页被重复计入 | 查看 smaps_rollup、Pss 和 RssFile |
| 堆占用下降但 RSS 不降 | 本地分配器保留、内存碎片、直接缓冲区或线程栈 | 对比运行时堆、PSS、匿名页、线程数和本地内存指标 |
| 进程 RSS 稳定但 cgroup 上升 | 子进程、sidecar、共享内存、tmpfs 或文件缓存 | 查看进程树、cgroup memory.stat 和容器成员 |
| swap 已使用但 swap in/out 很低 | 过去换出的冷页仍未换回,不代表当前持续抖动 | 重点看 swap 活动速率、iowait 和 PSI |
| 重启后内存恢复 | 进程地址空间被清空 | 只能说明问题存在于进程生命周期内,不能单独证明泄漏 |
| 只在高峰期 OOM | 峰值并发、缓存预算或外层上限不足 | 对比高峰前后 RPS、在途请求、队列和 cgroup 事件 |
内核日志可以确认是否发生过操作系统或 cgroup 层面的杀进程:
sudo journalctl -k --since "30 min ago" \
| grep -Ei 'oom|out of memory|killed process|memory cgroup'
如果日志中只有应用运行时的内存异常,而没有内核 OOM 记录,应先检查运行时堆上限和堆外内存。反过来,如果出现 oom-kill 或 Killed process,还要确认是全局 OOM 还是 cgroup OOM,不能只根据应用日志判断。
形成判断与控制性复测
可以用“边界、趋势、驱动因素”三组证据形成初步结论:

| 组合证据 | 更偏向的判断 | 下一步核对 |
|---|---|---|
cgroup current 接近 max,主机 MemAvailable 仍充足,内存随并发升降 | 服务或容器上限不足 | 检查 memory.max、sidecar、运行时堆上限和峰值并发 |
| 负载相对稳定,PSS 和 GC 后基线持续上升,降载后仍不回落 | 进程泄漏或持续保留内存 | 做堆对象、原生内存、缓存、线程和连接分析 |
| RSS 稳定,cgroup 的 file、shmem 或 slab 占用增长 | 文件缓存、共享内存或内核相关开销 | 查看 memory.stat、tmpfs、共享内存和容器进程 |
| 主机可用内存下降,多进程同时增长,swap 和 PSI 上升 | 主机容量或全局内存压力 | 排查进程排名、实例规格、缓存和内存超卖情况 |
| 运行时堆触顶,但 cgroup 和主机仍有空间 | 应用运行时上限不足 | 检查 -Xmx、Node 堆限制或其他运行时参数 |
容量规划可以用工作集拆分来估算,而不是直接套用某个百分比:
所需上限 ≈ 基线常驻内存 + 峰值并发 × 单请求内存 + 应用缓存 + 运行时/线程/本地内存 + sidecar 与共享开销 + 未观测峰值余量
例如,基线常驻内存为 650 MiB,峰值并发 300 个请求,每个请求平均占用 1.5 MiB,应用缓存为 300 MiB,运行时和线程等额外开销为 250 MiB:
- 请求工作集:300 × 1.5 = 450 MiB。
- 未计余量前:650 + 450 + 300 + 250 = 1,650 MiB。
- 仅作为演示,按 20% 观察余量计算:1,650 × 1.2 = 1,980 MiB。
- 2 GiB 等于 2,048 MiB,此时理论剩余约 68 MiB,面对流量抖动、sidecar 或未计入的本地内存,配置会比较紧张。
这个计算只能作为容量假设,实际数值需要由压测、生产采样和峰值工作集校准。提高 cgroup 上限可以作为缓解措施,但如果 PSS 或 GC 后基线仍持续增长,它只是延后下一次 OOM。
处理方向应与判断保持对应:
对于美国节点上的内存压力,A5数据提供多种物理服务器配置,涵盖常规 Xeon、AMD EPYC 及不同内存与 NVMe 存储组合,可承载网站、数据库、容器和多任务业务。美国 AMD 服务器包括 EPYC 4584PX 搭配 64GB DDR5 内存和 960GB NVMe,以及 EPYC 7713 搭配 128GB 内存和两块 1.92TB NVMe 等方案;常规系列也提供 CN2 GIA 线路选择,为不同业务负载与访问需求提供相应的硬件和网络资源。
- 疑似进程泄漏:先保留堆、PSS、运行时和内核证据,再定位无界集合、缓存淘汰、监听器、定时器、连接、Buffer、线程和本地库。重启或临时扩大内存只能恢复服务,不能替代修复。
- 疑似上限不足:确认主机有足够余量后,再调整容器或服务限制;同时为运行时堆、线程和堆外内存保留空间,并重新评估队列、缓存和并发控制。
- 主机内存不足:检查所有进程和服务,不要只给目标应用增加配额。必要时调整实例规格、拆分服务或降低同机工作集。
- 持续 swap 压力:swap 可以降低瞬时分配失败的概率,但不能当作等量 RAM 使用。若 swap in/out、iowait 和延迟长期同步升高,应优先减少内存压力或扩容。
复测时保持变量可比较
- 在修改配置或重启前保存一次主机、进程、cgroup、运行时和业务指标快照。若服务已经影响可用性,应先采用摘流量或滚动重启恢复,但要把它记录为临时缓解。
- 使用与原问题相近的流量形态,分别覆盖低负载、峰值和降载阶段,避免只验证“重启后短时间正常”。
- 一次只改变一个主要变量,例如只调整容器上限、只限制缓存,或只降低并发,便于观察因果关系。
- 连续观察多个峰谷周期,确认降载后 RSS/PSS 或 GC 后基线没有逐周期抬高。
- 验证
memory.events没有新增oom或oom_kill,运行时没有新的堆上限异常,队列、P95/P99、5xx 和超时也同步恢复。 - 同时检查冷缓存与热缓存场景。缓存预热后的内存增加可能是正常工作集,只有在超过设计边界或持续无界增长时才需要按泄漏方向处理。
下一次告警时同时观察的指标组合
不要只保留“内存使用率”一条曲线,至少应同时记录以下组合:
- 进程与上限:RSS、PSS、运行时堆及 GC 后基线、
memory.current、memory.max、memory.events。 - 主机压力:
MemAvailable、匿名页、文件缓存、swap in/out、内存 PSI、iowait 和磁盘延迟。 - 工作负载与网络:RPS、在途请求、连接数、网络 RTT、请求体或缓冲区大小、队列长度。
- 业务结果:P50/P95/P99、5xx、超时、重试、GC 停顿和 OOM 日志。
- 时间上下文:发布、配置变更、缓存策略变化、流量切换和上游依赖异常的准确时间。
把这几组数据放在同一时间轴上,才能判断内存是随负载正常扩大、被某一层上限截断,还是在负载没有明显变化时持续脱离工作集增长。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5429.html


