美国服务器上的应用频繁内存溢出,怎样区分进程泄漏与内存上限不足?

发布人:A5数据发布时间:2026-10-24 10:15阅读量:83

美国服务器上的应用频繁出现“内存溢出”,单看内存使用率或一次 OOM 日志很容易误判。真正要分辨的是:进程自身的常驻占用是否在相近负载下持续抬高,还是当前工作集随并发增长后碰到了运行时、容器或主机的内存上限。前者更接近泄漏或无法回收,后者更接近容量与上限配置不足;两种情况也可能同时存在。

判断不能脱离时间轴。应把进程 RSS/PSS、运行时堆、cgroup current/max、主机 MemAvailable、swap 活动,与 CPU/GC、磁盘 I/O、网络往返、请求响应时间、错误率和队列长度对齐。美国节点的内存管理规则并不会因为地理位置改变,但跨地域访问、上游服务延迟、实例规格和容器配额,可能改变并发量与工作集大小。

建立观察窗口:先确定边界

“内存上限不足”至少可能发生在三个层面:应用运行时、服务或容器的 cgroup,以及主机本身。先确认哪一层触发,才能避免把容器限制误认为物理内存耗尽。

触发层级常见表现核对重点
应用运行时Java、Node.js、Python 等运行时主动抛出内存异常,但操作系统未必记录 OOM Kill堆上限、堆外内存、线程栈、直接缓冲区、运行时 GC 指标
服务或容器进程 RSS 尚未占满主机内存,但服务或容器达到 memory.max、MemoryMax 或 Docker 内存限制cgroup 当前用量、上限、memory.events、容器和 sidecar 的总占用
主机或虚拟机多个进程同时占用上升,MemAvailable 降低,swap 活跃,内核日志出现 OOM Killer实例实际内存、全部进程、内核缓存、swap、内存压力 PSI
swap 压力应用响应变慢、磁盘 I/O 和 iowait 上升,但不一定已经发生 OOMswap in/out 速率、磁盘延迟、内存压力和响应时间的同步变化

例如,Java 的 -Xmx 只是 Java 堆上限,不等于进程可以使用的全部内存;Metaspace、线程栈、NIO 直接缓冲区和本地库都可能计入进程 RSS。类似地,Node.js 的 heapUsed 也不包含全部外部内存。应用日志中的“heap out of memory”和内核日志中的“killed process”属于不同层面的信号。

统一时间和采样范围

美国服务器上的主机日志、监控平台、应用日志和云平台面板可能使用不同的时区。排查前应统一使用 UTC 或明确记录时区,尤其要注意夏令时切换造成的时间错位。

观察窗口至少应包含三个阶段:

  1. 异常前的稳定阶段,用来确认基线。
  2. 内存持续上升或 OOM 发生阶段,用来观察触发条件。
  3. 流量下降、请求排空或服务恢复后的阶段,用来判断内存是否回落。

持续型问题可以按分钟采样,短时突发则应使用更细的采样粒度。关键不是固定使用某个时间间隔,而是让采样能够覆盖一次完整的“负载上升—内存变化—负载下降”过程。

指标组需要观察的指标主要用途
主机内存MemAvailable、匿名页、文件缓存、swap 使用量判断主机是否真的缺少可回收内存
进程占用RSS、PSS、RssAnon、RssFile、线程数、子进程判断增长来自进程自身、共享页还是进程树
容器和服务memory.current、memory.max、memory.events、memory.stat判断是否先触碰了 cgroup 上限
压力和 I/Oswap in/out、PSI、iowait、磁盘延迟判断内存压力是否已经传导到 I/O
工作负载RPS、在途请求数、连接数、网络 RTT、队列长度判断内存变化是否由并发和网络延迟驱动
业务结果P50/P95/P99、5xx、超时、重试、GC 停顿判断内存问题何时影响用户请求

先做只读采样

以下命令适用于常见 Linux 环境,主要用于采集信息。pidstat、iostat 属于 sysstat 工具包,未安装时应使用现有监控代替;smaps_rollup 也需要内核提供相应接口。

# 主机与进程概览
date -u
free -h
vmstat 1 5
ps -eo pid,ppid,comm,%cpu,%mem,rss,vsz,nlwp --sort=-rss | head -n 15
cat /proc/pressure/memory

针对目标进程,可以同时记录 RSS、匿名页、文件映射、swap 和 I/O:

PID=1234

pidstat -r -u -d -p "$PID" 1 5
grep -E 'VmRSS|RssAnon|RssFile|VmSwap|Threads' "/proc/$PID/status"
cat "/proc/$PID/smaps_rollup"

如果服务由 systemd 管理,可先查看服务所在的控制组和限制:

systemctl show app.service \
  -p ControlGroup \
  -p MemoryCurrent \
  -p MemoryMax

如果使用 Docker,应把容器内的进程占用和容器总占用分开看:

docker stats --no-stream app-container

cgroup v2 环境下,需要使用实际服务对应的 cgroup 路径,不应直接假定根目录就是目标服务:

stat -fc %T /sys/fs/cgroup

CG="/sys/fs/cgroup/path-to-app"
cat "$CG/memory.current"
cat "$CG/memory.max"
cat "$CG/memory.events"
grep -E '^(anon|file|shmem|slab|sock) ' "$CG/memory.stat"

memory.events 是累计计数,适合在异常前后各采集一次再比较增量。若环境使用 cgroup v1,常见字段名称会变成 memory.usage_in_bytes 和 memory.limit_in_bytes,应先确认版本再读取。

指标A:内存曲线先看趋势,不看一次峰值

Linux 的 used 并不等于“已经无法使用的内存”。文件缓存通常可以在内存紧张时回收,因此 free -h 中的 MemAvailable 比单独看 used 或 buff/cache 更有参考价值。

进程层面也不能只看 RSS。RSS 会把共享库等共享页完整计入每个进程,多个进程相加时可能重复计算;PSS 会按共享关系分摊,通常更适合判断单个进程的实际占用趋势。容器层面的 memory.current 还可能包括文件缓存、共享内存、子进程和其他 cgroup 成员的开销。

下面是用于说明判断方法的模拟监控数据,不代表实际服务器监控结果:

指标A:内存曲线先看趋势,不看一次峰值配图

时间RPSP95进程 RSS/PSS(MiB)cgroup current/max(GiB)MemAvailable(GiB)swap in/out(MiB/s)队列5xx
00:00180210 ms820 / 7600.96 / 2.006.10 / 080.2%
00:10181225 ms1,040 / 9701.18 / 2.006.00 / 090.2%
00:20179240 ms1,280 / 1,1901.41 / 2.005.90 / 0100.4%
00:30182265 ms1,520 / 1,4201.65 / 2.005.80 / 0121.1%
00:4090310 ms1,510 / 1,4101.64 / 2.005.80 / 070.7%

这组曲线中,RPS 在前 30 分钟基本稳定,RSS 和 PSS 却持续上升;流量下降后,内存没有同步回到原来的基线。主机仍有可用内存,swap 也没有明显活动,因此更需要检查进程内部对象、堆外内存、无界缓存、线程、连接和子进程。

这仍然只是“泄漏候选”,不能仅凭曲线下结论。应进一步观察以下关联:

  • JVM 重点看一次完整 GC 后的堆基线、老年代、Metaspace、直接缓冲区和线程数。GC 前的堆占用持续增加并不能单独证明泄漏,GC 后的基线持续抬高更有价值。
  • Node.js 需要区分 heapUsed、external、arrayBuffers 与 RSS。若 JavaScript 堆基本稳定而 RSS 上升,应转向检查原生模块、Buffer、线程和连接。
  • Python 的 tracemalloc 主要反映 Python 分配,不能覆盖所有 C 扩展或本地库占用。RSS 上升但 Python 分配稳定时,应检查本地内存和分配器保留。
  • 如果进程 PSS、运行时回收后的基线和线程数都持续上升,而 RPS、队列和网络流量没有相应增加,进程泄漏的可能性更高。
  • 如果只是文件缓存或分配器保留,运行时对象可能已经释放,但 RSS 不会立即下降。这属于内存驻留问题,未必等同于代码中的“不可达对象泄漏”。

指标B:把负载、压力与业务结果叠加

内存上限不足通常会与并发、队列和响应时间同步变化。下面是一组不同的模拟数据:

指标B:把负载、压力与业务结果叠加配图

时间RPS在途请求/队列P95进程 RSS/PSS(MiB)cgroup current/max(GiB)MemAvailable(GiB)swap in/out(MiB/s)5xx
00:0012080 / 12220 ms900 / 8301.05 / 1.505.80 / 00.1%
00:10240160 / 38350 ms1,100 / 1,0201.31 / 1.505.70 / 00.3%
00:20360290 / 110980 ms1,280 / 1,1901.48 / 1.505.70 / 02.4%
00:3011070 / 15260 ms960 / 8901.03 / 1.505.80 / 00.2%

这里内存、在途请求和队列随流量共同上升,cgroup 用量接近上限;负载下降后,内存和响应时间也回落。主机仍有较多 MemAvailable,因此更像是服务或容器上限不足,而不是主机物理内存耗尽。

美国服务器还要特别留意网络 RTT 对并发的影响。平均在途请求数可以用“RPS × 平均响应时间”做近似估算:

  • 200 RPS、平均响应时间 200 ms 时,在途请求约为 200 × 0.2 = 40。
  • 平均响应时间上升到 800 ms 时,在途请求约为 200 × 0.8 = 160。
  • 在 RPS 不变的情况下,额外增加约 120 个在途请求。
  • 如果每个请求平均保留 2 MiB 的业务状态、缓冲区和连接开销,额外工作集约为 120 × 2 = 240 MiB。

这只是说明机制的估算,不代表每个应用都使用 2 MiB。它解释了为什么跨地域访问、上游接口变慢或连接池排队,会让应用在相同 RPS 下消耗更多内存。此时问题可能是容量不足或缺少背压,而不是进程泄漏。

CPU、I/O 和业务指标可以帮助确认压力方向:

  • CPU 使用率和 GC 频率同时升高,但 GC 后堆基线稳定,可能是堆空间偏小或分配过于频繁。
  • swap in/out 持续上升,同时 iowait、磁盘延迟和 P95/P99 变差,说明内存压力已经转化为 I/O 等待。
  • 网络连接数、RTT、在途请求和队列同时增长,说明请求生命周期变长,单请求工作集可能正在放大。
  • 5xx、超时和重试在 memory.current 接近 memory.max 时集中出现,更符合上限触发。
  • CPU 不高不能排除泄漏。一个持续保留对象但没有频繁操作的泄漏进程,可能在 CPU 平稳时继续增长。

排除容易混淆的替代解释

观测现象可能的替代解释补充验证
buff/cache 很高文件缓存,不一定是泄漏观察 MemAvailable、文件缓存变化和分配压力下的回收情况
RSS 很高但 PSS 基本稳定共享库或共享映射页被重复计入查看 smaps_rollup、Pss 和 RssFile
堆占用下降但 RSS 不降本地分配器保留、内存碎片、直接缓冲区或线程栈对比运行时堆、PSS、匿名页、线程数和本地内存指标
进程 RSS 稳定但 cgroup 上升子进程、sidecar、共享内存、tmpfs 或文件缓存查看进程树、cgroup memory.stat 和容器成员
swap 已使用但 swap in/out 很低过去换出的冷页仍未换回,不代表当前持续抖动重点看 swap 活动速率、iowait 和 PSI
重启后内存恢复进程地址空间被清空只能说明问题存在于进程生命周期内,不能单独证明泄漏
只在高峰期 OOM峰值并发、缓存预算或外层上限不足对比高峰前后 RPS、在途请求、队列和 cgroup 事件

内核日志可以确认是否发生过操作系统或 cgroup 层面的杀进程:

sudo journalctl -k --since "30 min ago" \
  | grep -Ei 'oom|out of memory|killed process|memory cgroup'

如果日志中只有应用运行时的内存异常,而没有内核 OOM 记录,应先检查运行时堆上限和堆外内存。反过来,如果出现 oom-kill 或 Killed process,还要确认是全局 OOM 还是 cgroup OOM,不能只根据应用日志判断。

形成判断与控制性复测

可以用“边界、趋势、驱动因素”三组证据形成初步结论:

形成判断与控制性复测配图

组合证据更偏向的判断下一步核对
cgroup current 接近 max,主机 MemAvailable 仍充足,内存随并发升降服务或容器上限不足检查 memory.max、sidecar、运行时堆上限和峰值并发
负载相对稳定,PSS 和 GC 后基线持续上升,降载后仍不回落进程泄漏或持续保留内存做堆对象、原生内存、缓存、线程和连接分析
RSS 稳定,cgroup 的 file、shmem 或 slab 占用增长文件缓存、共享内存或内核相关开销查看 memory.stat、tmpfs、共享内存和容器进程
主机可用内存下降,多进程同时增长,swap 和 PSI 上升主机容量或全局内存压力排查进程排名、实例规格、缓存和内存超卖情况
运行时堆触顶,但 cgroup 和主机仍有空间应用运行时上限不足检查 -Xmx、Node 堆限制或其他运行时参数

容量规划可以用工作集拆分来估算,而不是直接套用某个百分比:

所需上限 ≈ 基线常驻内存 + 峰值并发 × 单请求内存 + 应用缓存 + 运行时/线程/本地内存 + sidecar 与共享开销 + 未观测峰值余量

例如,基线常驻内存为 650 MiB,峰值并发 300 个请求,每个请求平均占用 1.5 MiB,应用缓存为 300 MiB,运行时和线程等额外开销为 250 MiB:

  • 请求工作集:300 × 1.5 = 450 MiB。
  • 未计余量前:650 + 450 + 300 + 250 = 1,650 MiB。
  • 仅作为演示,按 20% 观察余量计算:1,650 × 1.2 = 1,980 MiB。
  • 2 GiB 等于 2,048 MiB,此时理论剩余约 68 MiB,面对流量抖动、sidecar 或未计入的本地内存,配置会比较紧张。

这个计算只能作为容量假设,实际数值需要由压测、生产采样和峰值工作集校准。提高 cgroup 上限可以作为缓解措施,但如果 PSS 或 GC 后基线仍持续增长,它只是延后下一次 OOM。

处理方向应与判断保持对应:

对于美国节点上的内存压力,A5数据提供多种物理服务器配置,涵盖常规 Xeon、AMD EPYC 及不同内存与 NVMe 存储组合,可承载网站、数据库、容器和多任务业务。美国 AMD 服务器包括 EPYC 4584PX 搭配 64GB DDR5 内存和 960GB NVMe,以及 EPYC 7713 搭配 128GB 内存和两块 1.92TB NVMe 等方案;常规系列也提供 CN2 GIA 线路选择,为不同业务负载与访问需求提供相应的硬件和网络资源。

  • 疑似进程泄漏:先保留堆、PSS、运行时和内核证据,再定位无界集合、缓存淘汰、监听器、定时器、连接、Buffer、线程和本地库。重启或临时扩大内存只能恢复服务,不能替代修复。
  • 疑似上限不足:确认主机有足够余量后,再调整容器或服务限制;同时为运行时堆、线程和堆外内存保留空间,并重新评估队列、缓存和并发控制。
  • 主机内存不足:检查所有进程和服务,不要只给目标应用增加配额。必要时调整实例规格、拆分服务或降低同机工作集。
  • 持续 swap 压力:swap 可以降低瞬时分配失败的概率,但不能当作等量 RAM 使用。若 swap in/out、iowait 和延迟长期同步升高,应优先减少内存压力或扩容。

复测时保持变量可比较

  1. 在修改配置或重启前保存一次主机、进程、cgroup、运行时和业务指标快照。若服务已经影响可用性,应先采用摘流量或滚动重启恢复,但要把它记录为临时缓解。
  2. 使用与原问题相近的流量形态,分别覆盖低负载、峰值和降载阶段,避免只验证“重启后短时间正常”。
  3. 一次只改变一个主要变量,例如只调整容器上限、只限制缓存,或只降低并发,便于观察因果关系。
  4. 连续观察多个峰谷周期,确认降载后 RSS/PSS 或 GC 后基线没有逐周期抬高。
  5. 验证 memory.events 没有新增 oom 或 oom_kill,运行时没有新的堆上限异常,队列、P95/P99、5xx 和超时也同步恢复。
  6. 同时检查冷缓存与热缓存场景。缓存预热后的内存增加可能是正常工作集,只有在超过设计边界或持续无界增长时才需要按泄漏方向处理。

下一次告警时同时观察的指标组合

不要只保留“内存使用率”一条曲线,至少应同时记录以下组合:

  • 进程与上限:RSS、PSS、运行时堆及 GC 后基线、memory.current、memory.max、memory.events。
  • 主机压力:MemAvailable、匿名页、文件缓存、swap in/out、内存 PSI、iowait 和磁盘延迟。
  • 工作负载与网络:RPS、在途请求、连接数、网络 RTT、请求体或缓冲区大小、队列长度。
  • 业务结果:P50/P95/P99、5xx、超时、重试、GC 停顿和 OOM 日志。
  • 时间上下文:发布、配置变更、缓存策略变化、流量切换和上游依赖异常的准确时间。

把这几组数据放在同一时间轴上,才能判断内存是随负载正常扩大、被某一层上限截断,还是在负载没有明显变化时持续脱离工作集增长。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5429.html

相关推荐