服务器上Java进程内存持续增长但堆占用稳定,如何排查JVM堆外内存?

发布人:A5数据发布时间:2026-11-16 13:44阅读量:15

Java 进程的堆使用量稳定,不代表进程总内存没有增长。堆外内存、线程栈、元空间、JIT 代码缓存、JNI 或第三方库分配,以及文件映射,都可能让进程的常驻内存(RSS)继续上升。排查时应先确认增长发生在 Java 进程还是容器、主机层面,再对照 JVM 与操作系统的内存账目;只凭“堆没涨”或“RSS 在涨”都不足以断定是直接内存泄漏。

这类增长可能导致容器触及内存限制、主机开始使用交换空间,甚至被内核终止。先保留进程内存、JVM 指标和容器事件的时间序列,再判断是哪类内存随时间增加。若已经出现内存压力,不要先通过调大堆或直接重启掩盖症状:堆可能并非占用来源,而重启会丢失有助于定位的现场。

先确认增长发生在哪里

记录同一时间点的堆使用量、进程 RSS、容器内存和主机可用内存。若只有容器总内存增长,而目标 Java 进程 RSS 稳定,应检查同一容器中的其他进程、文件缓存和内核内存;若进程 RSS 增长而堆使用量稳定,再进入 JVM 与进程映射分析。

在 Linux 上,可先做低风险只读检查:

PID=12345

ps -p "$PID" -o pid,rss,vsz,comm
grep -E 'VmRSS|VmSize|VmSwap|Threads' "/proc/$PID/status"

ps 输出中的 RSS 通常以 KiB 计,表示当前驻留在物理内存中的页面;VSZ 是进程虚拟地址空间大小,不等于实际占用。VmSwap 可辅助判断该进程是否有页面被换出,但并不代表机器整体的交换空间状态。

若系统提供 smaps_rollup,可查看进程映射汇总:

cat "/proc/$PID/smaps_rollup"

重点关注 Rss、Pss、Anonymous、Private_Dirty、Shared_Clean 等字段。RSS 会把共享页面计入每个映射它的进程;PSS 会按共享比例分摊,更适合估算单个进程实际承担的物理页。文件映射的页面进入 RSS,不一定是 Java 堆或本地堆分配。

同时检查主机和容器的内存压力:

free -h
vmstat 1 5
cat /proc/"$PID"/cgroup

容器环境应根据 /proc/$PID/cgroup 找到进程实际所属的控制组,再读取对应的 cgroup 内存文件。cgroup v2 常见指标包括 memory.current、memory.max、memory.stat 和 memory.events;v1 的文件名和目录结构不同。不要直接假设容器根目录下的指标就是目标进程所属控制组的数据。

memory.current 是控制组层面的总量,可能包含多个进程以及文件缓存等开销,不应与 Java 进程 RSS 直接画等号。memory.stat 中的 anon 增长更偏向匿名内存,file 增长则提示文件缓存或映射页面也值得检查。若 memory.events 中的 oom 或 oom_kill 计数增加,应结合容器限制和时间点确认是否发生过内存压力或 OOM 处置。

建立进程内存原因树

确认 Java 进程 RSS 确实持续上升后,可按操作系统映射和 JVM 指标建立候选范围。下面的对应关系用于缩小范围,不能单独作为定论。

建立进程内存原因树配图

观察结果优先检查的方向需要注意的边界
匿名 RSS 增长,NMT 中某类 committed 同步增长线程、元空间、直接缓冲区或 JVM 内部结构NMT committed 不等于实际驻留页
匿名 RSS 增长,但 NMT 对应项稳定JNI、第三方本地库、分配器缓存或 NMT 未覆盖的分配需要结合映射、组件指标或本地内存分析工具
文件映射 RSS 增长,file 也增长映射文件、文件缓存、共享内存页面变驻留不一定代表发生泄漏
线程数和线程相关占用同步增长线程池扩张、线程未退出或线程创建失控栈虚拟预留不等于全部成为 RSS
元空间与已加载类、类加载器数量持续增长动态生成类或类加载器未释放需排除正常的启动预热和业务波峰
堆稳定、直接缓冲区指标增长NIO、网络框架或缓存池池化内存保留可能是设计行为,不必然是泄漏

JVM 堆指标应分别观察已用、已提交和最大值。已用堆稳定而已提交堆上升,说明 JVM 可能调整了堆的提交量,但这本身仍不能解释全部 RSS。可使用:

jcmd "$PID" GC.heap_info

如已启用相应监控,也可从 JMX 或现有监控系统读取堆使用量、GC 次数和暂停时间。观察时应覆盖应用启动、流量变化、GC 后和内存增长阶段,避免拿一次采样推断长期趋势。

用 NMT 判断 JVM 管理的本地内存变化

HotSpot 的 Native Memory Tracking(NMT)可按 JVM 内部分类观察本地内存的预留和提交变化。它必须在 JVM 启动时启用;运行中通常不能补开。若当前实例未启用,应在评估重启窗口后,为后续实例配置并采集基线,而不是把“没有 NMT 数据”解读为“没有本地内存增长”。

启动参数示例:

-XX:NativeMemoryTracking=summary

启用后可先记录基线,再观察一段时间后的差异:

jcmd "$PID" VM.native_memory summary scale=MB
jcmd "$PID" VM.native_memory baseline
# 间隔一段时间后再次检查
jcmd "$PID" VM.native_memory summary.diff scale=MB

NMT 报告中的 reserved 是地址空间预留量,committed 是 JVM 已提交管理的量;两者都不能直接当作 RSS。若 Thread、Class、Code 等类别随时间增长,可据此进入相应分支;若 NMT 汇总基本稳定而进程匿名 RSS 上升,则要提高对 JNI、第三方库、分配器行为和其他未被 NMT 完整跟踪分配的关注度。

NMT 会带来额外的跟踪开销,使用前应评估运行环境和负载要求。detail 模式提供更多信息,但通常也有更高开销,不宜未经评估就用于所有生产实例。NMT 是定位线索,不是覆盖所有本地内存分配的完整账本。

分支一:直接缓冲区与池化缓存

Java NIO 的直接 ByteBuffer、网络组件和一些缓存框架可能使用堆外内存。先检查 JVM 的缓冲区池指标,例如通过 JMX BufferPoolMXBean 观察 direct 池的 count、totalCapacity 和 memoryUsed。如果这些指标与 RSS 同步上升,进一步对照应用中的请求量、连接数、缓存命中与淘汰情况,以及框架自身的分配器指标。

判断时区分“持续增长”和“达到高水位后稳定”。池化实现通常会复用已分配内存,流量高峰后不立即归还操作系统,因此 RSS 暂时不下降不一定表示泄漏。若池的占用随业务负载上升后长期不回落,且对象或缓冲区持有量不断增加,才更支持存在未释放或无界缓存问题。

-XX:MaxDirectMemorySize 可以限制部分直接缓冲区分配,但调小上限可能让原本运行正常的服务更早出现直接内存分配失败;调大上限也不会增加容器的物理内存预算。只有确认直接内存是主要占用来源,并结合容器余量和业务峰值评估后,才考虑调整上限。还应核实所用框架是否通过 JVM 直接缓冲区机制分配内存,因为某些本地分配路径不一定由同一限制完整约束。

分支二:线程数、元空间与 JVM 内部区域

线程数量持续增加时,先检查线程数是否与线程池配置、任务堆积或连接数变化一致:

ps -L -p "$PID" --no-headers | wc -l
jcmd "$PID" Thread.print

线程栈会占用虚拟地址空间,但其中只有实际触碰的页面才会成为 RSS。不要把 -Xss 乘以线程数后直接当成实际物理内存;反过来,线程过多仍可能带来实际栈页面增长和本地线程创建失败。若线程数持续上升,检查线程池是否有上限、任务是否阻塞,以及线程是否因异常路径未能结束。Thread.print 可能产生较多输出,繁忙生产环境中应先评估采集影响,并避免无间隔重复执行。

元空间增长则关注已加载类数量、类加载器数量和 NMT 的 Class 类别。可结合:

jcmd "$PID" VM.classloader_stats

启动阶段动态生成类或加载大量业务类,可能造成正常的短期增长;若业务负载趋稳后,类加载器数量和元空间仍不断增加,应排查重复部署、热加载机制、反射代理生成或应用对象对类加载器的长期引用。确认原因前,不要只用调大元空间上限来处理:这可能延后故障出现,却不能消除持续增长。

JIT 代码缓存、GC 结构和其他 JVM 内部区域也可能变化。若 NMT 中这些类别增长,可结合 JVM 版本、垃圾收集器、编译活动和运行阶段判断是否符合预期。不同 JDK 版本的命令输出与可用指标可能不同,执行前可用 jcmd "$PID" help 核实目标实例支持的诊断命令。

分支三:JNI、本地库与分配器行为

如果匿名 RSS 明显增长,但 NMT、线程、元空间和直接缓冲区指标都没有对应增长,应检查 JNI 调用、压缩或加密库、数据库驱动、图像处理组件,以及其他包含本地代码的依赖。此时仅靠 Java 堆直方图通常看不到相应分配。

可将 /proc/$PID/smaps_rollup 汇总与详细映射中的匿名区域对照,关注 Anonymous 和 Private_Dirty 的变化;结合应用组件指标或本地内存分析工具进一步定位。某些分配器会保留已经释放的内存供后续复用,导致 RSS 不立即下降。若应用分配量已经稳定、匿名 RSS 在高水位后保持平台,可能是分配器缓存或碎片;若 RSS 还在随请求数、处理时长持续爬升,则应继续寻找仍在增长的分配路径。

确认具体组件前,不建议贸然更换系统分配器或调整其全局参数。这类改动可能影响整个进程的内存行为,应先在可回退的测试环境对比,并保留变更前后的 RSS、延迟、吞吐和错误率数据。

分支四:映射文件与容器文件缓存

文件映射、共享内存或读取大文件,可能让进程 RSS 或容器 file 指标上升。通过 smaps 中的映射路径和 Rss、Pss 等字段辨认哪些文件映射了驻留页面,并与文件访问、索引加载或缓存预热时间关联。对于映射文件,驻留页面可以被操作系统回收;单次 RSS 上升不能说明 Java 对象泄漏。

若容器总内存上升、目标进程 RSS 稳定,应优先核对同一控制组中的进程、文件缓存和内核内存。若 memory.current 接近 memory.max,即使 Java 堆没有接近 -Xmx,容器仍可能触及限制。调高 JVM 堆上限不仅不能解决文件缓存或本地分配增长,还可能挤压堆外内存的余量。

根据错误类型确认故障边界

不同的内存故障留下的信号并不相同:

  • java.lang.OutOfMemoryError: Java heap space 指向堆内对象分配失败,需结合堆使用量和对象分析确认。
  • java.lang.OutOfMemoryError: Direct buffer memory 提示直接缓冲区分配失败,但仍应检查分配来源、池化情况和上限配置。
  • unable to create native thread 常与线程创建失败或可用本地资源不足有关,需结合线程数、系统限制和容器余量判断。
  • 容器发生 OOM kill 时,Java 进程可能没有机会输出常规 Java 堆溢出异常。应检查 memory.events、容器运行时事件和内核日志;读取系统日志可能需要相应权限。
  • 主机交换空间使用上升、vmstat 中持续出现换入换出,说明系统受到内存压力,但不能单独证明问题由某一个 Java 进程造成。

不要仅因进程曾出现一次内存峰值就立即生成大体积堆转储。堆转储适用于堆内对象问题,文件可能占用大量磁盘空间并影响应用;对 RSS 增长但堆稳定的问题,堆转储未必能捕捉到主要占用来源。

定位后验证修复效果

修复应对应已经获得证据的增长分支:线程持续增多,就限制或修正线程生命周期;直接缓冲区持续累积,就查找未释放路径或无界池;类加载器与元空间持续增长,就处理类加载器引用或动态生成行为;文件映射和缓存增长,则评估其上限、生命周期及容器可用余量。若需要重启,尽量先采集重启前的 RSS、NMT、线程数、缓冲池指标和 cgroup 状态,便于与重启后的趋势对比。

验证时不要只看 RSS 是否瞬间下降。观察相同业务负载下堆使用量、RSS、NMT 类别、线程数、缓冲池容量、容器 memory.current 和 OOM 事件是否趋于稳定;同时关注延迟、吞吐及错误率。建议按固定间隔保留趋势数据,并记录应用版本、JDK 版本、容器内存限制和变更时间。若某项指标随负载上升后能够稳定,且容器始终保有合理余量,通常比单次采样值更能说明修复是否有效。

围绕 Java 服务的运行与内存资源需求,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等平台,并提供不同内存、SSD/NVMe 存储及网络线路方案,可用于部署业务后台、数据库和容器服务。多种硬件组合适配不同的数据规模、任务负载与访问区域,为应用运行环境提供相应的计算和存储资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9820.html

相关推荐