服务器上Java进程内存持续增长但堆占用稳定,如何排查JVM堆外内存?
Java 进程的堆使用量稳定,不代表进程总内存没有增长。堆外内存、线程栈、元空间、JIT 代码缓存、JNI 或第三方库分配,以及文件映射,都可能让进程的常驻内存(RSS)继续上升。排查时应先确认增长发生在 Java 进程还是容器、主机层面,再对照 JVM 与操作系统的内存账目;只凭“堆没涨”或“RSS 在涨”都不足以断定是直接内存泄漏。
这类增长可能导致容器触及内存限制、主机开始使用交换空间,甚至被内核终止。先保留进程内存、JVM 指标和容器事件的时间序列,再判断是哪类内存随时间增加。若已经出现内存压力,不要先通过调大堆或直接重启掩盖症状:堆可能并非占用来源,而重启会丢失有助于定位的现场。
先确认增长发生在哪里
记录同一时间点的堆使用量、进程 RSS、容器内存和主机可用内存。若只有容器总内存增长,而目标 Java 进程 RSS 稳定,应检查同一容器中的其他进程、文件缓存和内核内存;若进程 RSS 增长而堆使用量稳定,再进入 JVM 与进程映射分析。
在 Linux 上,可先做低风险只读检查:
PID=12345
ps -p "$PID" -o pid,rss,vsz,comm
grep -E 'VmRSS|VmSize|VmSwap|Threads' "/proc/$PID/status"
ps 输出中的 RSS 通常以 KiB 计,表示当前驻留在物理内存中的页面;VSZ 是进程虚拟地址空间大小,不等于实际占用。VmSwap 可辅助判断该进程是否有页面被换出,但并不代表机器整体的交换空间状态。
若系统提供 smaps_rollup,可查看进程映射汇总:
cat "/proc/$PID/smaps_rollup"
重点关注 Rss、Pss、Anonymous、Private_Dirty、Shared_Clean 等字段。RSS 会把共享页面计入每个映射它的进程;PSS 会按共享比例分摊,更适合估算单个进程实际承担的物理页。文件映射的页面进入 RSS,不一定是 Java 堆或本地堆分配。
同时检查主机和容器的内存压力:
free -h
vmstat 1 5
cat /proc/"$PID"/cgroup
容器环境应根据 /proc/$PID/cgroup 找到进程实际所属的控制组,再读取对应的 cgroup 内存文件。cgroup v2 常见指标包括 memory.current、memory.max、memory.stat 和 memory.events;v1 的文件名和目录结构不同。不要直接假设容器根目录下的指标就是目标进程所属控制组的数据。
memory.current 是控制组层面的总量,可能包含多个进程以及文件缓存等开销,不应与 Java 进程 RSS 直接画等号。memory.stat 中的 anon 增长更偏向匿名内存,file 增长则提示文件缓存或映射页面也值得检查。若 memory.events 中的 oom 或 oom_kill 计数增加,应结合容器限制和时间点确认是否发生过内存压力或 OOM 处置。
建立进程内存原因树
确认 Java 进程 RSS 确实持续上升后,可按操作系统映射和 JVM 指标建立候选范围。下面的对应关系用于缩小范围,不能单独作为定论。

| 观察结果 | 优先检查的方向 | 需要注意的边界 |
|---|---|---|
| 匿名 RSS 增长,NMT 中某类 committed 同步增长 | 线程、元空间、直接缓冲区或 JVM 内部结构 | NMT committed 不等于实际驻留页 |
| 匿名 RSS 增长,但 NMT 对应项稳定 | JNI、第三方本地库、分配器缓存或 NMT 未覆盖的分配 | 需要结合映射、组件指标或本地内存分析工具 |
文件映射 RSS 增长,file 也增长 | 映射文件、文件缓存、共享内存 | 页面变驻留不一定代表发生泄漏 |
| 线程数和线程相关占用同步增长 | 线程池扩张、线程未退出或线程创建失控 | 栈虚拟预留不等于全部成为 RSS |
| 元空间与已加载类、类加载器数量持续增长 | 动态生成类或类加载器未释放 | 需排除正常的启动预热和业务波峰 |
| 堆稳定、直接缓冲区指标增长 | NIO、网络框架或缓存池 | 池化内存保留可能是设计行为,不必然是泄漏 |
JVM 堆指标应分别观察已用、已提交和最大值。已用堆稳定而已提交堆上升,说明 JVM 可能调整了堆的提交量,但这本身仍不能解释全部 RSS。可使用:
jcmd "$PID" GC.heap_info
如已启用相应监控,也可从 JMX 或现有监控系统读取堆使用量、GC 次数和暂停时间。观察时应覆盖应用启动、流量变化、GC 后和内存增长阶段,避免拿一次采样推断长期趋势。
用 NMT 判断 JVM 管理的本地内存变化
HotSpot 的 Native Memory Tracking(NMT)可按 JVM 内部分类观察本地内存的预留和提交变化。它必须在 JVM 启动时启用;运行中通常不能补开。若当前实例未启用,应在评估重启窗口后,为后续实例配置并采集基线,而不是把“没有 NMT 数据”解读为“没有本地内存增长”。
启动参数示例:
-XX:NativeMemoryTracking=summary
启用后可先记录基线,再观察一段时间后的差异:
jcmd "$PID" VM.native_memory summary scale=MB
jcmd "$PID" VM.native_memory baseline
# 间隔一段时间后再次检查
jcmd "$PID" VM.native_memory summary.diff scale=MB
NMT 报告中的 reserved 是地址空间预留量,committed 是 JVM 已提交管理的量;两者都不能直接当作 RSS。若 Thread、Class、Code 等类别随时间增长,可据此进入相应分支;若 NMT 汇总基本稳定而进程匿名 RSS 上升,则要提高对 JNI、第三方库、分配器行为和其他未被 NMT 完整跟踪分配的关注度。
NMT 会带来额外的跟踪开销,使用前应评估运行环境和负载要求。detail 模式提供更多信息,但通常也有更高开销,不宜未经评估就用于所有生产实例。NMT 是定位线索,不是覆盖所有本地内存分配的完整账本。
分支一:直接缓冲区与池化缓存
Java NIO 的直接 ByteBuffer、网络组件和一些缓存框架可能使用堆外内存。先检查 JVM 的缓冲区池指标,例如通过 JMX BufferPoolMXBean 观察 direct 池的 count、totalCapacity 和 memoryUsed。如果这些指标与 RSS 同步上升,进一步对照应用中的请求量、连接数、缓存命中与淘汰情况,以及框架自身的分配器指标。
判断时区分“持续增长”和“达到高水位后稳定”。池化实现通常会复用已分配内存,流量高峰后不立即归还操作系统,因此 RSS 暂时不下降不一定表示泄漏。若池的占用随业务负载上升后长期不回落,且对象或缓冲区持有量不断增加,才更支持存在未释放或无界缓存问题。
-XX:MaxDirectMemorySize 可以限制部分直接缓冲区分配,但调小上限可能让原本运行正常的服务更早出现直接内存分配失败;调大上限也不会增加容器的物理内存预算。只有确认直接内存是主要占用来源,并结合容器余量和业务峰值评估后,才考虑调整上限。还应核实所用框架是否通过 JVM 直接缓冲区机制分配内存,因为某些本地分配路径不一定由同一限制完整约束。
分支二:线程数、元空间与 JVM 内部区域
线程数量持续增加时,先检查线程数是否与线程池配置、任务堆积或连接数变化一致:
ps -L -p "$PID" --no-headers | wc -l
jcmd "$PID" Thread.print
线程栈会占用虚拟地址空间,但其中只有实际触碰的页面才会成为 RSS。不要把 -Xss 乘以线程数后直接当成实际物理内存;反过来,线程过多仍可能带来实际栈页面增长和本地线程创建失败。若线程数持续上升,检查线程池是否有上限、任务是否阻塞,以及线程是否因异常路径未能结束。Thread.print 可能产生较多输出,繁忙生产环境中应先评估采集影响,并避免无间隔重复执行。
元空间增长则关注已加载类数量、类加载器数量和 NMT 的 Class 类别。可结合:
jcmd "$PID" VM.classloader_stats
启动阶段动态生成类或加载大量业务类,可能造成正常的短期增长;若业务负载趋稳后,类加载器数量和元空间仍不断增加,应排查重复部署、热加载机制、反射代理生成或应用对象对类加载器的长期引用。确认原因前,不要只用调大元空间上限来处理:这可能延后故障出现,却不能消除持续增长。
JIT 代码缓存、GC 结构和其他 JVM 内部区域也可能变化。若 NMT 中这些类别增长,可结合 JVM 版本、垃圾收集器、编译活动和运行阶段判断是否符合预期。不同 JDK 版本的命令输出与可用指标可能不同,执行前可用 jcmd "$PID" help 核实目标实例支持的诊断命令。
分支三:JNI、本地库与分配器行为
如果匿名 RSS 明显增长,但 NMT、线程、元空间和直接缓冲区指标都没有对应增长,应检查 JNI 调用、压缩或加密库、数据库驱动、图像处理组件,以及其他包含本地代码的依赖。此时仅靠 Java 堆直方图通常看不到相应分配。
可将 /proc/$PID/smaps_rollup 汇总与详细映射中的匿名区域对照,关注 Anonymous 和 Private_Dirty 的变化;结合应用组件指标或本地内存分析工具进一步定位。某些分配器会保留已经释放的内存供后续复用,导致 RSS 不立即下降。若应用分配量已经稳定、匿名 RSS 在高水位后保持平台,可能是分配器缓存或碎片;若 RSS 还在随请求数、处理时长持续爬升,则应继续寻找仍在增长的分配路径。
确认具体组件前,不建议贸然更换系统分配器或调整其全局参数。这类改动可能影响整个进程的内存行为,应先在可回退的测试环境对比,并保留变更前后的 RSS、延迟、吞吐和错误率数据。
分支四:映射文件与容器文件缓存
文件映射、共享内存或读取大文件,可能让进程 RSS 或容器 file 指标上升。通过 smaps 中的映射路径和 Rss、Pss 等字段辨认哪些文件映射了驻留页面,并与文件访问、索引加载或缓存预热时间关联。对于映射文件,驻留页面可以被操作系统回收;单次 RSS 上升不能说明 Java 对象泄漏。
若容器总内存上升、目标进程 RSS 稳定,应优先核对同一控制组中的进程、文件缓存和内核内存。若 memory.current 接近 memory.max,即使 Java 堆没有接近 -Xmx,容器仍可能触及限制。调高 JVM 堆上限不仅不能解决文件缓存或本地分配增长,还可能挤压堆外内存的余量。
根据错误类型确认故障边界
不同的内存故障留下的信号并不相同:
java.lang.OutOfMemoryError: Java heap space指向堆内对象分配失败,需结合堆使用量和对象分析确认。java.lang.OutOfMemoryError: Direct buffer memory提示直接缓冲区分配失败,但仍应检查分配来源、池化情况和上限配置。unable to create native thread常与线程创建失败或可用本地资源不足有关,需结合线程数、系统限制和容器余量判断。- 容器发生 OOM kill 时,Java 进程可能没有机会输出常规 Java 堆溢出异常。应检查
memory.events、容器运行时事件和内核日志;读取系统日志可能需要相应权限。 - 主机交换空间使用上升、
vmstat中持续出现换入换出,说明系统受到内存压力,但不能单独证明问题由某一个 Java 进程造成。
不要仅因进程曾出现一次内存峰值就立即生成大体积堆转储。堆转储适用于堆内对象问题,文件可能占用大量磁盘空间并影响应用;对 RSS 增长但堆稳定的问题,堆转储未必能捕捉到主要占用来源。
定位后验证修复效果
修复应对应已经获得证据的增长分支:线程持续增多,就限制或修正线程生命周期;直接缓冲区持续累积,就查找未释放路径或无界池;类加载器与元空间持续增长,就处理类加载器引用或动态生成行为;文件映射和缓存增长,则评估其上限、生命周期及容器可用余量。若需要重启,尽量先采集重启前的 RSS、NMT、线程数、缓冲池指标和 cgroup 状态,便于与重启后的趋势对比。
验证时不要只看 RSS 是否瞬间下降。观察相同业务负载下堆使用量、RSS、NMT 类别、线程数、缓冲池容量、容器 memory.current 和 OOM 事件是否趋于稳定;同时关注延迟、吞吐及错误率。建议按固定间隔保留趋势数据,并记录应用版本、JDK 版本、容器内存限制和变更时间。若某项指标随负载上升后能够稳定,且容器始终保有合理余量,通常比单次采样值更能说明修复是否有效。
围绕 Java 服务的运行与内存资源需求,A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等平台,并提供不同内存、SSD/NVMe 存储及网络线路方案,可用于部署业务后台、数据库和容器服务。多种硬件组合适配不同的数据规模、任务负载与访问区域,为应用运行环境提供相应的计算和存储资源。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9820.html



