服务器上的JVM线程转储怎么看?怎样从线程状态和堆栈定位死锁或阻塞?

发布人:A5数据发布时间:2026-10-26 11:29阅读量:82

当服务器上的 Java 服务出现接口超时、请求堆积或吞吐量突然下降时,JVM 线程转储可以回答两个关键问题:线程到底在等待什么,以及多个线程是否形成了相互等待的链路。实际诊断不能只看某一个线程状态,而应把线程状态、堆栈、操作系统资源、连接池和下游服务响应时间放在同一条证据链中判断。

在 Linux 和常见 JDK 环境中,优先使用 jcmd <PID> Thread.print -l 获取线程转储;也可以使用 jstack -l <PID>。BLOCKED 大量出现并不自动等于死锁,RUNNABLE 也不一定表示线程正在消耗 CPU。只有当堆栈中的锁持有关系构成闭环,或者 JVM 明确报告检测到死锁时,才能把问题定性为 Java 层死锁;其他情况还需要继续排查网络、系统、服务池和应用逻辑。

先确认症状和影响范围

线程转储是某一时刻的快照。采集前先确认故障影响的是全部请求、某个接口、某个租户,还是只有少量请求。影响范围不同,原因树的入口也不同:

  • 所有接口都变慢,同时机器负载升高:优先检查 CPU、内存、GC、磁盘和网络。
  • 大量请求停在同一个下游调用:优先检查网络、连接池、数据库或远程服务。
  • 只有一个接口超时:重点查看该接口调用链、锁、任务队列和依赖服务。
  • 请求线程数量持续增加,但 CPU 不高:重点检查锁等待、连接池耗尽、队列积压和外部 I/O。
  • 服务完全无响应,但进程仍存在:需要结合线程转储判断是死锁、线程池耗尽、长时间 I/O,还是进程已经被系统资源拖慢。

下面命令以 Linux 为例,12345 是示例 PID,不代表读者环境中的实际进程。

ps -eo pid,user,lstart,cmd | grep '[j]ava'
java -version
command -v jcmd
readlink -f /proc/12345/exe

核对以下信息:

  1. PID 是否对应目标 JVM,而不是监控进程、启动脚本或其他 Java 服务。
  2. 执行诊断命令的用户是否有权访问目标 JVM。通常需要使用与 Java 进程相同的用户执行 jcmd 或 jstack。
  3. jcmd、jstack 是否来自相容的 JDK 环境。生产机只有 JRE 时,可能没有这些工具。
  4. 服务是否运行在容器中。容器内部的 PID 可能与宿主机 PID 不同,应在实际 JVM 所在的 PID 命名空间内确认进程。
  5. 线程转储是否可能包含类名、路径、请求参数或业务标识。输出文件应限制访问权限,不要直接上传到公开位置。

建立四层原因树

线程转储本身主要反映 JVM 内部线程的状态和调用栈,不能单独证明网络、数据库或操作系统发生了什么。建议按网络、系统、服务、应用四层建立原因树,再用线程转储将范围逐步缩小。

网络层:线程是否卡在外部 I/O

如果多个线程堆栈停留在以下位置,说明它们可能正在等待网络连接或响应:

  • java.net.SocketInputStream.socketRead
  • sun.nio.ch.SocketChannelImpl.read
  • HTTP 客户端的 execute、readResponse
  • 数据库驱动的 read、receive
  • DNS 解析或连接建立相关调用

这类堆栈只能说明线程正在等待 I/O,不能直接证明网络故障。下一步要看网络连接状态、下游响应时间和客户端超时配置。

ss -s
ss -tanp

观察方向包括:

  • SYN-SENT 较多:可能是连接建立缓慢、目标不可达或连接数受到限制。
  • ESTAB 数量持续接近连接池上限:可能是请求处理慢、连接未及时释放或下游响应延迟。
  • CLOSE-WAIT 持续增加:可能是应用没有及时关闭连接。
  • 网络状态正常,但线程长期停在读取响应:需要转向下游服务、连接池和应用超时配置。

如果只有少量线程停在网络读取上,可能是正常的慢请求;如果绝大多数工作线程都停在同一个下游调用点,并且请求队列持续增长,才更接近外部依赖拖慢服务的判断。

围绕这类 JVM 服务的运行基础,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖 Xeon Gold、AMD EPYC 等平台,并配备不同规格的内存、SSD 或 NVMe 存储及区域线路资源,可用于网站后台、数据库、接口服务和多任务应用的部署,为线程、连接池与下游 I/O 等运行环节提供相匹配的硬件和网络基础。

系统层:线程是忙,还是机器已经没有资源

线程状态中的 RUNNABLE 不等同于操作系统线程一定在使用 CPU。Java 线程在调用某些本地方法或网络 I/O 时,也可能显示为 RUNNABLE。需要把 JVM 转储与操作系统观察结果对应起来。

uptime
free -h
vmstat 1 5
top -H -p 12345

重点看:

  • CPU 使用率是否接近资源上限。
  • 系统负载是否明显高于 CPU 核数。
  • 内存是否紧张,是否发生交换。
  • 上下文切换、I/O 等待是否异常。
  • 某个 Java 线程是否长期占用一个或多个 CPU 核心。

如果发现某个线程在 top -H 中持续占用 CPU,可以把操作系统线程 ID 与转储中的 nid 对应起来。top -H 通常显示十进制线程 ID,而 Java 堆栈中的 nid 多为十六进制。

printf "%d\n" $((16#2f4a))

例如,转储中出现 nid=0x2f4a,换算后就是十进制 12106,再到 top -H 中查找对应线程。高 CPU 线程如果反复停在业务循环、序列化、正则匹配或集合遍历等代码位置,才有必要进一步使用采样分析工具;不能因为看到 RUNNABLE 就直接认定为死循环。

服务层:线程是否在等待池、队列或下游资源

服务框架和客户端通常都有线程池、数据库连接池、HTTP 连接池或异步任务队列。线程转储中常见的等待位置包括:

  • ThreadPoolExecutor.getTask
  • LinkedBlockingQueue.take
  • SynchronousQueue.take
  • FutureTask.get
  • CompletableFuture.join
  • 连接池的 borrow、acquire、getConnection
  • 数据库驱动或 HTTP 客户端的连接获取方法

需要区分“空闲等待”和“资源耗尽”:

  • 一部分工作线程停在 ThreadPoolExecutor.getTask,同时请求量正常,通常只是线程池空闲。
  • 所有请求线程都在等待连接池、任务队列或 Future,并且队列长度上升,说明服务层资源可能已经耗尽。
  • 工作线程数量没有增加,但请求持续超时,可能是线程池上限过小,也可能是每个线程都被慢调用占住。
  • 连接池显示还有空闲连接,但线程仍然等待,则需要检查连接池锁、连接获取路径或监控统计是否滞后。

服务层判断必须结合指标,例如活动线程数、最大线程数、队列长度、数据库连接池活动数、空闲数和等待时间。单独看到 WAITING 或 TIMED_WAITING 不能直接得出“线程池异常”的结论。

应用层:是否存在锁竞争或相互等待

应用层重点观察以下调用模式:

  • synchronized 进入失败,堆栈提示 waiting to lock。
  • ReentrantLock、ReentrantReadWriteLock 相关的 parking to wait for。
  • 多个线程在不同业务方法中等待同一个锁对象。
  • 线程 A 等待线程 B 产生结果,线程 B 又等待线程 A。
  • 主线程等待子线程,而子线程又等待主线程持有的资源。
  • CountDownLatch.await、Semaphore.acquire、Future.get 等等待长期不返回。

如果多个线程都停在同一个应用方法,但它们持有的锁、等待的锁和调用参数不同,可能是锁竞争而不是死锁。需要继续追踪锁的持有者和等待者。

获取线程转储:先低风险采集,再做对比

优先使用 jcmd,因为它可以在不停止 JVM 的情况下请求线程信息,并且 Thread.print -l 会尝试输出锁信息。以下命令会把结果保存到临时目录,示例中的日期字符串可以按实际时间替换。

mkdir -p /tmp/jvm-dump-12345

jcmd 12345 Thread.print -l \
  > /tmp/jvm-dump-12345/thread-20250101-100000.txt

如果 jcmd 不可用,可以尝试:

jstack -l 12345 \
  > /tmp/jvm-dump-12345/thread-20250101-100000.txt

也可以向 Java 进程发送 SIGQUIT 获取线程转储:

kill -3 12345

kill -3 不会像 kill -9 那样直接终止 Java 进程,但输出通常会写入标准输出或服务日志,可能造成日志量增加。执行前应确认日志盘空间和日志采集方式,避免在高频故障中反复发送信号。

建议在故障持续期间采集两到三份转储,间隔可以从数秒到十几秒,根据业务可承受的诊断影响调整。例如:

jcmd 12345 Thread.print -l > /tmp/jvm-dump-12345/thread-1.txt
sleep 10
jcmd 12345 Thread.print -l > /tmp/jvm-dump-12345/thread-2.txt
sleep 10
jcmd 12345 Thread.print -l > /tmp/jvm-dump-12345/thread-3.txt

多份快照的价值在于区分:

  • 线程始终停在同一个锁上:更像持续锁竞争或死锁。
  • 线程等待位置不断变化:可能是请求流动、瞬时下游延迟或任务调度。
  • 同一批线程状态持续不变,且请求数继续增加:更接近资源耗尽或不可恢复等待。
  • 高 CPU 线程的堆栈持续相同:需要重点排查热点代码。

这些命令会触发现场采集,但不会替代业务指标。不要在没有保存证据的情况下先重启服务;重启可能暂时恢复可用性,却会清除锁关系和现场状态。

先读线程状态,再读具体堆栈

线程转储中的状态是 JVM 观察到的状态,不完全等同于操作系统调度状态。可以先按状态分组,再查看同一组线程的共同堆栈。

JVM 状态常见含义需要重点观察的内容初步判断
RUNNABLE正在执行,或正在执行某些本地方法、I/O是否有高 CPU;是否停在 socket、文件或数据库读取既可能是 CPU 热点,也可能是外部 I/O
BLOCKED等待进入 synchronized 监视器waiting to lock 对应的对象和持有者适合排查锁竞争,不能单凭此状态认定死锁
WAITING无限期等待通知、条件或任务park、await、join、队列等待可能是正常空闲,也可能是依赖链未完成
TIMED_WAITING带超时的等待sleep、定时队列、带超时的锁或网络调用需要看等待是否按预期结束
NEW尚未启动线程创建路径可能是线程创建逻辑异常
TERMINATED已结束是否存在大量异常退出结合应用日志判断线程是否反复崩溃

典型判断可以按以下顺序进行:

  1. 统计 BLOCKED、WAITING、TIMED_WAITING 和 RUNNABLE 的数量。
  2. 在每个状态中查找重复的栈顶方法和重复的业务类。
  3. 对 BLOCKED 线程追踪 waiting to lock 对应的锁持有者。
  4. 对 WAITING 线程确认它是在正常等待任务,还是等待某个永远不会完成的条件。
  5. 对 RUNNABLE 线程结合 CPU 线程 ID 判断它是计算密集,还是卡在本地 I/O。
  6. 将堆栈结论与请求延迟、连接池、队列和下游指标交叉验证。

为了快速筛查,可以使用只读的文本搜索:

grep -nE \
'BLOCKED|deadlock|waiting to lock|parking to wait|java.net|Socket|Future|get\(|await' \
/tmp/jvm-dump-12345/thread-1.txt

筛选结果只是定位入口,不是最终诊断结论。

判断死锁:必须找到闭环关系

JVM 明确报告死锁

如果在线程转储中看到类似以下内容,通常可以确认 JVM 检测到了 Java 层的锁死锁。下面是模拟输出,用于说明判断方式,不代表某个实际服务器现场。

Found one Java-level deadlock:
=============================

"worker-1":
  waiting to lock monitor 0x0000000100aa1120
  which is held by "worker-2"

"worker-2":
  waiting to lock monitor 0x0000000100aa3340
  which is held by "worker-1"

Java stack information for the threads listed above:
===================================================
"worker-1":
        at com.example.OrderService.updateInventory(OrderService.java:128)
        - waiting to lock <0x0000000100aa1120>
        - locked <0x0000000100aa3340>

"worker-2":
        at com.example.InventoryService.reserve(OrderService.java:245)
        - waiting to lock <0x0000000100aa3340>
        - locked <0x0000000100aa1120>

这里的关键不是 BLOCKED 这个词,而是完整的闭环:

判断死锁:必须找到闭环关系配图

  • worker-1 持有锁 B,等待锁 A。
  • worker-2 持有锁 A,等待锁 B。
  • 两个线程都无法继续执行,也无法释放自己持有的锁。

如果存在三个或更多线程,判断方式相同:沿着“当前线程等待的锁 → 锁持有者 → 该持有者等待的锁”继续追踪,直到回到起始线程,才形成闭环。

没有死锁报告,不代表没有阻塞

以下几类情况可能让线程长时间不前进,但不一定被 JVM 判定为锁死锁:

  • 线程等待数据库行锁或表锁。
  • 线程等待远程服务响应。
  • 线程等待连接池归还连接。
  • 线程 A 等待 Future,线程 B 等待另一个外部条件,形成业务层依赖,但不属于 JVM 锁循环。
  • 一个线程长期持有锁,其他线程排队等待,属于锁竞争或锁持有时间过长。
  • 读写锁、信号量或队列资源不足,导致大量线程排队。
  • 线程池中的任务互相等待,但没有形成可被 JVM 识别的对象锁闭环。

因此,jcmd 没有输出死锁信息时,仍应查看 parking to wait for、Future.get、CountDownLatch.await 和网络读取堆栈,并结合对应组件指标继续排查。

逐层排除:把现象归到正确分支

可以将常见组合整理为以下判断表:

观察到的组合更可能的方向下一步检查
大量 RUNNABLE,某些线程持续占用高 CPU,堆栈重复CPU 热点、死循环或高复杂度计算对照线程 ID 和堆栈,检查热点业务代码
大量 BLOCKED,等待同一个锁,锁持有者长期运行锁竞争或锁持有时间过长找出持有者的业务路径,检查是否执行了 I/O 或大事务
两组线程互相显示 waiting to lock 和 lockedJava 层死锁根据等待关系画出锁图,修正加锁顺序或缩小锁范围
大量线程停在 socket 读取,连接数接近上限下游响应慢、连接池耗尽或超时缺失检查下游延迟、连接池活动数和客户端超时
大量线程停在 getConnection 或连接池 acquire数据库连接池不足、连接未释放或数据库变慢检查连接池等待时间、活动连接和数据库会话
大量线程在 Future.get、join 或 await异步任务未完成、任务依赖闭环或任务队列堵塞找到任务生产者、消费者和完成条件
多数线程在 ThreadPoolExecutor.getTask,CPU 和请求量正常线程池存在空闲线程通常不是故障,继续检查真正超时的请求
JVM 线程不多,但系统负载、I/O 等待或内存压力很高系统资源问题检查磁盘、交换、文件描述符和宿主机资源

这张表用于建立方向,不用于替代现场证据。例如,线程停在数据库读取上,既可能是数据库慢,也可能是网络丢包、连接池复用异常或数据库事务锁等待。需要把数据库监控和网络状态补齐。

定位根因时重点看三类关系

看“谁在等谁”

对于 BLOCKED,重点记录三个信息:

  1. 等待锁的线程名称、业务栈和请求类型。
  2. 锁对象标识,以及当前持有者。
  3. 持有者是否在执行计算、日志写入、网络调用或数据库操作。

如果持锁线程正在调用远程服务,锁的范围可能过大。即使没有循环等待,也会因为一个慢请求阻塞大量其他请求。

看“谁在消耗谁”

如果线程在等待连接、信号量或任务结果,需要建立资源依赖关系:

  • 请求线程是否占用了数据库连接后又等待另一个连接。
  • 异步任务是否被提交到同一个已经饱和的线程池。
  • 线程池中的任务是否等待另一个同容量线程池完成任务。
  • HTTP 客户端连接池是否被长请求全部占用。
  • 连接或锁是否在异常路径中没有释放。

这类问题通常表现为大量 WAITING 或 TIMED_WAITING,但没有明显的 BLOCKED。只看锁状态容易漏掉资源池耗尽。

定位根因时重点看三类关系/看“谁在消耗谁”配图

看“同一栈是否持续存在”

将多份转储中相同线程名称、线程 ID 和栈顶方法进行对比:

  • 同一个线程长期停在同一行,且等待条件没有变化:说明等待可能未被解除。
  • 线程名称不断变化,但所有线程都停在同一个连接获取点:说明是共享资源瓶颈。
  • 栈顶位置变化,但请求延迟仍持续升高:可能是请求在多个阶段排队,而非单一死锁。
  • 高 CPU 线程每次都停在相同计算位置:优先检查代码复杂度、输入规模和异常重试。

可以使用简单的文本差异工具辅助比较:

diff -u \
  /tmp/jvm-dump-12345/thread-1.txt \
  /tmp/jvm-dump-12345/thread-2.txt

线程 ID 可能因为线程重建而变化,因此不能只按线程名称判断。线程名称、nid、业务栈和同一时间段的请求指标应一起比对。

处理和验证:先保留证据,再验证恢复

确定根因后,修复方向应与证据匹配:

  • 对于锁顺序不一致,统一多个代码路径的加锁顺序,缩小锁保护范围,避免在持锁期间执行远程 I/O。
  • 对于连接池耗尽,检查连接释放、事务范围、慢查询和客户端超时,不要只盲目增大连接池。
  • 对于线程池排队,区分任务执行慢、队列过长和线程数配置不足,避免用无限增大线程数掩盖下游瓶颈。
  • 对于外部服务慢,补齐连接超时、读取超时和整体请求超时,并检查重试是否造成流量放大。
  • 对于 CPU 热点,先确认热点栈和输入规模,再进行代码或算法优化。
  • 对于数据库锁等待,应在数据库侧查看会话、事务和锁关系,JVM 线程转储只能显示应用线程在等待数据库返回。

修复后至少做两次验证:

  1. 重新采集线程转储,确认原来的锁等待、连接获取等待或任务依赖是否明显减少。
  2. 对照请求成功率、错误率、延迟分位数、活动线程数、队列长度、连接池等待时间和下游延迟,确认业务指标恢复。

如果 JVM 已经完全无法提供转储,或者服务必须立即恢复,可以按既定变更流程重启。但重启只能清除当前线程状态,不能证明根因已经解决。重启前如果业务允许,应尽量保存应用日志、系统指标、线程转储和下游监控,否则问题可能在恢复后再次出现而无法复盘。

复发时应盯住哪些监控点

为了让下一次故障不再依赖人工临时执行命令,建议持续监控以下指标:

  • JVM 死锁检测结果。可以通过 ThreadMXBean 的死锁检测能力进行周期性检查,发现死锁后立即告警。
  • 各线程池的活动线程数、最大线程数、队列长度和任务等待时间。
  • 数据库、HTTP 等连接池的活动连接、空闲连接、获取等待和超时数量。
  • BLOCKED、WAITING、TIMED_WAITING、RUNNABLE 线程数量趋势。
  • 请求成功率、错误率、P95/P99 延迟和超时数量。
  • 下游服务的连接建立时间、响应时间、失败率和重试次数。
  • JVM 进程 CPU、宿主机负载、内存、交换、文件描述符和网络连接状态。
  • GC 暂停时间和频率,避免把长时间停顿误判为锁死锁。

告警阈值应根据线程池大小、业务延迟目标和正常峰值设定,不宜简单套用一个固定数字。死锁检测属于需要立即处理的信号;线程状态数量则更适合观察趋势,并与请求延迟、资源池和下游指标联合判断。这样才能把一次线程转储中的静态快照,转化为可重复验证的故障定位过程。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5826.html