服务器生成JVM线程转储后,如何根据线程状态定位应用卡顿

发布人:A5数据发布时间:2026-10-21 14:57阅读量:106

线程转储(Thread Dump)记录了某一时刻 JVM 中各线程的状态、调用栈和锁等待关系。它能帮助判断请求是否卡在应用代码、线程池、锁竞争或外部调用上,但不能单独证明 CPU、磁盘、网络或数据库就是根因。定位时应把转储与线程 CPU、堆和 GC、操作系统指标、应用日志及数据库监控放在一起看。

如果只有一个请求变慢,优先追踪该请求经过的应用线程和调用链;如果大量请求同时变慢,再判断是进程整体资源不足、共享线程池耗尽,还是数据库、网络等公共依赖异常。不要仅凭某个线程显示 RUNNABLE 或 WAITING 就下结论,线程状态表示它当时所处的执行阶段,不等于故障原因。

一、先确认卡顿范围和时间点

开始取转储前,先记录故障发生时间、受影响的接口或任务、影响范围,以及应用实例是否全部异常。同步查看请求耗时、吞吐量、错误率和实例资源曲线,避免把偶发慢请求与服务整体卡顿混为一谈。

同时确认 Java 进程和运行环境。Linux 上可先用以下命令查找 PID:

jcmd -l

如果命令不可用,可按实际发行版和权限检查进程列表:

ps -eo pid,cmd | grep '[j]ava'

确认 PID 后,优先使用与目标 JVM 同版本、同用户权限的 jcmd 生成线程转储:

jcmd <PID> Thread.print

也可以将输出重定向到文件:

jcmd <PID> Thread.print > /tmp/thread-dump-1.txt

jstack <PID> 也是常见方式,但应先用 jstack -h 确认本机工具支持的参数。线上采集前检查磁盘空间和文件权限;转储可能包含类名、SQL 片段、请求参数或业务信息,文件应限制访问并按数据保留要求处理。不要在未核实 PID 的情况下对进程执行信号操作,也不要在生产环境连续高频采集。

单份转储只反映一个时刻。建议在故障持续期间间隔数秒采集两到三份,例如间隔 5 至 10 秒,再比较同一线程的状态和栈位置。具体间隔应结合业务负载调整:采集太密会增加诊断噪声,间隔太长则可能错过短暂阻塞。

二、建立原因树:卡顿可能发生在哪一层

将问题按层次拆开,避免一开始就把“线程多”归因于 JVM:

层级典型表现线程转储能提供什么还需要核对什么
网络与外部依赖请求集中等待远端服务、连接或响应调用栈可能停在客户端读写、连接池获取等位置网络延迟、超时、连接数、远端服务指标
操作系统与资源CPU 饱和、内存压力、磁盘繁忙可观察线程是否持续执行或大量等待CPU、内存、磁盘、进程和容器指标
JVM 与服务运行机制GC 停顿、线程池耗尽、线程数异常可观察线程状态、线程池任务栈和锁关系GC 日志、堆使用、线程池队列和拒绝数
应用代码死循环、锁竞争、慢计算、同步等待可查看具体类、方法和调用链代码逻辑、请求参数、热点分析和日志
数据库SQL 执行慢、连接池耗尽、锁等待栈可能停在 JDBC 调用或取连接环节数据库活动会话、慢查询、锁和连接池指标

线程转储主要回答“线程当时在做什么、等什么”,不直接测量磁盘吞吐、网络丢包或数据库执行耗时。判断根因需要在同一时间窗口内对齐这些证据。

三、先读懂线程状态和调用栈

Java 线程转储常见状态包括以下几类:

  • RUNNABLE:线程正在运行,或处于 JVM 认为可运行的状态。它可能在消耗 CPU,也可能正在进行本地调用或等待某些底层 I/O;不能仅凭该状态认定 CPU 瓶颈。
  • BLOCKED:线程正在等待进入由 synchronized 保护的监视器锁。重点检查它等待的锁,以及持锁线程当前的调用栈。
  • WAITING:线程在等待其他线程执行某个动作,通常没有超时期限。常见于锁、条件变量、线程池空闲等待或 join。
  • TIMED_WAITING:带超时的等待,例如 sleep、限时等待或连接池等待。大量线程处于该状态不必然异常,要看栈、持续时间和业务预期。
  • NEW、TERMINATED:分别表示线程尚未启动和已结束,通常不是定位持续卡顿的主要线索。

阅读时不要只看状态行,要连同线程名、线程 ID、调用栈和锁信息一起看。线程名通常能提示它属于 HTTP 工作线程、定时任务、消息消费线程还是数据库连接池,但命名并不统一,需结合应用配置确认。

判断线程池是否耗尽时,可以搜索类似 http-nio、worker、executor 的线程名,检查是否大量工作线程都停在同一个外部调用或锁等待位置,再对照线程池的活跃线程数、队列长度、拒绝次数和请求吞吐。如果线程池工作线程都被长时间阻塞,即使 CPU 很低,应用仍可能无法及时处理新请求。

CPU 瓶颈:找持续运行且消耗 CPU 的线程

CPU 瓶颈通常表现为进程或容器 CPU 长时间处于高位,并且吞吐下降或延迟上升。线程转储中若多份采样里同一批业务线程持续处于 RUNNABLE,调用栈又反复落在相同的计算路径,才值得进一步怀疑热点计算或循环。

可先查看进程 CPU 和线程级别的活动:

top -p <PID>
top -H -p <PID>

在支持 ps -L 的 Linux 环境中,也可以查看进程线程:

ps -L -p <PID> -o pid,tid,pcpu,stat,comm

将高 CPU 的线程 ID(TID)换算为十六进制后,与转储中的 nid 对照。例如:

printf '%x\n' <TID>

线程转储中的 nid 通常以十六进制显示。匹配后查看该线程在多份转储中的栈是否稳定落在同一处。若 CPU 高但线程栈位置变化较大,可能是多段计算共同消耗;若转储显示线程并不活跃,还应检查采样时间是否对齐、容器 CPU 限额和其他进程竞争。

判断边界: RUNNABLE 不是 CPU 使用率;必须用操作系统线程 CPU 数据和重复采样佐证。单次栈中出现复杂算法,也不足以证明它是主要热点。

内存与 GC:线程转储不足以单独判断堆问题

堆接近上限、频繁 GC 或长时间 GC 停顿,都可能让请求延迟上升,但普通线程转储无法完整说明对象占用量或内存泄漏。可将转储中的 GC 相关线程、请求线程状态与 GC 日志和 JVM 内存指标对照。

重点检查:

  • GC 暂停是否与请求延迟峰值在时间上重合,暂停频率和持续时间是否异常;
  • 堆使用量是否在回收后仍持续抬高,老年代是否缺少回收空间;
  • 是否发生频繁 Full GC,或出现分配失败、晋升失败等相关记录;
  • 进程 RSS 是否远高于堆容量,以及容器是否出现内存限制或 OOM 迹象。

如果线程栈显示业务线程大量等待,而 GC 指标正常,不能仅因实例内存占用较高就把问题归因于内存。反过来,线程转储中请求线程数量减少,也可能是 GC 暂停、流量变化或线程池调整造成,需要结合监控判断。

锁竞争:从等待者反查持有者

如果大量线程为 BLOCKED,并且反复等待同一个锁,应检查对应的锁对象、持锁线程和它的调用栈。持锁线程可能在执行耗时计算、调用外部服务,或在持锁期间进行不适合放在临界区内的工作;等待者则会堆积,最终表现为接口延迟和吞吐下降。

示例片段(仅用于说明格式):

"api-worker-7" #52 prio=5 ... BLOCKED
   at com.example.OrderService.update(OrderService.java:86)
   - waiting to lock <0x00000001a1b2c3d4>

如果另一个线程显示:

"api-worker-3" #48 prio=5 ... RUNNABLE
   at com.example.OrderService.rebuildIndex(OrderService.java:143)
   - locked <0x00000001a1b2c3d4>

两者的锁标识相同,说明等待者与持有者相关;接下来要核对持有者是否长期停在同一段代码,以及该临界区是否包含慢操作。锁等待应结合多份转储判断,不能只因一个线程出现 BLOCKED 就认定存在全局锁瓶颈。

网络与外部服务:确认线程是在等连接还是等响应

如果线程栈集中出现在 HTTP 客户端、Socket 读写、DNS 解析或连接池获取等调用路径,网络或远端服务可能是候选原因,但线程栈无法区分“本机网络问题”“远端处理慢”或“连接池配置不足”。

下一步应按调用阶段核对:

  • 等待连接池连接:检查连接池总数、空闲数、等待队列、获取连接超时,以及连接是否未正确归还。
  • 建连或 DNS 阶段变慢:核对解析耗时、连接超时、目标地址可达性及网络设备指标。
  • 已建立连接但读取迟迟不返回:对照远端服务耗时、客户端读超时、请求量和错误率。
  • 大量线程等待同一远端依赖:比较不同实例是否同时受影响,并检查调用方与被调用方的时间戳和链路追踪记录。

不要只通过增加超时时间处理卡顿。超时变长可能让更多工作线程长期被占用,扩大线程池排队。调整连接池或超时参数前,需要明确该依赖的负载、最大并发和失败恢复策略。

磁盘与系统资源:结合操作系统指标确认

线程转储一般不能直接证明磁盘 I/O 瓶颈。若应用线程停在文件读写、日志输出或本地存储调用上,应查看相同时间段的磁盘延迟、队列和 I/O 使用情况;若线程在日志框架锁或异步日志队列相关位置等待,还要检查日志输出目标是否变慢、队列是否积压。

Linux 可按系统已有工具检查资源,例如:

iostat -xz 1 5
vmstat 1 5

工具未安装或字段含义因版本不同而异时,先查看本机帮助和发行版文档,不要依据单一指标下结论。iostat 中的设备利用率、队列和等待时间要结合设备类型与历史基线解释;vmstat 中的运行队列、内存交换和 I/O 等待也应与进程指标共同判断。容器环境还需核对容器级 CPU、内存和 I/O 限额,主机整体正常并不代表容器没有被限流。

数据库:区分连接池等待、SQL 执行慢和数据库锁等待

线程栈出现 JDBC 驱动、连接池或 ORM 调用时,应先区分线程是在等待连接,还是已经拿到连接并执行 SQL。连接池等待通常要看连接池活跃连接、空闲连接、等待线程和获取连接耗时;SQL 执行阶段则需要数据库侧的活动会话、慢查询、锁等待和资源利用率。

示例线程栈可能停在类似位置:

at com.zaxxer.hikari.pool.HikariPool.getConnection(...)
at org.springframework.jdbc.core.JdbcTemplate.query(...)
at com.example.ReportService.load(...)

这类栈只能说明调用路径经过连接池和数据库访问,不能证明 SQL 本身慢。若多个线程都卡在 getConnection,先查连接是否耗尽、连接泄漏或事务未及时结束;若线程已进入驱动读写,则结合数据库活动会话、SQL 执行计划和服务端等待事件分析。数据库变慢也可能源自锁、资源竞争或网络往返,不能一概通过加大连接池解决。

四、把多份证据收敛到根因

有效的定位结论应至少能回答三个问题:哪些线程受影响、它们持续停在哪里、相关资源或依赖是否在同一时间异常。可按以下顺序推进:

四、把多份证据收敛到根因配图

  1. 以请求延迟或故障告警时间为基准,对齐线程转储、应用日志、GC 日志和监控曲线。
  2. 按线程名和调用栈归类,统计等待于同一锁、同一连接池、同一外部调用或同一业务方法的线程数量。
  3. 对照多份转储,区分瞬时等待与持续停滞;检查线程状态是否变化、栈是否反复落在同一位置。
  4. 用进程和主机指标验证资源假设:CPU 高看线程 CPU;内存问题看 GC 与堆;磁盘问题看 I/O;网络问题看连接与时延;数据库问题看连接池和数据库侧活动。
  5. 找到能够解释影响范围的共同点。例如所有实例同时卡在同一数据库调用,比单个实例的一个 BLOCKED 线程更能支持共享依赖异常这一判断。

一个模拟场景:某服务接口延迟上升,CPU 不高,多份转储中多数工作线程都在获取数据库连接,连接池等待队列同步增长,而数据库活动会话并未达到容量上限。此时应优先检查连接池连接是否长期占用、事务是否过长或连接归还是否异常,而不是先扩大服务器 CPU。若线程已持有连接并集中停在同一 SQL 执行路径,则应转向数据库侧核对查询和锁等待。该示例用于说明推理方法,不代表任何实际环境的检查结果。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖常规建站、业务后台、数据库、接口服务与多任务计算场景。Xeon Gold、AMD EPYC、DDR5内存和NVMe存储等配置,可为JVM应用提供相对独立的CPU、内存与磁盘资源基础;结合不同地区、CN2及国际带宽线路,也能承载面向不同访问区域的应用部署与外部服务调用。

五、验证恢复,并保留复发监控点

调整或修复后,不能只以“线程转储看起来正常”作为恢复标准。应同时观察请求延迟分位值、吞吐量、错误率、线程池活跃数和队列、CPU 与内存、GC 停顿,以及相关数据库或外部依赖指标。恢复判断应覆盖一个符合业务负载的观察窗口;低流量时暂时没有排队,不代表高峰期问题已经消失。

复发监控至少保留以下信号:

  • 接口延迟、超时和错误率,按实例及关键依赖拆分;
  • JVM 活跃线程数、线程池队列长度、拒绝数和连接池等待时间;
  • 进程与容器 CPU、RSS、堆使用、GC 次数和停顿时间;
  • 磁盘 I/O 等待、网络连接异常,以及数据库活动会话、锁等待和慢查询;
  • 告警发生时可关联的请求追踪、应用日志和线程转储采集时间。

再次出现卡顿时,使用相同时间基准和采集方式复核。如果线程状态、调用栈和资源曲线与上次不同,应重新走原因树,而不是直接沿用旧结论。线程转储的价值在于缩小排查范围;可靠的根因判断仍需由重复采样和跨层指标相互印证。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5015.html

相关推荐