Linux服务器上的Druid连接池频繁耗尽怎么办?如何区分连接泄漏与数据库响应慢

发布人:A5数据发布时间:2026-10-28 10:27阅读量:107

应用日志反复出现 GetConnectionTimeoutException,并不等于数据库连接泄漏。它只说明请求在等待时间内没有从Druid连接池拿到连接:可能是连接借出后未归还,也可能是SQL执行变慢、事务持有连接过久,导致连接都在正常使用却迟迟无法释放。

运维排查时,关键是把“连接池已借出多少连接”和“这些连接正在做什么”对应起来。先确认告警发生在哪个应用实例、哪个数据源,再观察连接池指标和请求耗时;随后检查Linux主机、网络与数据库状态,最后才决定修代码、优化SQL或调整池容量。不要仅凭一次 activeCount=maxActive 就认定泄漏,也不要先把 maxActive 调大。

先确认:耗尽的是哪个连接池

Druid连接池通常属于应用进程。即使多个实例连接同一数据库,每个实例的池也有各自的容量和等待队列。先从异常日志确认时间、应用实例、数据源及等待时长,再在同一时间范围内查看请求量和Druid统计。

观察项需要回答的问题判断价值
activeCount已借出的连接是否持续接近 maxActive?确认池容量是否成为当前限制
poolingCount池内是否还有空闲连接?与 activeCount 一起判断连接是否都已借出
waitThreadCount当前是否有线程等待连接?判断业务请求是否正在排队
等待次数、累计等待时长故障前后是否明显增长?反映等待趋势,累计值不能当作瞬时值
请求并发与耗时流量是否上升,响应是否变慢?区分容量压力与持有时间变化

Druid监控页面、JMX或应用已有的指标采集都可用于取数,具体入口取决于项目集成方式。监控端点可能暴露SQL及数据源信息,不应为排障临时向公网开放。如果没有池指标,至少保留异常日志时间点,并从应用监控确认该实例的请求量与数据库调用耗时。

建议在故障期间连续取样,例如每10秒记录一次,持续数分钟。一个示例序列是:maxActive=20、activeCount=20、poolingCount=0、waitThreadCount 从3升至18。它能够确认“连接借出后供不应求”,但还不能说明借出原因。若只有单次尖峰,随后指标迅速恢复,则应先核对当时的短时流量,而不是按持续泄漏处理。

还要分清两种时间:获取连接等待时间发生在借出之前;连接持有时间从借出开始,到归还连接池结束。SQL执行、事务中的业务逻辑以及连接未关闭,都可能拉长持有时间。

由外到内:先排除资源和数据库响应问题

检查Linux主机是否已成为瓶颈

先在发生告警的应用实例上执行低开销只读命令;若数据库也部署在可管理的Linux主机上,再分别检查数据库主机。容器环境应同时核对容器资源限制和宿主机指标,不能只看宿主机还有多少空闲内存。

uptime
free -h
vmstat 1 5
ss -s

uptime 用于观察负载变化,但负载高不等于CPU一定繁忙。vmstat 中持续较高的 r 可提示CPU排队,持续出现的 si、so 提示换入换出;结合CPU使用率、容器限额和应用监控再判断。free -h 要结合可用内存看,不能把Linux用于缓存的内存直接视为不足。ss -s 可粗看TCP连接状态分布,但不能单凭连接数判定Druid泄漏。

如果应用实例在故障时CPU受限、频繁GC或发生换页,线程调度和业务处理都可能变慢,使连接持有时间增加。此时先处理资源瓶颈,再观察连接池是否恢复;如果主机指标平稳,继续向网络和数据库侧排查。

核对数据库连接与响应

从应用监控区分“建立数据库连接慢”和“已借出连接后执行SQL慢”。前者还需检查数据库是否拒绝新连接、连接建立是否报错以及网络连通性;后者重点看慢SQL、锁等待和事务持续时间。Linux上的TCP连接处于 ESTAB,只能说明连接已建立,不能证明数据库正在快速返回结果。

若数据库是MySQL兼容系统,可由具备相应授权的账号执行以下只读检查;其他数据库应使用其对应的活动会话和锁等待视图,不要照搬SQL:

SHOW FULL PROCESSLIST;
SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Threads_running';

Threads_connected 是数据库端连接总数,不只属于某个Druid池;Threads_running 也不是慢查询数量。SHOW FULL PROCESSLIST 能帮助识别正在执行的语句及等待状态,但账号权限会影响可见范围。需要结合数据库已有的慢查询记录、执行计划及锁等待信息,判断故障时是否出现SQL耗时上升。

这里有一个容易误判的现象:数据库会话显示为 Sleep,而Druid的 activeCount 很高。Druid统计的是连接是否被应用借出;数据库的 Sleep 表示该会话当下没有执行语句。应用可能借着连接调用外部服务、等待业务锁,也可能确实忘了归还。两项指标必须结合应用线程和连接持有时长解释。

核对数据库连接与响应配图

看时间关系:连接泄漏还是响应变慢

排查时,把同一实例的请求量、数据库调用耗时、activeCount 和等待线程数放到同一条时间线上。下面的结果分支比单看报错文本更可靠。

流量回落后,活跃连接仍不回落

若请求已明显减少、数据库查询也已结束,activeCount 却长时间贴近 maxActive,并持续出现等待线程,应重点怀疑连接未归还或事务作用域过长。检查最近变更过的手动获取连接代码,尤其是异常、超时和提前返回路径;也要检查事务是否包住了远程调用、文件处理或耗时计算。

这仍不是仅凭指标就能定案的“泄漏”。某些长任务确实会持续持有连接。需要找到借出连接对应的调用链,确认它是否仍有业务进展、是否应当在该位置持有数据库连接。

SQL变慢在前,连接池耗尽在后

若慢查询或锁等待先出现,随后数据库调用耗时和 activeCount 上升,最后才出现取连接超时,更符合“连接归还速度下降”。例如某接口原本每次持有连接约50毫秒,变为500毫秒;在请求速率不变的情况下,平均占用连接数也可能约增至原来的10倍。这是容量关系的估算,不代表每个请求都恰好只用一次连接,实际还要看并发峰值与持有时间分布。

此分支应优先定位具体SQL、执行计划变化、索引是否命中、扫描行数和锁等待,而不是靠扩大连接池掩盖问题。更多并发查询进入数据库,反而可能加重数据库CPU、I/O或锁竞争。

请求量突增,但连接持有时间基本稳定

如果持有时间和SQL耗时没有明显变化,只有请求并发突增,可能是现有池容量不足,也可能是异常重试放大了流量。先查上游超时与重试次数、突发任务和实例间流量分布。只有确认数据库仍有处理余量,才考虑限流、调整任务并发或审慎扩大连接池。

看时间关系:连接泄漏还是响应变慢配图

用线程证据缩小范围

当指标仍无法区分原因时,可在受影响的应用主机上短时间采集线程栈。先确认Java进程PID,并使用与应用进程相同的系统用户执行;以下PID仅为示例,执行前必须替换。线程栈可能包含业务类名及参数信息,应存放在受控目录,按内部规则限制访问和留存。

ps -eo pid,comm | grep '[j]ava'

PID=12345
umask 077
mkdir -p /var/tmp/druid-diag
for n in 1 2 3; do
  jcmd "$PID" Thread.print -l > "/var/tmp/druid-diag/threads-$n.txt"
  sleep 10
done

这些命令不修改应用配置,但采样仍会带来一定开销;应避免在主机已经严重过载时高频反复执行。若主机未安装 jcmd、无权访问目标进程或应用运行在容器内,应改用该环境允许的诊断方式,不要为取栈临时扩大进程权限。

对比三次线程栈,重点看大量线程是停在获取连接,还是已经拿到连接后停在JDBC执行、锁等待或业务调用:

  • 大量线程停在Druid获取连接附近:证明请求在池外等待,仍需追查连接被谁持有。
  • 多个线程持续停在JDBC执行附近,数据库侧也有长查询或锁等待:优先处理SQL或数据库瓶颈。
  • 已进入事务的线程长期停在外部调用或业务锁附近:检查事务边界,避免在不需要数据库连接时继续持有连接。

线程栈是时点证据,通常不能单独证明某个连接永远没有归还。需要更精确地追踪时,可在受控环境对连接借出和归还增加调用链及耗时记录,重点捕捉“超过业务合理时长仍未归还”的连接。Druid的 abandoned 连接回收与日志能力也可辅助诊断,但启用回收可能中断合法长任务;应先核对当前版本的配置语义、评估超时阈值,在测试环境验证后再用于生产,不宜把自动回收当作代码修复。

按根因修复,不让调参掩盖故障

确认是连接未归还时,修复点在代码路径。手动获取连接的代码应保证正常、异常、超时路径都会释放资源;检查结果集、语句和连接的关闭顺序,以及框架事务是否交由框架管理。修复前保留问题调用链和复现条件,发布后确认同样请求结束时 activeCount 会回落。不要通过强制重启作为长期处理办法:重启可以暂时清空进程内连接池,却无法消除泄漏路径,还会中断正在处理的请求。

确认是数据库响应慢时,先处理导致持有时间增长的SQL、索引、锁冲突或数据库资源问题。变更索引、SQL或事务逻辑前,应做好变更评估与备份,明确影响范围和回退方案;特别是线上建索引,也要核对所用数据库版本、表规模及其锁行为。若问题来自事务中夹带的外部调用,应缩短事务边界,但需同步验证业务一致性,不能简单把事务注解删除。

只有在数据库确有余量、请求峰值合理且代码没有异常持有连接时,才评估连接池容量。maxActive 是每个池的上限:若8个实例各设20,理论上这些池最多可能占用160条数据库连接,还未计入其他应用和管理连接。提高单实例上限前,应核对数据库允许连接数、实际活跃查询能力和预留空间。maxWait 可以限制请求等待多久并更快暴露故障,但它不会让慢SQL变快;缩短等待时间还可能增加超时和上游重试。

参数变更应一次只改一类,记录原值,通过既有发布流程灰度实施。如果等待数下降,但数据库活跃查询、CPU或锁等待显著恶化,应撤回该次容量调整,重新处理数据库侧瓶颈。

复测连接归还,也复测数据库承载

修复后,用与故障时接近的请求类型和并发进行复测,分别观察峰值阶段与流量回落阶段。峰值时关注获取连接等待时间、业务错误率、SQL耗时和数据库资源;流量回落后关注 activeCount 能否下降,以及是否仍有持续不归还的连接。只看到“取连接超时消失”,不足以证明根因已解决。

持续观察至少覆盖原先容易触发问题的业务周期,例如定时任务时段或流量高峰。若等待再次增长,就按同一时间线核对:是请求先增、SQL先慢,还是连接在请求结束后仍被持有。保留这组对照指标,比下次只拿到一条Druid超时日志,更容易把泄漏、慢查询和正常容量压力分开处理。

在这类Linux应用、数据库与接口服务场景中,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并提供SSD、NVMe、大内存及不同带宽线路配置,可用于部署连接池所在的应用实例、数据库和多任务后台;针对数据量较大的业务,还提供存储型服务器与多IP方案,便于结合访问区域、计算负载和网络需求进行部署。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6196.html

相关推荐