Linux服务器上的HikariCP连接池配多大,如何按并发与数据库承载估算?

发布人:A5数据发布时间:2026-11-05 09:22阅读量:66

HikariCP连接池没有适用于所有Linux服务器和业务的固定数值。容量应从业务峰值请求量、每类请求占用数据库连接的时间、数据库可承载的并发查询数,以及应用实例数量共同推导,而不是直接按照CPU核心数或在线用户数设置。对于短查询为主的服务,连接池可能只需要个位数到十几个连接;如果存在报表、批处理、慢查询或长事务,连接需求会明显增加,但这并不意味着盲目扩大连接池就能提升吞吐。

还要注意,maximumPoolSize是单个JVM实例的上限。部署4个Linux应用实例、每个实例配置20个连接时,数据库最多可能面对80个连接,自动扩容、后台任务、读写数据源和其他服务还会继续增加总量。合理的做法是先建立负载画像,再计算连接需求,最后用数据库容量和监控指标校正配置。

负载画像:先区分请求并发与数据库并发

在线用户数不能直接换算连接数

业务常说的“并发用户数”通常表示同时访问页面或保持会话的用户数量,而HikariCP需要处理的是某一时刻正在从连接池借出数据库连接的请求数。

可以用下面两个关系区分它们:

  • 请求并发数 ≈ 请求速率 × 请求平均响应时间
  • 数据库连接并发数 ≈ 数据库请求速率 × 单次持有连接时间

例如,系统有1000个在线用户,但每秒只有80个请求真正访问数据库,每个请求平均持有连接20毫秒,那么理论上的数据库连接需求约为:

80 × 0.020 = 1.6

这不代表连接池配置为2就一定足够,因为还要考虑请求峰值、连接获取抖动、慢查询、事务等待和增长空间。但它说明了在线用户数本身并不是连接池大小的直接依据。

按请求类型拆分峰值负载

不同请求对数据库的占用差异很大。建议至少区分普通查询、写入事务、复杂检索、报表和后台任务。

请求类型峰值请求速率平均持有连接时间理论连接需求主要影响因素
普通读取180次/秒18毫秒3.24索引、缓存命中、返回数据量
写入事务50次/秒45毫秒2.25锁等待、事务范围、日志写入
报表查询10次/秒250毫秒2.50扫描范围、排序、临时表、磁盘IO
合计240次/秒按类型加权7.99需要再叠加余量

计算时,毫秒必须先除以1000换算为秒。例如18毫秒应按0.018秒计算,而不是直接把18代入公式。

如果一个请求在一个事务中连续执行多条SQL,并且全程持有同一个连接,应将整个连接借用时间计入,而不能只计算SQL执行时间。如果一个请求并行借用多个连接,则需要分别计算每个连接的占用时间,再将结果相加。

数据规模影响连接持有时间,而不是直接决定连接数

数据量变大不会按照相同比例直接增加连接池大小,但可能通过以下路径提高连接需求:

  • 索引不匹配导致扫描行数增加;
  • 热数据无法完全进入内存,磁盘读取增多;
  • 排序、分组和临时表操作变慢;
  • 写入量增加后,锁竞争和日志刷盘时间变长;
  • 返回结果集变大,网络传输和应用端处理时间增加。

在请求速率不变的情况下,如果单次持有连接时间从20毫秒增加到50毫秒,理论连接需求会从:

RPS × 0.020

变为:

RPS × 0.050

也就是增加到原来的2.5倍。因此,数据增长规划必须与查询延迟、索引和数据库IO能力一起评估,不能只看表的行数或磁盘容量。

资源变量:计算应用与数据库的共同上限

Linux应用服务器的CPU不是连接池上限

4个vCPU的Linux应用服务器,并不意味着HikariCP只能设置4个连接,也不意味着设置8个连接就一定合理。连接池中的连接主要用于等待数据库执行或返回结果,实际承载能力还取决于:

  • 应用线程是否被CPU计算、序列化或垃圾回收占用;
  • 数据库是否与应用部署在同一台Linux服务器;
  • 数据库查询是CPU密集型、磁盘密集型还是锁等待型;
  • 数据库与应用之间的网络延迟;
  • 单个连接占用的数据库会话内存;
  • 请求是否长时间持有事务连接。

如果数据库和应用位于同一台服务器,扩大连接池会同时增加应用线程、数据库进程或线程、内存和磁盘IO竞争。此时不能只观察HikariCP的等待时间,还要检查Linux主机的CPU利用率、运行队列、内存回收和IO等待。

先计算数据库连接预算

数据库的max_connections或类似参数只是允许建立的连接总上限,不等于数据库适合长期并发执行的查询数。需要为管理连接、监控、主从复制、其他应用和故障处理保留空间。

可以按以下方式计算某个应用的数据源连接预算:

应用连接预算 = 数据库连接上限 - 管理预留 - 其他服务最大连接数 - 其他数据源连接数

例如,数据库允许100个连接,计划预留15个,其他服务最多占用25个,则当前应用和相关后台任务的理论预算不应超过60个。这个60是连接总量上限,不是建议直接将HikariCP设置为60。

在实际容量规划中,还应区分两个概念:

  • 开放连接预算:数据库能够接受并保持的连接数量,包含空闲连接;
  • 有效查询并发:数据库在CPU、IO和锁等待处于可接受范围内时,适合同时执行的查询数量。

数据库可能允许100个连接,但在某种查询负载下,20个活跃查询已经使CPU或IO达到瓶颈。此时将连接池从20增加到50,通常只会把请求从应用连接池排队转移到数据库内部排队。

资源变量:计算应用与数据库的共同上限配图

多实例时计算总连接数

应用实例数量变化会直接影响数据库连接总量:

总连接数上限 = 实例数量 × 单实例maximumPoolSize

如果应用同时配置读库、写库两个数据源,还应分别计算:

总连接数上限 = 实例数 × (读库连接池上限 + 写库连接池上限)

后台任务如果使用独立数据源,也要加入预算。自动扩容场景尤其需要按最大实例数计算,而不能只按当前实例数计算。例如:

  • 当前运行2个实例;
  • 自动扩容上限为6个实例;
  • 每个实例配置16个连接。

数据库应按最多96个应用连接进行容量检查,而不是只按当前32个连接准备资源。

瓶颈判断:先确认是不是连接池太小

HikariCP需要重点观察的指标

不同监控组件对指标名称的封装可能不同,但通常应关注以下数据:

  • active:正在被应用借用的连接数;
  • idle:空闲连接数;
  • pending或threadsAwaitingConnection:等待连接的线程数;
  • 连接获取耗时;
  • 连接使用耗时;
  • 连接超时次数;
  • 连接创建和销毁频率。

如果active长期接近maximumPoolSize,且pending持续大于0,说明连接池可能成为排队点。但还不能立即增加连接数,需要同步查看数据库CPU、IO、锁等待和慢查询。

可以使用Linux基础工具辅助判断主机状态:

nproc
free -h
vmstat 1
iostat -xz 1

这些命令只用于查看资源状态。iostat通常由sysstat软件包提供,具体是否可用取决于Linux发行版和服务器安装情况。

瓶颈判断:先确认是不是连接池太小配图

常见现象与处理方向

现象可能原因优先处理方向
Hikari等待连接,数据库CPU和IO仍有余量连接池偏小、实例负载不均、连接泄漏检查连接归还、事务范围和实例分布,逐步增加连接池
Hikari连接接近上限,数据库CPU持续高数据库计算能力不足或SQL效率低优化SQL和索引,增加数据库资源,不要直接扩大连接池
Hikari连接接近上限,数据库IO等待高扫描、排序、日志或存储性能成为瓶颈检查执行计划、缓存命中、存储延迟和数据访问范围
数据库活跃连接不多,但请求响应很慢应用CPU、网络、锁等待或连接获取之外的环节变慢区分应用耗时、网络耗时、锁等待和SQL执行耗时
连接超时次数增加,数据库已接近连接上限数据库连接预算不足限制实例池总量,优化查询,扩展数据库或拆分负载
连接使用时间突然变长数据量增长、慢SQL、锁竞争或下游响应变慢查看慢查询、事务持续时间和数据访问计划

连接池等待和数据库执行慢是两类不同问题。数据库已经处于高CPU、高IO或严重锁等待状态时,继续提高maximumPoolSize,往往会增加并发争用,使平均延迟和尾延迟进一步升高。

容量估算:把需求、余量和实例数放到同一张表

基本计算关系

对每类数据库请求,先计算连接需求:

连接需求_i = 峰值请求速率_i × 平均持有连接时间_i(秒)

所有类型相加后得到基础需求:

基础连接需求 = 连接需求_1 + 连接需求_2 + ... + 连接需求_n

再结合测量误差、突发流量和增长空间:

规划连接需求 = 向上取整(基础连接需求 × 峰值修正系数 × 余量系数)

这里的系数不能机械固定:

  • 流量稳定、查询短且监控完整时,余量可以相对小;
  • 流量波动明显、存在批处理或数据增长不确定时,余量需要更大;
  • 不应同时把多个未经验证的P95数据简单相乘,否则可能过度放大结果;
  • 最终仍要受到数据库连接预算和数据库有效并发能力约束。

一个可复核的估算示例

设某Java应用运行在Linux服务器上,当前有2个实例,计划最多扩展到4个实例。业务峰值负载如下:

  • 普通读取:180次/秒,平均持有连接18毫秒;
  • 写入事务:50次/秒,平均持有连接45毫秒;
  • 报表查询:10次/秒,平均持有连接250毫秒。

基础连接需求为:

  • 普通读取:180 × 0.018 = 3.24
  • 写入事务:50 × 0.045 = 2.25
  • 报表查询:10 × 0.250 = 2.50
  • 合计:3.24 + 2.25 + 2.50 = 7.99

按照40%的峰值和测量余量计算:

7.99 × 1.40 = 11.186

可以将全局规划需求按12个连接附近进行验证。但由于请求不一定均匀分布到实例,还要考虑单实例负载偏斜。若按2个实例、1.3倍分布偏斜系数估算:

11.186 ÷ 2 × 1.3 = 7.271

单实例连接池上限可以先取8,再通过压测和峰值监控验证。

如果自动扩容上限为4个实例,单实例配置8个连接,则应用可能建立的连接上限是:

4 × 8 = 32

假设数据库连接上限为100,为管理用途预留15个,其他服务可能占用25个,则当前应用的开放连接预算约为60个。32个连接仍在预算内,但还要确认数据库在32个连接同时存在、其中一部分执行复杂查询时,CPU、IO和锁等待是否可接受。

容量估算:把需求、余量和实例数放到同一张表配图

这个示例中的8不是某类服务器的固定答案。如果报表查询增加、持有连接时间从250毫秒升至500毫秒,基础需求会明显增加;如果优化索引后报表连接占用降至100毫秒,连接池需求则可能下降。容量值必须随负载画像变化重新计算。

连接池规划也需要结合应用与数据库所在的硬件资源。A5idc数据提供中国香港、美国、日本等地区的物理服务器,涵盖Xeon与AMD EPYC平台,并有搭配大内存和NVMe存储的配置,可为Java应用、数据库及多实例业务部署提供不同的计算与存储资源选择。

HikariCP配置:先设置上限,再决定空闲连接策略

在Spring Boot中,可以使用类似下面的配置作为示例起点:

spring:
  datasource:
    hikari:
      maximum-pool-size: 8
      connection-timeout: 2000
      validation-timeout: 1000
      max-lifetime: 1500000

其中:

  • maximum-pool-size: 8表示单个应用实例最多保持8个连接;
  • connection-timeout: 2000表示等待连接的最长时间为2000毫秒,实际值应结合接口超时预算设置;
  • validation-timeout: 1000表示连接校验的超时时间;
  • max-lifetime: 1500000是25分钟,实际应短于数据库、网络设备或代理设置的连接生命周期,不能直接照搬。

HikariCP在未单独设置minimumIdle时,通常按固定大小连接池运行,空闲连接下限接近最大连接数。固定池适合连接创建代价较高、负载稳定且数据库有足够连接预算的服务。如果应用实例经常自动扩容,而数据库连接预算较紧,可以考虑降低minimumIdle,例如:

spring:
  datasource:
    hikari:
      maximum-pool-size: 8
      minimum-idle: 2
      connection-timeout: 2000
      validation-timeout: 1000
      max-lifetime: 1500000

降低minimumIdle只能减少平时保持的空闲连接,不能提高峰值并发能力。突发流量到来时,连接池需要临时创建连接,可能产生连接建立延迟,因此应通过压测确认这种策略是否满足接口响应时间要求。对于固定容量、低延迟优先的服务,保持一定数量的预热连接通常更容易控制延迟;对于实例频繁伸缩的服务,则需要在数据库连接占用和突发响应之间取舍。

不要为了避免连接等待而把maximumPoolSize设置为数据库的最大连接数,也不要为每个Linux应用实例单独设置一个未经汇总的“大连接池”。配置前应列出所有实例、所有数据源和所有后台任务的连接上限。

容量余量:为增长和数据变化预留空间

流量增长与数据增长要分别计算

如果预计未来若干个月请求量按月增长,可以使用:

规划请求速率 = 当前峰值请求速率 × (1 + 月增长率)^月份数

数据量也可以单独估算:

规划数据量 = 当前数据量 × (1 + 数据月增长率)^月份数

两者不能混为一谈。请求量增长会直接增加连接需求;数据量增长则主要通过查询耗时、IO和锁竞争间接影响连接需求。因此,规划未来连接池大小时,不能只把当前连接数乘一个增长比例,还需要重新评估规划数据规模下的连接持有时间。

连接池余量不等于数据库余量

应用侧可以保留20%至40%的连接需求余量,但数据库侧还要保留管理连接、其他服务和故障处理空间。如果应用已经占用数据库安全预算的大部分,即使应用自身还有余量,也不适合继续增加连接池。

比较稳妥的容量判断顺序是:

  1. 以业务峰值窗口计算各请求类型的连接需求;
  2. 用规划数据规模重新验证SQL和连接持有时间;
  3. 为流量突发和测量误差增加余量;
  4. 按实例数、数据源数计算连接总上限;
  5. 与数据库连接预算、CPU、IO和锁等待结果对照;
  6. 通过压力测试逐步增加并发,确认数据库的有效承载区间。

扩容触发点:根据瓶颈选择扩应用、扩数据库还是优化SQL

当HikariCP等待连接,但数据库CPU、磁盘IO和锁等待仍处于可接受范围,可以小幅增加单实例连接池,或者增加应用实例并重新计算数据库总连接数。每次调整建议只改变一个主要变量,例如将每个实例从8调整到10,再观察一个完整峰值周期,避免同时扩实例、扩连接池和修改SQL后无法判断效果。

当数据库CPU持续较高、磁盘延迟上升、锁等待增加或活跃查询已经达到数据库有效并发上限时,不应继续扩大连接池。此时应优先处理以下问题:

  • 检查慢SQL和执行计划;
  • 补充或调整索引;
  • 缩小事务范围;
  • 限制报表和批处理的并发;
  • 将重查询安排到独立数据源或只读节点;
  • 提升数据库CPU、内存或存储能力;
  • 在必要时拆分高峰时段的任务。

当应用服务器CPU、垃圾回收或线程池成为瓶颈,而数据库仍有余量时,增加Linux应用实例通常比单纯扩大HikariCP更合适。但增加实例会按比例增加数据库连接总量,扩容前必须重新检查:

新增实例数 × 单实例maximumPoolSize

是否仍在数据库预算内。

用监控数据确定具体阈值

阈值不应只采用一个固定数字,而应根据业务接口的延迟目标和数据库基线确定。可以按以下方式落地:

  • 在正常时段、业务峰值和批处理时段分别记录Hikari的活跃连接、空闲连接、等待线程和连接获取耗时;
  • 记录数据库CPU、磁盘延迟、锁等待、活跃会话、慢查询和事务持续时间;
  • 将连接池等待时间控制在接口响应时间预算的一小部分内,例如接口允许500毫秒响应时,连接获取不应长期占用其中的大部分;
  • 将“等待线程持续大于0”“连接获取P95持续升高”“连接超时出现”作为应用侧预警;
  • 将数据库CPU、IO或锁等待持续超过基线并伴随SQL延迟升高作为数据库侧预警;
  • 只有在连接池接近上限、数据库资源仍有余量时,才把增加连接池作为第一候选方案。

例如,可以把“连续多个监控周期存在等待线程且连接获取P95超过业务预算的10%”设为连接池观察条件;把“数据库CPU或IO等待连续多个峰值周期超过预先确认的安全线”设为停止加连接的条件。具体持续时间应结合业务峰值长度确定,短暂尖峰与持续十几分钟的排队不能使用同一处理方式。

最终的连接池配置,应同时满足三个条件:业务峰值下连接等待可接受,数据库资源没有因连接增加而进入争用区,实例扩容到规划上限后总连接数仍低于数据库预算。只要其中任一条件不满足,就应重新评估查询、数据库资源、应用实例数和连接池上限,而不是继续单向调大maximumPoolSize。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7602.html

相关推荐