应用频繁等待连接,托管PostgreSQL的数据库连接池该如何调整?

发布人:A5数据发布时间:2026-11-17 09:16阅读量:1

应用频繁等待连接,不一定说明连接池太小。先区分等待发生在应用连接池、数据库建立连接的过程,还是连接拿到手之后的 SQL 执行阶段;只有第一种情况且数据库仍有处理余量时,适度增加应用池容量才可能缓解。若数据库连接数已接近可用上限,或 CPU、查询延迟和锁等待同时上升,扩大连接池反而可能加重拥塞。

调整托管 PostgreSQL 的连接池,应同时观察应用侧的连接获取延迟、活跃与排队连接数,以及数据库侧的连接占用、查询耗时和资源使用。先在同一时间窗口内确认瓶颈,再按实例总量计算连接预算,逐步调整并复测,避免只盯一个“等待连接”指标。

先确认连接是在什么阶段等待

“等待连接”可能指几种不同的问题,处理方式并不相同:

表现更可能的等待位置优先核对
应用日志提示获取连接超时,池中等待数增加应用连接池没有空闲连接连接池活跃数、空闲数、等待数、获取延迟
建立数据库连接失败,或出现连接数已达上限的错误新连接无法被数据库或中间连接代理接受数据库当前连接数、服务计划限制、连接创建错误
获取连接很快,但请求整体耗时仍高SQL 执行、锁、存储或网络阶段变慢查询耗时、等待事件、锁等待、数据库资源指标
连接池长期满载,数据库却有大量空闲连接应用连接管理或连接路由可能不匹配连接是否泄漏、连接是否被长事务占用、读写目标是否正确

例如,连接池日志中的“等待获取连接超时”说明请求在应用侧没能及时拿到连接;它本身不能证明数据库执行 SQL 太慢。反过来,如果应用获取连接的 p95 只有几毫秒,但接口耗时持续上升,就应检查 SQL 和数据库等待,而不是先扩大连接池。

还要留意连接创建耗时。应用池有空位,但新连接建立、认证或网络握手变慢,也会导致请求等候。若日志出现数据库连接拒绝、认证失败或服务端连接数超限,问题通常不在池内可用连接的数量本身。

在同一时间窗口里观察两侧指标

建议将应用和数据库指标按相同时间粒度对齐,例如先看一个业务高峰前后的 15~30 分钟,再对照具体请求或慢查询。短暂尖峰、滚动发布和定时任务可能造成不同的波形,使用较长周期的平均值容易把它们掩盖。

应用侧至少记录以下指标:

  • 获取连接耗时:关注 p95、p99,而不只看平均值。
  • 活跃连接、空闲连接和池上限:观察活跃数是否持续贴近上限,空闲连接是否始终为零。
  • 等待获取连接的请求数及等待超时数:等待人数随请求量快速增长,通常比单次超时更早暴露拥塞。
  • 连接创建速率与失败数:有助于区分池内排队和新建连接遇阻。
  • 应用实例数及每个实例的池配置:扩容后总连接预算也会随之变化。

数据库侧可以查看当前连接占用、活动查询、事务时长、等待事件、查询延迟和 CPU 等指标。托管服务的监控面板通常还会提供连接数、CPU、存储延迟或 I/O 等数据;不同服务的指标名称和权限可能不同,应以实际控制台为准。

在有权限访问 pg_stat_activity 时,可用只读查询观察当前数据库内连接的状态。结果是某一时刻的快照,不应单独用于判定持续趋势:

SELECT
    COALESCE(state, 'unknown') AS state,
    COALESCE(wait_event_type, 'none') AS wait_type,
    COALESCE(wait_event, 'none') AS wait_event,
    COUNT(*) AS connections
FROM pg_stat_activity
WHERE datname = current_database()
  AND pid <> pg_backend_pid()
GROUP BY state, wait_event_type, wait_event
ORDER BY connections DESC;

要进一步检查持续时间较长的事务,可查看事务开始时间和会话状态:

SELECT
    pid,
    application_name,
    state,
    now() - xact_start AS transaction_age,
    wait_event_type,
    wait_event,
    LEFT(query, 160) AS query_sample
FROM pg_stat_activity
WHERE datname = current_database()
  AND xact_start IS NOT NULL
ORDER BY xact_start;

长事务可能占住应用池中的连接,也可能让锁或清理工作受到影响。查询文本可能包含业务数据,输出和日志应按生产环境的数据权限要求处理;在托管环境中,能看到的会话和查询信息还可能受账号权限限制。

观察等待事件时,不要把所有等待都当作数据库卡顿。例如,idle 会话上的 ClientRead 通常表示数据库正在等待客户端发送下一条命令,这不等同于一条活动查询在等待数据库资源。应结合会话状态、持续时间和应用侧连接池指标判断。

用指标组合区分几类常见瓶颈

单一指标只能提示方向,指标的同步变化更有判断价值。

同一窗口内的表现较符合的解释下一步核对
池活跃连接贴近上限、等待数增加;数据库连接占用仍有余量,查询延迟稳定应用池可能偏小,或连接被应用侧持有过久事务和连接使用时长、每实例池上限、总实例数
池等待增加;数据库连接数接近可用额度,CPU 或查询延迟也上升数据库端已接近承载边界,增大池可能放大竞争慢查询、锁等待、查询并发、服务计划容量
获取连接耗时上升;池未满,但连接创建失败或耗时增加建连、认证、网络路径或托管连接代理可能有问题连接错误、DNS 与网络状态、服务端限制、代理端指标
池连接数很高,但大量会话为 idle;业务请求并未相应增加池配置、实例扩缩容或连接释放策略可能导致连接积存每实例池大小、实例数量、空闲连接、应用发布过程
池持续满载,数据库会话中有长事务或 idle in transaction连接被事务或业务逻辑长时间占用事务边界、外部调用是否发生在事务内、异常路径是否关闭连接
应用获取连接正常,但查询耗时、锁等待或 I/O 等待上升主要矛盾不在连接池慢查询、执行计划、索引、锁冲突及存储表现

比如,某个服务的连接池等待 p99 从 20 毫秒升至 1.5 秒,同时池活跃数长期达到上限;但数据库连接占用离服务允许的上限仍有明显距离,CPU 和查询耗时也较稳定。此时可以检查连接是否被事务或业务代码过久占用,并小幅增加池上限做对照。

如果同一时段数据库连接数已贴近可用上限,CPU 和查询 p95 也持续上升,则“池满”更可能是数据库侧处理能力不足的伴随表现。继续加大池子可能让更多 SQL 同时进入数据库,提升上下文切换、锁竞争或 I/O 排队,结果是获取连接等待暂时变化,但请求整体耗时进一步变差。

用指标组合区分几类常见瓶颈配图

先算总连接预算,再决定单池上限

应用池通常按进程或实例分别创建。只看单个进程的 maximumPoolSize,容易低估扩容后的连接总量。可先用下式估算应用可能同时占用的连接数:

应用最大连接需求 ≈ 应用实例数 × 每实例的池上限 + 后台任务及其他客户端连接

假设某服务有 8 个实例,每实例连接池上限为 20,则该服务理论上最多可能建立 160 个连接;若还有 3 个任务进程,各自最多 5 个连接,合计上限就达到 175。数据库的可用连接额度还要留给管理连接、迁移任务、监控、其他服务和服务商保留用途。托管 PostgreSQL 的套餐上限、保留连接和代理限制可能各不相同,不能仅凭 max_connections 推断应用能使用的全部额度。

先算总连接预算,再决定单池上限配图

连接预算应按主库、只读副本和不同数据库目标分别计算。若每个应用实例同时建立主库池和只读池,就要把两个池都纳入总量;如果有多个应用服务访问同一实例,也要将它们合并核算。应用扩缩容、任务并发和滚动发布期间的连接行为,同样可能高于日常稳态。

连接池上限也不应直接按 Web 请求并发量设置。许多请求并不需要同时执行数据库操作;即使有较高请求并发,短时访问数据库的实际并发也可能低得多。可以结合数据库查询吞吐和单次数据库服务时间估算所需并发:数据库操作并发的粗略量级 ≈ 每秒完成的数据库操作数 × 每个操作在数据库中的平均耗时(秒)。例如,每秒完成 200 次操作、平均每次在数据库中执行 0.05 秒,粗略并发量约为 10。该估算只是起点,实际还需考虑查询时长分布、事务行为和突发流量。

可从一个保守的池上限开始,在业务高峰中确认等待是否由池容量造成,再小步增加并复测。每次调整都要确保所有实例的池上限总和没有挤占其他连接用途,也要观察数据库连接数、CPU、查询延迟和错误率是否一起恶化。

连接池规划所依托的数据库与业务后台,也需要匹配相应的计算和存储资源。A5idc数据提供中国香港、美国、日本等地区的物理服务器,覆盖 Xeon Gold、AMD EPYC 等平台,并有搭配 NVMe 存储和不同内存配置的方案,可为 PostgreSQL 数据库及应用服务部署提供硬件基础,承载业务访问、数据处理与多任务运行需求。

分层调整应用池与托管连接池

应用侧连接池

以 HikariCP 为例,以下配置展示了需要关注的主要参数。数值仅作格式示例,应根据实例数量、数据库可用连接预算和观察结果确定:

spring.datasource.hikari.maximum-pool-size=12
spring.datasource.hikari.minimum-idle=2
spring.datasource.hikari.connection-timeout=3000
spring.datasource.hikari.max-lifetime=1500000
  • maximum-pool-size 控制单个应用进程的池上限。调整前应先乘以可能同时运行的进程数,并合并同一数据库上的其他客户端。
  • minimum-idle 决定池中可保留的空闲连接数量。设得过高会让低流量时也长期占用数据库连接;设得过低则可能在流量突增时需要集中建连。
  • connection-timeout 控制应用等待池内连接的时间。缩短它会更早暴露拥塞,但不会增加数据库处理能力;延长它也可能让请求线程长时间排队。
  • max-lifetime 应结合服务端或连接代理的连接回收策略设置,避免连接长期存活到服务端已关闭它才被应用使用。实际取值需核对托管服务的连接行为和应用池文档。

连接池等待超时应与请求时限和故障表现相匹配。若一次请求总时限只有数秒,把连接等待配置成远长于请求时限,通常只是延后失败;反过来,设置得过短也可能把短暂抖动放大为大量错误。调整时应同时看获取连接延迟的分位数、超时数量和请求整体耗时。

如果活跃连接长期高于预期,还应检查事务是否覆盖了不必要的工作。例如,在事务中调用外部服务、等待用户操作,或在异常分支中未及时释放连接,都可能增加连接占用时长。盲目扩大池子可能掩盖问题,却会增加数据库并发压力。

托管连接代理或 PgBouncer

如果托管平台提供连接代理,或自行使用 PgBouncer,还要区分客户端连接数和数据库后端连接数。代理可以让很多客户端连接复用较少的数据库连接,但代理自身也有连接上限、排队和路由策略;接入代理不代表数据库端容量无限。

托管连接代理或 PgBouncer配图

使用事务级复用时,应用事务结束后,后端连接可能交给其他客户端复用。依赖会话级状态的功能需要特别核对兼容性,例如临时表、会话级设置、会话级 advisory lock,以及预处理语句在具体代理版本和配置下的支持情况。不能只把连接字符串切换到代理端点,就假设所有应用行为都保持一致。

当代理侧等待增加时,要同时检查客户端连接数、代理端排队、后端连接数和数据库活动情况。如果客户端连接多而后端连接有余量,问题可能在代理池配置或路由;若后端连接已满且数据库查询变慢,则应回到数据库容量和查询负载分析。不同托管服务对代理端点、连接上限和可调参数的支持差异较大,应以对应服务的配置说明为准。

通过小步复测验证调整是否有效

调整前先保存当前配置,并记录同一时间窗口里的基线:应用获取连接 p95/p99、等待数、池活跃与空闲数、数据库连接数、查询延迟、错误数和主要资源指标。若只改池上限,就尽量避免同时更改查询、实例规格或代理设置,否则难以确认效果来自哪项变化。

随后按可控范围调整,并覆盖相近的业务负载进行对照。重点看以下几项是否一起改善:

  1. 获取连接 p95/p99 和等待超时是否下降。
  2. 数据库连接数是否仍留有足够的非应用连接空间。
  3. 查询延迟、CPU、锁等待或 I/O 等待是否没有同步恶化。
  4. 请求耗时和错误率是否改善,而不只是连接池指标变化。
  5. 扩容、发布或任务启动时,连接创建是否出现集中尖峰。

如果连接获取延迟下降,但数据库 CPU、查询延迟和锁等待明显上升,说明增加并发未带来有效吞吐,宜回到上一个可控配置,转而处理慢查询、长事务或数据库容量。回调配置前,应确认当前是否有正在发布的实例,并按应用的变更方式逐步恢复;连接池配置变更通常会影响应用进程的连接行为,避免所有实例同时重启造成新的建连峰值。

如果连接池等待没有改善,而池本身并未接近上限,应优先查连接创建、网络路径、认证和托管代理状态。若连接池持续满载且数据库压力不高,则检查连接持有时间与事务边界,再评估是否需要小幅提高上限。

通过小步复测验证调整是否有效配图

下一次排查时,至少把应用获取连接 p95/p99、池活跃与等待数、数据库连接占用、查询延迟和数据库资源使用放在同一张时间线上。它们的同步变化,通常比孤立的连接数或 CPU 峰值更能说明该调池、调 SQL,还是检查建连链路。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9862.html

相关推荐