香港服务器上的PostgreSQL连接数持续增长,如何优化连接管理?

发布人:A5数据发布时间:2026-10-17 09:09阅读量:113

PostgreSQL连接数持续增长,不一定意味着数据库处理能力不足。只看连接总数,容易把连接池预热、应用扩容误判为连接泄漏,也可能把慢查询、锁等待造成的连接堆积,误判为需要提高max_connections。

优化香港服务器上的PostgreSQL连接管理,应把连接状态、应用连接池等待、查询耗时、CPU、内存、I/O和网络放到同一时间窗口内分析:空闲连接增长,优先检查连接池规模和归还机制;活跃连接增长,要判断查询、锁或资源是否拖慢了连接释放;跨地域应用访问香港数据库时,还要区分网络等待与数据库执行时间。目标不是单纯减少连接,而是让有限连接承载稳定吞吐,避免排队和错误率持续上升。

建立观察窗口:让连接数与业务负载对齐

先选取一个包含增长前、增长中、增长后的观察窗口,例如连续30分钟,并记录应用发布、实例扩容、定时任务启动等事件。常态可以按分钟采样;如果尖峰只有几十秒,需要缩短采样间隔,否则均值会掩盖连接耗尽。

至少同时观察以下指标:

观察层关键指标用途
业务入口请求速率、响应时间P95/P99、错误率判断连接增加是否伴随真实负载增长
应用连接池已用连接、空闲连接、等待队列、获取连接耗时、超时次数判断请求是否堵在获取连接阶段
PostgreSQL客户端连接数、连接状态、事务时长、等待事件、阻塞关系判断连接被什么工作占用
服务器资源CPU、可用内存、交换活动、磁盘延迟、I/O吞吐判断是否存在计算、内存或存储瓶颈
网络链路应用到数据库的RTT、重传、断连、建连耗时判断数据库外部等待是否延长连接占用

这些指标应使用相同时间范围。响应时间分位数也应统一口径,不能直接平均多个应用实例的P95;应使用可合并的延迟直方图,或分别比较各实例。

香港服务器的地域因素主要影响应用到数据库的链路。如果应用和数据库都在香港同一机房内,先检查内部网络、存储和连接池;如果应用位于其他地区,则必须同步观察跨地域RTT与重传。终端用户到香港网站的延迟,不等于应用到PostgreSQL的延迟,二者不能混用。

指标A变化:连接增长究竟发生在哪一种状态

先确认版本和连接上限。以下语句为只读检查:

SHOW server_version;
SHOW max_connections;

再观察连接组成。下面的示例适用于支持backend_type的PostgreSQL版本;普通账号可能无法查看其他会话的完整信息,应使用已有的合规监控账号,不必为排查直接赋予超级用户权限。

SELECT
    datname,
    application_name,
    client_addr,
    state,
    wait_event_type,
    wait_event,
    count(*) AS connections,
    max(clock_timestamp() - xact_start)
        FILTER (WHERE xact_start IS NOT NULL) AS oldest_transaction_age
FROM pg_stat_activity
WHERE backend_type = 'client backend'
  AND pid <> pg_backend_pid()
GROUP BY
    datname, application_name, client_addr,
    state, wait_event_type, wait_event
ORDER BY connections DESC;

应用应设置有辨识度的application_name,便于区分Web服务、后台任务和不同应用实例。

读取结果时,重点区分三种情况:

  • idle增加:数据库会话正在等待客户端下一条命令,可能是连接池保留,也可能是应用未归还连接。
  • active增加:会话正在执行命令,但不代表一直消耗CPU;它也可能在等待锁、I/O或客户端接收数据。
  • idle in transaction增加:客户端开启了事务,却没有继续执行或结束事务,应优先排查事务边界和异常处理。

数据库里的idle,不等于应用池里的“可用连接”。应用已经借出连接、却在等待外部接口或处理业务逻辑时,数据库会话仍可能显示为idle。判断泄漏必须同时看应用池的借出、归还和持有时长。

指标A变化:连接增长究竟发生在哪一种状态配图

也不要用空闲会话的query_start直接衡量“正在执行多久”,因为它可能对应上一条查询。事务年龄看xact_start,当前状态持续时间看state_change,活跃查询耗时才结合query_start。

指标B联动:相同的增长曲线,可能对应不同原因

下面是一组用于说明判断方法的模拟数据,并非实际监控结果:

指标增长前增长中增长后
请求速率240次/秒245次/秒238次/秒
PostgreSQL客户端连接90220390
活跃连接121413
空闲连接76203373
CPU使用率28%30%29%
查询耗时P9532毫秒34毫秒33毫秒
应用获取连接耗时P953毫秒18毫秒160毫秒

这组数据不支持“数据库执行能力不足”的直接判断:吞吐、活跃连接和查询耗时基本稳定,增加的主要是空闲连接。

如果应用实例数量没变,应用池已用连接却持续增长、归还计数跟不上,应怀疑连接被长期持有或异常路径未释放。如果实例数量同步增加,则更可能是每个实例创建了自己的连接池。两种情况的数据库曲线相似,修复方法却不同。

活跃连接增长,要继续追踪等待类型

另一种典型变化是:请求速率基本不变,活跃连接增加,查询P95从几十毫秒升至数百毫秒,应用连接池队列随之增长。此时连接堆积更可能是处理变慢的结果。

  • CPU同步升高,且执行计划出现大量扫描或计算:检查慢查询、统计信息和索引匹配。
  • CPU不高,但磁盘延迟与读取量升高:检查存储、缓存命中变化及查询读取范围。
  • 多个活跃会话等待Lock:检查阻塞链,不能仅靠增大池容量解决。
  • 网络重传或RTT升高,而数据库执行耗时变化不大:检查链路、建连过程、结果集大小及客户端消费速度。

PostgreSQL的active会话出现ClientRead或ClientWrite等待时,也不能直接认定网络故障。客户端代码、结果读取方式和协议交互同样可能造成这些等待。

指标B联动:相同的增长曲线,可能对应不同原因配图

连接数与内存要关联,但不能简单相乘

更多连接会增加进程和会话开销,但内存风险还取决于并发执行的查询。work_mem不是“每个连接固定预留的一块内存”,复杂查询可能同时包含多个排序或哈希操作,并受并行执行影响。

因此,要把可用内存下降、交换活动、查询并发和临时文件增长放在一起看。也不要简单累加所有PostgreSQL进程的RSS估算总占用,因为共享内存可能被重复计算。

A5数据提供香港Xeon Gold与AMD EPYC物理服务器,以多档CPU、内存及SSD、NVMe存储组合,为PostgreSQL数据库缓存、并发查询和数据读写提供资源基础。其香港产品涵盖CN2与国际带宽方案,可承载业务后台、接口服务与数据库之间的网络通信;不同资源档位也为应用服务与数据库分层部署、业务扩展及连接池服务运行提供硬件选择。

排除替代解释:先区分正常扩张与异常占用

修改参数前,先核对以下条件:

  1. 应用实例是否增加。 单实例池上限为20,10个实例理论上可建立200个连接;滚动发布时新旧实例重叠,还可能短暂翻倍。
  2. 后台任务是否新建了连接池。 Web服务、任务队列、报表和迁移工具的连接预算需要一起计算。
  3. 连接池是否正在预热。 最小空闲连接较大时,启动后连接数上升并进入平台期,未必是泄漏。
  4. 超时后是否立即重试。 无退避的重试会放大建连与请求压力,形成“等待—超时—重试—更长等待”的循环。
  5. 事务是否跨越外部调用。 在事务中等待HTTP接口、文件上传或长时间业务计算,会延长连接持有时间。

对于疑似锁等待,可以用只读查询查看阻塞关系:

SELECT
    pid,
    application_name,
    clock_timestamp() - xact_start AS transaction_age,
    clock_timestamp() - query_start AS query_age,
    wait_event_type,
    wait_event,
    pg_blocking_pids(pid) AS blocking_pids
FROM pg_stat_activity
WHERE state = 'active'
  AND pid <> pg_backend_pid()
ORDER BY xact_start NULLS LAST;

存在阻塞时,先确认阻塞事务属于什么业务。不要看到连接多就批量终止会话:断开连接会中断请求,未提交事务会回滚,应用重试还可能进一步放大压力。确需应急终止时,应明确影响范围、确认备份与恢复安排,并认识到终止本身无法撤销,业务只能通过重试或补偿恢复。

形成判断:按占用原因优化连接管理

空闲连接增长:收紧池规模,修复归还机制

连接预算应从整个服务集群计算,而不是只看单实例:

应用实例数 × 单实例池上限 + 后台任务连接 + 运维与监控预留,应低于数据库可分配给业务的连接容量。

例如数据库配置上限为200,容量规划暂留30个连接名额,10个应用实例便不宜各自配置20个连接。这里的预留是规划余量,不等同于PostgreSQL自动保留的管理连接槽位;后者需按版本和实际配置核对。

修复重点是确保正常返回、异常、取消和超时路径都归还连接,并保证事务明确提交或回滚。不要把连接持有范围扩大到整个请求生命周期,尤其不要持有数据库连接等待外部服务。

活跃连接增长:缩短占用,而不是扩大等待人数

连接需求与吞吐和占用时间有关。稳定状态下,平均并发占用约等于“每秒数据库操作次数 × 平均连接持有时间”。

例如每秒240次请求,每次借出一次连接,平均持有40毫秒,则平均占用约为:

240 × 0.04 = 9.6个连接。

这不是池上限的直接答案,还需要为突发、长尾和任务重叠留余量。但如果持有时间升至400毫秒,平均占用就变为96个。此时把池从100扩大到200,可能只是让更多慢操作同时进入数据库。

应根据联动证据缩短占用:优化执行计划、补充合适索引、减少返回字段和行数、拆短事务,或为重复读取引入满足一致性要求的缓存。索引变更需单独评估写入成本、磁盘空间和实施影响,不能仅因连接增长就直接加索引。

连接来源过多:评估集中连接池

当应用实例很多、每个实例都保留空闲连接时,可以评估PgBouncer。事务池模式允许多个客户端在不同事务间复用服务端连接,但不能直接套用到依赖固定会话状态的应用。

上线前需要检查临时表、会话级参数、会话级锁、监听机制和预备语句兼容性。预备语句行为还与PgBouncer版本、配置及驱动有关,应核验现有版本并用真实业务路径测试。

容量上要分清:

  • 客户端连接上限控制应用到PgBouncer的连接数量。
  • 服务端池规模控制PgBouncer到PostgreSQL的连接数量,通常按数据库与用户组合形成池。
  • Reserve池、多组池及多个PgBouncer实例都可能增加服务端连接总量。

max_client_conn不能替代PostgreSQL连接预算;单个池大小也不能当作整个数据库的总连接数。集中连接池减少了服务端连接,并没有消除排队,仍需观察客户端等待时间与获取连接超时。

形成判断:按占用原因优化连接管理 / 连接来源过多:评估集中连接池配图

超时策略:限制异常占用,但保留恢复路径

连接获取超时、SQL执行超时、空闲事务超时解决的是不同问题:

策略主要约束风险边界
应用获取连接超时连接池排队设置过短会使短暂突发变成业务错误
statement_timeout语句执行时间可能中断报表、批处理及正常长查询
idle_in_transaction_session_timeout事务内空闲时间会断开会话并回滚未提交事务

优先按应用或角色小范围调整,不宜直接对所有业务统一设置激进值。变更前保存应用配置和数据库原有设置,确认驱动的异常、回滚及重试行为;变更后用新连接验证生效范围。出现正常请求误杀,应恢复原值,而不是盲目重置为默认值。

提高max_connections只能作为经过容量核算的措施。它涉及重启与资源风险,应事先备份配置、安排维护窗口,并保留原值用于回退;不能把它当作连接泄漏或慢查询的修复方案。

复测:验证连接下降是否换来了更稳定的请求

每次只改变一个主要变量,并在相近请求速率、应用实例数量和业务构成下比较。压测应先在隔离环境或受控流量中进行,避免直接把生产数据库推到连接耗尽。

成功不只是连接总数下降,还应看到:活跃连接与吞吐关系合理,连接池队列不再持续累积,响应时间和错误率没有恶化,内存及I/O压力未被转移放大。

如果数据库连接从300降到80,但应用获取连接P95从20毫秒升至500毫秒,说明瓶颈可能只是被移到了池前。反过来,连接数稳定在较高平台、空闲连接有明确来源、资源与延迟稳定,也未必需要继续压低。

下一次出现香港服务器上的PostgreSQL连接增长时,应同时查看:请求速率、连接状态分布、连接持有时间、池等待队列、查询P95、锁等待、CPU、可用内存、磁盘延迟、应用到数据库的RTT与重传,以及错误率。这组指标能帮助判断增长来自正常容量扩张、应用占用异常,还是数据库或链路变慢,再决定收紧连接池、修复事务边界、优化查询或调整架构。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4126.html

相关推荐