数据库服务器PostgreSQL连接数耗尽,如何定位连接泄漏与池配置
PostgreSQL连接数耗尽,不一定意味着数据库“负载太高”,也不一定是连接池数量太少。连接数上升可能来自应用连接未归还、请求变慢导致连接占用时间变长、连接池配置超过数据库承载能力,或短时流量突增。要区分这些情况,应把连接数变化与响应时间、错误率、CPU、内存、磁盘I/O、网络和应用队列放在同一时间窗口观察,再决定是修复连接泄漏、调整池配置,还是处理数据库本身的性能瓶颈。
定位时首先回答两个问题:连接是被哪些客户端、哪些状态占用的?连接数增长时,数据库和应用的其他指标发生了什么变化?前者找出连接来源,后者帮助判断连接增长是原因还是结果。
先建立可对照的观察窗口
不要只截取连接数达到上限时的一张快照。至少记录故障前、故障期间和恢复后的指标;有条件时,按 30 秒或 1 分钟采样,覆盖数分钟到十几分钟。记录应用发布、流量峰值、定时任务和数据库维护作业的时间点,避免把同时发生的变化误当成因果。
观察窗口内建议同步记录:
| 指标 | 重点看什么 | 常见解释方向 |
|---|---|---|
| PostgreSQL连接数 | 总数、活跃数、空闲数、按客户端和应用名分组 | 连接增长集中在哪个来源,是否持续不回落 |
| 响应时间与错误率 | 应用请求延迟分位值、连接错误、超时和重试 | 连接等待是否已影响请求,重试是否放大负载 |
| CPU与负载 | 数据库CPU、系统负载、进程状态 | 查询执行、锁等待以外的系统拥塞 |
| 内存与交换 | 可用内存、交换空间、是否发生换页 | 连接数增加或查询内存消耗是否加剧内存压力 |
| 磁盘I/O | 延迟、队列长度、读写吞吐 | 慢查询或存储拥塞是否延长连接占用时间 |
| 网络与应用队列 | 数据库网卡流量、应用待处理请求数、连接池等待数 | 网络异常、请求积压或池容量不足 |
这些指标之间需要结合时间顺序解读。例如,连接数先上升,随后应用连接池等待和请求延迟上升,可能指向连接被长期占用;如果磁盘延迟先升高、查询耗时随后变长、最后连接数才上升,则连接数可能是慢查询或I/O瓶颈的结果。
指标A:确认连接数增长发生在哪里
PostgreSQL的连接上限由实例配置控制,但连接是否耗尽,要看当前总连接数与可用连接名额的关系。可先查询上限,再统计连接状态:
SHOW max_connections;
SHOW superuser_reserved_connections;
SELECT
COALESCE(datname, '(无数据库名)') AS database_name,
COALESCE(usename, '(无用户名)') AS user_name,
COALESCE(application_name, '(未设置应用名)') AS application_name,
COALESCE(client_addr::text, '(本地或未知)') AS client_addr,
state,
count(*) AS connection_count
FROM pg_stat_activity
GROUP BY 1, 2, 3, 4, 5
ORDER BY connection_count DESC;
pg_stat_activity里的连接状态可帮助缩小范围:
active:正在执行语句,不代表一定在消耗大量CPU;还要查看等待事件和查询持续时间。idle:当前没有执行语句,通常是连接池保留的空闲连接,也可能是应用借出连接后没有及时归还。idle in transaction:事务已经开始,但当前没有执行语句。事务未结束会持有事务状态,可能阻碍清理旧版本数据,也可能长期持有锁。idle in transaction (aborted):事务执行失败后未回滚或结束,连接仍处于未清理状态。
按客户端地址、数据库用户和 application_name 分组,通常比只看总数更有用。连接集中在单个应用实例,可能是该实例的池配置或代码路径异常;连接均匀分布在多个实例,则要检查实例数与每实例池上限的乘积;如果连接来自不认识的客户端或应用名缺失,则需核对连接来源,并补齐应用标识,方便后续观测。
再检查连接年龄、事务年龄及等待事件:
SELECT
pid,
usename,
application_name,
client_addr,
state,
wait_event_type,
wait_event,
now() - backend_start AS connection_age,
now() - xact_start AS transaction_age,
now() - query_start AS query_age,
left(query, 200) AS query_sample
FROM pg_stat_activity
WHERE pid <> pg_backend_pid()
ORDER BY xact_start NULLS LAST, query_start NULLS LAST;
query_age较长不必然代表查询慢:连接处于空闲状态时,查询字段可能是上一条语句;需要同时查看 state、xact_start 和 wait_event。如果连接长期处于 idle,查询年龄不能直接用来判断连接泄漏。敏感查询文本也可能包含业务数据,采集、展示和留存时应按权限控制。
如果查询结果显示大量连接属于同一应用,但连接数很快随请求量下降,可能是正常峰值;如果流量已经回落,连接仍持续增长,且连接集中在空闲或事务空闲状态,则连接池归还、事务结束或连接回收问题的可能性更高。
指标B:把连接数与响应时间、错误率和队列变化对齐
应用侧通常能提供连接池的关键指标:已借出连接数、空闲连接数、等待获取连接的请求数、获取连接耗时、连接创建与关闭速率。如果数据库显示连接数没到上限,但应用池等待持续增加,问题可能在应用池内部、池配置或连接获取超时,而不是数据库连接上限。
下面是一个用于解释关联关系的模拟场景,并非实际监控数据:

| 时间段 | PostgreSQL连接 | 应用池等待数 | 请求延迟P95 | 错误率 | 磁盘I/O延迟 |
|---|---|---|---|---|---|
| 正常时段 | 110 | 0 | 120 ms | 0.1% | 4 ms |
| 故障初期 | 175 | 18 | 420 ms | 0.4% | 5 ms |
| 故障期间 | 198 | 96 | 1.8 s | 6.5% | 6 ms |
| 流量回落后 | 196 | 71 | 1.2 s | 4.1% | 5 ms |
假设该实例配置了 200 个最大连接。连接数接近上限、池等待上升、响应时间恶化,但I/O延迟没有明显增加。这组变化更值得优先检查应用连接占用与归还,而不是先扩容磁盘。若连接数在流量回落后仍不下降,也应检查空闲连接的回收策略、长期事务和连接泄漏。
另一种时间序列则可能是磁盘I/O延迟先持续升高,查询耗时与活跃连接数随后增加,池等待和请求延迟最后上升。此时,连接耗尽可能是数据库工作变慢后产生的连锁结果。直接把池上限调大,可能只会让更多查询同时进入数据库,增加内存和I/O压力。
CPU、内存与网络也要一起看:
- CPU持续高、活跃查询多:检查查询计划、索引、并发任务和热点语句。连接数增加可能是查询执行时间变长的结果。
- CPU不高,但连接和请求等待都高:查看锁等待、外部依赖耗时、应用线程池和网络状态。等待中的连接同样会占用名额。
- 可用内存下降并出现交换:增加数据库连接数可能进一步扩大进程和工作内存开销;应先确定内存压力来自连接、查询还是其他进程。
- 数据库网络吞吐或重传异常,应用侧超时上升:检查主机网卡、网络路径和连接建立情况。网络问题可能造成连接长时间占用,但单看数据库连接总数无法确认。
- 应用待处理队列增加,数据库连接数却没有达到上限:瓶颈可能在应用工作线程、下游服务或池获取策略,继续提高数据库连接上限未必有效。
排除“看起来像连接泄漏”的替代解释
连接泄漏通常指应用获取连接后,没有在正常和异常路径中可靠归还;但连接数长期偏高,也可能来自连接池按设计保留空闲连接。判断时可按下列线索区分:
| 观察到的现象 | 更需要检查的方向 |
|---|---|
| 空闲连接数量接近池的配置上限,流量下降后逐步回收 | 池的最小空闲数、最大池容量、空闲超时;未必是泄漏 |
| 借出连接持续增加,池等待上升,连接长期不归还 | 异常路径未释放连接、事务未关闭、连接被慢操作占用 |
idle in transaction数量或事务年龄持续增长 | 事务边界、异常回滚、业务代码是否在事务内等待外部服务 |
| 活跃连接增加且查询耗时上升 | 慢查询、锁等待、I/O拥塞或突发并发 |
| 多个实例同时创建大量连接 | 实例数量乘以每实例池上限超过数据库可承载范围 |
| 连接数与请求量同步升降,错误率和延迟稳定 | 可能是正常并发变化,仍需确认峰值是否留有余量 |
排查泄漏时,应把池指标与代码路径对应起来:连接是否在 finally、上下文管理器或框架提供的安全机制中释放;事务失败后是否回滚;异常、超时和客户端断连时,归还流程是否仍执行。也要检查连接是否被长时间用于等待外部HTTP接口、文件操作或人工处理。数据库事务范围内执行慢操作,会让连接和事务一起被占用。
必要时可按 application_name 标记不同服务或实例。标识应稳定且可区分,避免每个请求生成一个不同值,否则监控分组会变得过于分散。对于连接泄漏,应用池的“借出时间”和“归还时间”通常比数据库的空闲连接数更直接;数据库侧的长期事务与连接来源则用于交叉验证。
形成判断:先处理占用时间,再评估池容量
连接容量估算应从应用实例和每实例连接池的配置开始,而不是只看某一个池的 maximumPoolSize。例如,假设有 6 个应用实例,每实例最大连接数为 30,则理论上应用侧可能打开 180 个连接;如果还有后台任务、管理工具和其他服务,数据库需要容纳的总量会更高。这个乘法只是配置上限估算,不表示实际并发一定会达到上限。
可用一个简单关系理解连接占用:
所需并发连接数约等于请求到达速率 × 平均持有连接时间。
例如,请求速率为每秒 80 次,平均每次持有数据库连接 0.1 秒,粗略估算的并发占用约为 8 个连接。若连接持有时间因慢查询或事务阻塞升至 0.8 秒,同样的请求速率对应约 64 个并发连接。该估算用于理解趋势,不包含突发流量、长尾延迟和后台任务的影响,不能直接作为最终池配置值。

配置时要同时考虑:

- 数据库总预算:给业务应用池、后台任务、监控与运维连接预留空间。实际可用连接还受 PostgreSQL保留连接机制及版本影响,应核对当前版本和账号权限,不要把
max_connections全部算给应用。 - 应用实例总量:按所有实例的池上限求和,而不是只检查单个实例。自动扩缩容时,实例数量变化也会改变连接总预算。
- 连接持有时间与峰值并发:先处理明显的慢查询、长事务和连接泄漏,再评估是否需要提高池容量。
- 池等待与数据库饱和程度:若数据库CPU、内存、I/O或锁等待已明显恶化,扩大池可能加重争用;若数据库资源充足、应用池等待稳定升高,才有理由评估适度增加并发。
- 连接池策略:应用内池通常让每个应用实例各自维护连接。连接池代理可以在客户端连接与数据库后端连接之间复用连接,但要核对其池模式与应用行为是否兼容。
以 PgBouncer 为例,事务池模式可在事务结束后复用数据库后端连接,适合连接数多、事务边界清晰的场景。但它会改变会话状态的使用方式;依赖会话级设置、临时表、会话级锁或特定预处理语句行为的应用,需要先验证兼容性。还应分别核对客户端连接上限、每个数据库或用户的后端池容量,以及等待队列和超时配置。仅提高客户端连接上限,不代表数据库后端可以承受同样数量的并发。
面向PostgreSQL数据库、业务后台和接口服务,A5数据提供香港、美国、日本、新加坡等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等计算平台,并配备大内存、SSD或NVMe存储方案,为连接池、多任务并发和数据库数据读写提供硬件基础。结合不同地区的网络线路、带宽及存储配置,A5数据可为跨区域访问、业务部署和数据库资源规划提供相应的服务器选择。
按低风险顺序处理并复测
排查期间先保留指标、应用日志和连接状态快照,再按影响范围从小到大处理:

- 确认来源和变化速度:对比故障前后按应用、客户端和状态分组的连接数;同时记录请求量、池等待、错误率和响应时间。
- 检查长事务与泄漏线索:核对长期
idle in transaction、借出未归还连接、异常路径和连接持有期间的外部等待。 - 处理慢查询或阻塞:根据查询耗时、等待事件、执行计划和锁信息定位瓶颈。修改索引或查询前,应先在适合的环境验证执行计划和写入影响。
- 核对连接池总预算:计算所有应用实例、后台任务及其他客户端的连接上限之和,并与数据库配置和保留名额对照。
- 小幅调整并观察:一次只改一类参数,例如池上限、空闲超时或获取连接超时,保留原配置并记录变更时间,便于回滚。不要在原因未明时同时提高数据库连接上限和所有应用池上限。
- 复测同一类负载:比较变更前后的连接总数、活跃与空闲比例、池等待、连接获取耗时、请求延迟、错误率、CPU、内存和I/O。
终止数据库会话不是常规的第一步。pg_terminate_backend会断开目标会话,未提交事务会回滚,并可能触发应用重试、请求失败或业务任务中断。只有确认目标会话、评估影响范围并取得相应权限后,才考虑针对单个会话处置;不要用宽泛条件批量终止连接。执行前应记录目标 PID、用户、客户端和事务状态,并准备通过应用重连或任务重跑恢复。若连接来源尚不明确,优先采取应用侧限流或停止异常实例等可控措施,并确认不会扩大故障范围。
复测不只看“连接数是否下降”。合理结果应是连接数回到符合业务峰值的范围,池等待和连接获取耗时降低,响应时间与错误率恢复,同时数据库CPU、内存、I/O和应用队列没有出现新的恶化。若连接数下降但响应时间仍高,说明连接耗尽现象缓解了,原有查询、锁或资源瓶颈可能仍然存在。
下一次遇到连接数逼近上限时,应同时查看“按来源和状态分组的连接数、应用池借出与等待、事务年龄与等待事件、请求延迟与错误率、数据库CPU/内存/I/O、应用队列与流量”。这些指标在同一时间轴上的先后关系,比单个连接数阈值更能帮助判断:是连接没有归还,是查询变慢延长了占用,还是池配置与实例规模不匹配。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5078.html



