PostgreSQL连接数耗尽如何排查,连接池与慢事务该先查哪项
出现 PostgreSQL 连接数耗尽时,应用侧通常表现为请求超时、连接池获取连接超时,数据库日志中可能出现 too many clients already 或 remaining connection slots are reserved。但“连接数达到上限”只是表面现象,真正原因可能是慢事务长期占用连接、连接池配置过大、应用连接泄漏、锁等待、数据库资源饱和,甚至是网络重试风暴。
连接池与慢事务不应简单按固定顺序二选一。更稳妥的做法是先用一次低风险快照确认连接到底被谁占用:如果存在大量 idle in transaction、长时间运行的事务或锁等待,应优先处理慢事务;如果连接大多处于 idle,数据库并不繁忙,但应用池出现排队或多个实例连接上限叠加,则应优先检查连接池。也就是说,先查连接状态,再根据证据决定先处理哪一支。
一、确认故障范围:是数据库满了,还是应用池先满了
1. 区分几类常见症状
先记录应用日志、数据库日志和故障发生时间,至少确认以下信息:
- 应用报错是“数据库拒绝新连接”,还是“连接池等待超时”。
- 受影响的是一个应用实例、一个数据库,还是所有访问该 PostgreSQL 实例的服务。
- 连接数是否持续接近上限,还是只在流量高峰短暂冲高。
- 故障期间已有请求是否变慢,或者只是新请求无法获取连接。
- 是否伴随 CPU、磁盘延迟、内存回收、锁等待或网络连接数异常。
例如,下面两类错误的排查方向不同:
FATAL: sorry, too many clients already
这说明 PostgreSQL 在建立新会话时已经没有可用连接槽,或者普通用户可用的连接槽已经耗尽。
Connection is not available, request timed out waiting for a connection
这类信息通常来自应用连接池。它可能是数据库连接数已满,也可能是池中连接都被长事务占用,甚至可能是数据库本身仍有空闲连接,但应用实例自己的池上限太小。
因此,不能只根据“连接池超时”就直接调大池容量,也不能看到 max_connections 接近上限就立即增加数据库连接数。
2. 读取数据库当前连接状态
先确认 PostgreSQL 版本和关键参数。以下查询为只读检查,不会修改数据库配置:
SELECT version();
SHOW max_connections;
SHOW superuser_reserved_connections;
max_connections 是实例级连接上限,superuser_reserved_connections 用于保留一部分管理连接。普通用户看到的可用空间可能小于 max_connections 的数值。
按数据库统计当前后端数量:
SELECT
datname,
numbackends
FROM pg_stat_database
WHERE datname IS NOT NULL
ORDER BY numbackends DESC;
再按会话状态、应用名和来源地址查看连接构成:
SELECT
COALESCE(application_name, '(empty)') AS application_name,
COALESCE(client_addr::text, '(local)') AS client_addr,
state,
COUNT(*) AS session_count
FROM pg_stat_activity
WHERE backend_type = 'client backend'
GROUP BY application_name, client_addr, state
ORDER BY session_count DESC;
如果数据库账号没有足够的统计查看权限,pg_stat_activity 中部分会话的 SQL 文本和状态可能不可见。排查生产故障时,应使用具备适当监控权限的账号,而不是为了查看信息临时扩大超级用户权限。
重点关注以下状态:
active:正在执行 SQL,不代表一定是慢 SQL,还要看执行时间和等待事件。idle:会话已经连接,但当前没有执行 SQL。数量多不一定是故障,可能是连接池的正常空闲连接。idle in transaction:事务已经打开,但当前没有执行 SQL。这类连接通常比普通idle更值得优先检查。fastpath function call或其他特殊状态:需要结合具体版本和扩展判断,不能直接按普通业务会话处理。
3. 检查连接是否按实例数量被放大
连接池上限是每个应用实例的上限,不是整个集群的上限。假设有 8 个应用实例,每个实例配置池上限为 30,那么理论上仅该服务就可能占用:
8 × 30 = 240
个数据库连接。还要加上定时任务、后台消费者、管理工具、报表程序和其他服务的连接。
可以查看数据库角色和数据库级连接限制:
SELECT
rolname,
rolconnlimit
FROM pg_roles
WHERE rolconnlimit >= 0
ORDER BY rolconnlimit ASC, rolname;
SELECT
datname,
datconnlimit
FROM pg_database
WHERE datconnlimit >= 0
ORDER BY datconnlimit ASC, datname;
如果应用端配置的连接池总上限已经超过数据库可用连接预算,即使单个实例看起来配置合理,扩容实例后仍可能迅速耗尽连接。
围绕 PostgreSQL 等数据库及接口服务的底层资源,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器,覆盖 Xeon Gold、AMD EPYC、SSD/NVMe、大内存与不同带宽线路组合,可承载数据库、业务后台和多任务服务,为连接池、事务处理及应用实例提供独立的计算、内存、存储与网络资源基础。
二、建立原因树:连接数从哪里被消耗
可以将问题拆成四层:网络与请求进入、操作系统资源、PostgreSQL 服务端、应用进程与连接池。每一层观察到的证据不同,不能用同一个指标代替全部判断。
1. 网络层:是否发生了重复建连或重试风暴
网络异常通常不会直接把 PostgreSQL 的业务连接变成慢事务,但会导致应用不断建立新连接,或者因连接未及时复用、断开而扩大连接压力。
在数据库服务器上,可以查看 PostgreSQL 监听端口的 TCP 状态。下面以默认端口 5432 为例,如果实际端口不同应替换:
ss -antp | grep ':5432'
观察重点包括:
- 大量
SYN-RECV:可能是连接建立请求堆积、网络路径或监听端处理能力异常。 - 大量
ESTAB,但 PostgreSQL 会话数不高:需要核对连接是否来自代理、负载均衡或其他中间层,不能仅凭 TCP 数量判断数据库后端数量。 TIME-WAIT短时间内大量增加:常见于频繁建连和主动断连,可能与连接池失效、连接生命周期设置过短或重试策略有关。- 多个来源地址在同一时间突然增加:可能是服务扩容、健康检查、任务批量启动或连接重试风暴。
还应对照应用日志中的连接创建失败、DNS 解析失败、TLS 握手失败、连接被重置和重试次数。如果应用在连接失败后立即无上限重试,数据库恢复前反而可能持续承受新的连接请求。
2. 系统层:进程模型和共享资源是否已经成为瓶颈
PostgreSQL 的普通客户端连接通常对应一个服务端进程,而不是由一个共享线程池统一处理。并行查询还可能额外使用并行工作进程。因此,连接数增加会带来进程调度、内存、缓存竞争和上下文切换压力。
应用侧则可能使用线程池、协程或异步事件循环。常见的并发链路是:
请求线程或协程 → 应用连接池 → PostgreSQL 后端进程 → CPU、内存、磁盘和锁
只要其中一环排队,整体响应时间就会增加。连接池只是限制数据库并发的一个闸门,并不能替代操作系统和数据库资源监控。
可以在 Linux 服务器上使用以下只读命令观察资源状态:
uptime
free -h
vmstat 1 5
如果已安装 sysstat,可以进一步观察磁盘延迟:
iostat -xz 1 5
判断时不要只看 CPU 使用率:
- CPU 长时间接近满载,且大量数据库会话处于
active,可能是查询并发或 SQL 计算量过大。 - 磁盘
await、队列长度持续上升,可能是排序、临时文件、检查点或随机读写造成的等待。 - 内存不足并伴随 swap 活跃,新的连接和查询可能因进程内存、缓存命中率下降而变慢。
- 系统资源正常,但应用线程池和连接池队列很长,优先检查应用侧并发配置或连接未归还问题。
3. 数据库服务层:连接是否被事务和锁长期占用
数据库端最重要的不是连接总数,而是这些连接当前在做什么。可以先查看运行时间、事务年龄和等待事件:
SELECT
pid,
usename,
COALESCE(application_name, '(empty)') AS application_name,
COALESCE(client_addr::text, '(local)') AS client_addr,
state,
now() - xact_start AS xact_age,
now() - query_start AS query_age,
wait_event_type,
wait_event,
LEFT(query, 240) AS query_sample
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND (xact_start IS NOT NULL OR query_start IS NOT NULL)
ORDER BY xact_start NULLS LAST, query_start NULLS LAST
LIMIT 50;
这个结果需要结合 state 解读:
active且query_age很长:可能是慢 SQL、锁等待或资源等待。active且wait_event_type = 'Lock':当前查询正在等待锁,不应只从 CPU 或连接池角度处理。idle in transaction且xact_age很长:通常表示应用打开了事务后没有及时提交或回滚。idle且没有事务年龄:可能只是连接池保留的空闲连接,不应直接视为泄漏。
检查锁等待及阻塞者:
SELECT
blocked.pid AS blocked_pid,
blocked.usename AS blocked_user,
blocked.application_name AS blocked_application,
now() - blocked.query_start AS blocked_for,
blocked.wait_event_type,
blocked.wait_event,
pg_blocking_pids(blocked.pid) AS blocking_pids,
LEFT(blocked.query, 240) AS blocked_query
FROM pg_stat_activity AS blocked
WHERE blocked.backend_type = 'client backend'
AND blocked.wait_event_type = 'Lock'
ORDER BY blocked.query_start;
如果一个长事务阻塞了多个会话,连接数可能会出现级联占用:最初只有一个问题事务,随后大量请求排队,应用为了应对超时又建立更多连接,最后表现为连接池和数据库连接同时耗尽。

4. 应用层:连接池、线程池和请求队列是否互相放大
数据库无法直接告诉你应用连接池的等待队列长度,因此必须查看应用监控或连接池自身指标。至少应采集:
- 连接池最大连接数、最小空闲连接数。
- 当前已借出连接数、空闲连接数。
- 等待获取连接的请求数和等待时长。
- 连接创建失败次数、连接归还失败次数。
- 连接最大生命周期、空闲回收时间和验证耗时。
- 应用实例数量及每个实例的池配置。
- 请求线程池或协程调度队列长度。
- 数据库连接创建速率,而不仅是当前连接数。
连接池故障常见于以下场景:
- 事务开启后执行外部 HTTP 请求、消息发送或文件操作,导致连接长时间不归还。
- 异常路径没有执行回滚和归还连接。
- 连接池最大值随应用实例扩容线性增加,但数据库连接预算没有同步调整。
- 连接获取超时后立即重试,形成“池等待—请求超时—再次建连”的放大循环。
- 连接池回收时间过短,业务高峰期间大量连接反复建立和销毁。
- 使用事务级连接池时,应用依赖会话级状态、临时表或特定预处理语句,导致连接复用异常。
三、连接池和慢事务究竟先查哪一项
可以用下面的判断表确定优先级。表中的时间和比例是在线业务的参考值,不是所有系统都适用的固定阈值。
| 观察结果 | 更可能的方向 | 优先检查 |
|---|---|---|
idle in transaction 数量明显增加,且事务持续数分钟 | 应用事务未提交、异常路径未回滚或外部调用占用事务 | 慢事务和事务边界 |
active 会话大量等待 Lock | 锁竞争或阻塞事务 | 阻塞链、长事务、更新范围 |
大多数会话为 idle,数据库 CPU 和磁盘正常 | 连接池上限过大、连接泄漏或保活策略不合理 | 应用池配置和连接归还 |
| PostgreSQL 连接未接近上限,但应用池等待数持续增加 | 单实例池容量不足、线程池过小或连接长期借出 | 应用连接池和请求队列 |
| 所有会话都很忙,CPU、IO 或锁等待同时升高 | 数据库处理能力或 SQL 并发成为瓶颈 | SQL、资源和并发上限 |
SYN-RECV 或新建连速率突然上升 | 网络重试、健康检查或应用重启风暴 | 网络、发布过程和重试策略 |
| 仅某个应用实例出现池超时,其他实例正常 | 单实例连接泄漏、线程阻塞或配置漂移 | 该实例日志和池指标 |
因此,现场只能选一个检查入口时,先执行 pg_stat_activity 快照并查看应用池指标:
- 如果找到长事务、
idle in transaction或锁阻塞,先处理慢事务。 - 如果数据库会话主要是普通
idle,但应用池排队明显,先处理连接池。 - 如果连接数不高但 TCP 建连速率异常,先处理网络和重试。
- 如果会话全部处于活跃状态并伴随资源饱和,不要只增加池容量,应先降低并发或优化查询。
四、逐层定位根因
1. 长事务:慢的不一定是正在执行的 SQL
“慢事务”与“慢 SQL”不是同一个概念。一个事务可能只执行了很短的 SQL,但在执行完后停留在 idle in transaction,依然持有锁、快照或连接。
常见原因包括:
- ORM 手动开启事务后,业务代码调用外部服务。
- 代码异常后没有统一回滚,连接被放回池时仍处于事务状态。
- 批量处理一次打开大事务,单次提交范围过大。
- 一个更新事务等待锁,后续请求继续占用更多连接。
- 流式读取、游标或客户端处理速度过慢,导致事务长期保持。
处理时应先记录 PID、应用名、事务开始时间、阻塞关系和 SQL 摘要,再由业务确认是否可以取消。不要依据“运行时间长”这一项就批量终止所有会话。
2. 连接池:容量不是越大越好
连接池的合理上限应受到数据库 CPU、磁盘、锁竞争、查询平均耗时和应用实例数量共同约束。增加连接数只能提高“允许同时进入数据库的请求数”,不能直接提高数据库处理能力。
一个简化的连接预算可以这样估算:
应用连接预算 = max_connections - 管理保留 - 后台任务 - 其他服务占用
例如,某实例设置 max_connections = 200,运维希望保留 20 个连接用于管理和任务,其他服务预计使用 30 个,则主应用预算约为 150。若有 6 个实例,池上限总和最好不要直接配置到 6 × 30 以上,还应预留扩容、故障重试和连接波动空间。
这只是容量规划示例,不能代替压测。连接池上限应结合以下指标调整:
- 池等待时间是否上升。
- 数据库活跃会话是否已经超过 CPU 或 IO 的处理能力。
- 单次请求实际持有连接的时间。
- 高峰期请求并发和实例扩缩容速度。
- 查询是否存在锁等待或外部依赖阻塞。
3. 资源瓶颈:扩大 max_connections 可能加重故障
PostgreSQL 为连接和查询分配进程、内存及共享资源。连接数越大,调度、缓存竞争和同时执行的 SQL 数量可能越多。如果原故障是 CPU、磁盘或锁竞争,直接增大 max_connections 可能只是把排队位置从应用池移到数据库内部。

只有在以下条件基本满足时,才适合评估提高连接上限:
- 已确认不是连接泄漏或长事务。
- 数据库 CPU、内存、磁盘延迟和锁等待仍有余量。
- 已估算每个连接的内存和高峰查询并发。
- 已为管理连接、后台任务和故障排查预留空间。
- 已在接近生产的并发场景验证过配置。
max_connections 通常属于需要重启 PostgreSQL 才能生效的参数,修改前应确认版本、参数生效方式、内存预算和回滚方案。不要在故障高峰期直接编辑配置并重启数据库。
4. 网络和重试:恢复动作也可能制造第二次故障
如果应用在数据库短暂不可用时采用快速、无上限重试,恢复过程中会出现连接创建洪峰。合理做法通常包括:
- 对连接建立失败使用指数退避和随机抖动。
- 设置最大重试次数和总等待时间。
- 将连接池获取超时与业务请求超时区分开。
- 发布或扩容时限制同时启动的实例数量。
- 对健康检查设置合理间隔,避免每次探测都新建数据库连接。
- 记录“新建连接数”和“复用连接数”,判断池是否真正复用。
五、需要释放连接时的安全处理
排查期间优先使用只读查询保留证据,不要一开始就批量杀连接。若确认某个会话已经造成明显阻塞,应先由业务负责人确认事务可回滚、请求可重试,并记录会话信息。
先尝试取消当前 SQL:
SELECT pg_cancel_backend(12345);
其中 12345 只是示例 PID,必须替换为经过确认的目标会话。取消成功后,连接通常仍然存在,应用可以继续使用或自行回滚。
如果会话不响应,且确认需要断开整个连接,再考虑:
SELECT pg_terminate_backend(12345);
这会关闭目标数据库会话,并回滚该会话尚未提交的事务。它可能导致业务请求失败、锁释放和未提交数据丢失;已经提交的数据不会因为终止会话而自动撤销。因此,执行前应确认:
- PID、用户名、应用名和客户端地址都与目标一致。
- 不是 PostgreSQL 自身的维护进程、复制进程或管理会话。
- 业务具备幂等重试或人工补偿能力。
- 已保存故障时段的连接、事务和锁信息。
- 不使用按状态无条件批量终止的命令。
不要直接通过操作系统强制杀 PostgreSQL 后端进程来“清理连接”,这可能扩大为数据库实例异常、恢复或连接级联中断。终止动作完成后,应检查阻塞链、事务回滚、应用重试和数据一致性。
六、验证恢复是否真正完成
释放部分连接并不代表故障已经恢复。应同时观察数据库、应用和系统三个层面的变化。
数据库侧可以再次执行:
SELECT
state,
wait_event_type,
COUNT(*) AS session_count
FROM pg_stat_activity
WHERE backend_type = 'client backend'
GROUP BY state, wait_event_type
ORDER BY session_count DESC;
恢复判断至少包括:
- 新连接错误不再持续增加。
idle in transaction和长事务数量回落。- 锁等待链消失或明显缩短。
- 应用池等待数和获取连接耗时下降。
- 数据库活跃会话与 CPU、磁盘延迟恢复到业务基线。
- 连接建立速率恢复正常,而不是不断断开重连。
- 请求成功率恢复后,未出现重复提交、消息重复消费或事务回滚异常。
如果只是简单终止长事务,应用可能立即重试同一请求,导致问题再次出现。验证时至少覆盖一个完整的业务高峰或重试周期,不能只看终止动作后的几分钟。
七、建立可持续的复发监控点
连接数耗尽适合建立一组关联监控,而不是只设置一个 max_connections 告警。
数据库侧建议监控:
- 当前客户端连接数与
max_connections的比例。 active、idle、idle in transaction的数量和趋势。- 最老事务年龄、最老查询年龄。
- 锁等待数量、阻塞会话数量和阻塞持续时间。
- 每分钟新建连接数、断开连接数。
- 按应用名、角色、客户端地址统计的连接分布。
- CPU、内存、swap、磁盘延迟和临时文件增长。
应用侧建议监控:
- 连接池已用、空闲和等待数量。
- 获取连接的平均值、分位值和超时次数。
- 连接创建失败、连接验证失败和连接泄漏检测结果。
- 请求线程池或协程队列长度。
- 数据库调用耗时与事务持有时间。
- 应用实例数量变化及每个实例的池配置。
在线交易系统可以将“可用连接低于 10%至20%并持续数分钟”“最老事务超过业务允许时长”“连接池等待持续上升”作为初始告警参考,但具体阈值应根据正常基线、批处理窗口和业务可接受延迟调整。
最终排查目标不是把数据库连接数调到更大,而是确认并发请求是否在正确的位置排队:短查询应快速借用并归还连接,长事务应有明确边界,连接池总容量应受数据库处理能力约束,线程池、连接池和数据库后端进程之间不能互相无上限放大。这样下一次出现连接数上涨时,才能根据连接状态和队列位置快速判断是慢事务、连接池,还是更底层的系统与网络问题。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8420.html



