PostgreSQL连接数耗尽如何排查,连接池与慢事务该先查哪项

发布人:A5数据发布时间:2026-11-09 11:00阅读量:70

出现 PostgreSQL 连接数耗尽时,应用侧通常表现为请求超时、连接池获取连接超时,数据库日志中可能出现 too many clients already 或 remaining connection slots are reserved。但“连接数达到上限”只是表面现象,真正原因可能是慢事务长期占用连接、连接池配置过大、应用连接泄漏、锁等待、数据库资源饱和,甚至是网络重试风暴。

连接池与慢事务不应简单按固定顺序二选一。更稳妥的做法是先用一次低风险快照确认连接到底被谁占用:如果存在大量 idle in transaction、长时间运行的事务或锁等待,应优先处理慢事务;如果连接大多处于 idle,数据库并不繁忙,但应用池出现排队或多个实例连接上限叠加,则应优先检查连接池。也就是说,先查连接状态,再根据证据决定先处理哪一支。

一、确认故障范围:是数据库满了,还是应用池先满了

1. 区分几类常见症状

先记录应用日志、数据库日志和故障发生时间,至少确认以下信息:

  • 应用报错是“数据库拒绝新连接”,还是“连接池等待超时”。
  • 受影响的是一个应用实例、一个数据库,还是所有访问该 PostgreSQL 实例的服务。
  • 连接数是否持续接近上限,还是只在流量高峰短暂冲高。
  • 故障期间已有请求是否变慢,或者只是新请求无法获取连接。
  • 是否伴随 CPU、磁盘延迟、内存回收、锁等待或网络连接数异常。

例如,下面两类错误的排查方向不同:

FATAL:  sorry, too many clients already

这说明 PostgreSQL 在建立新会话时已经没有可用连接槽,或者普通用户可用的连接槽已经耗尽。

Connection is not available, request timed out waiting for a connection

这类信息通常来自应用连接池。它可能是数据库连接数已满,也可能是池中连接都被长事务占用,甚至可能是数据库本身仍有空闲连接,但应用实例自己的池上限太小。

因此,不能只根据“连接池超时”就直接调大池容量,也不能看到 max_connections 接近上限就立即增加数据库连接数。

2. 读取数据库当前连接状态

先确认 PostgreSQL 版本和关键参数。以下查询为只读检查,不会修改数据库配置:

SELECT version();

SHOW max_connections;

SHOW superuser_reserved_connections;

max_connections 是实例级连接上限,superuser_reserved_connections 用于保留一部分管理连接。普通用户看到的可用空间可能小于 max_connections 的数值。

按数据库统计当前后端数量:

SELECT
    datname,
    numbackends
FROM pg_stat_database
WHERE datname IS NOT NULL
ORDER BY numbackends DESC;

再按会话状态、应用名和来源地址查看连接构成:

SELECT
    COALESCE(application_name, '(empty)') AS application_name,
    COALESCE(client_addr::text, '(local)') AS client_addr,
    state,
    COUNT(*) AS session_count
FROM pg_stat_activity
WHERE backend_type = 'client backend'
GROUP BY application_name, client_addr, state
ORDER BY session_count DESC;

如果数据库账号没有足够的统计查看权限,pg_stat_activity 中部分会话的 SQL 文本和状态可能不可见。排查生产故障时,应使用具备适当监控权限的账号,而不是为了查看信息临时扩大超级用户权限。

重点关注以下状态:

  • active:正在执行 SQL,不代表一定是慢 SQL,还要看执行时间和等待事件。
  • idle:会话已经连接,但当前没有执行 SQL。数量多不一定是故障,可能是连接池的正常空闲连接。
  • idle in transaction:事务已经打开,但当前没有执行 SQL。这类连接通常比普通 idle 更值得优先检查。
  • fastpath function call 或其他特殊状态:需要结合具体版本和扩展判断,不能直接按普通业务会话处理。

3. 检查连接是否按实例数量被放大

连接池上限是每个应用实例的上限,不是整个集群的上限。假设有 8 个应用实例,每个实例配置池上限为 30,那么理论上仅该服务就可能占用:

8 × 30 = 240

个数据库连接。还要加上定时任务、后台消费者、管理工具、报表程序和其他服务的连接。

可以查看数据库角色和数据库级连接限制:

SELECT
    rolname,
    rolconnlimit
FROM pg_roles
WHERE rolconnlimit >= 0
ORDER BY rolconnlimit ASC, rolname;
SELECT
    datname,
    datconnlimit
FROM pg_database
WHERE datconnlimit >= 0
ORDER BY datconnlimit ASC, datname;

如果应用端配置的连接池总上限已经超过数据库可用连接预算,即使单个实例看起来配置合理,扩容实例后仍可能迅速耗尽连接。

围绕 PostgreSQL 等数据库及接口服务的底层资源,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器,覆盖 Xeon Gold、AMD EPYC、SSD/NVMe、大内存与不同带宽线路组合,可承载数据库、业务后台和多任务服务,为连接池、事务处理及应用实例提供独立的计算、内存、存储与网络资源基础。

二、建立原因树:连接数从哪里被消耗

可以将问题拆成四层:网络与请求进入、操作系统资源、PostgreSQL 服务端、应用进程与连接池。每一层观察到的证据不同,不能用同一个指标代替全部判断。

1. 网络层:是否发生了重复建连或重试风暴

网络异常通常不会直接把 PostgreSQL 的业务连接变成慢事务,但会导致应用不断建立新连接,或者因连接未及时复用、断开而扩大连接压力。

在数据库服务器上,可以查看 PostgreSQL 监听端口的 TCP 状态。下面以默认端口 5432 为例,如果实际端口不同应替换:

ss -antp | grep ':5432'

观察重点包括:

  • 大量 SYN-RECV:可能是连接建立请求堆积、网络路径或监听端处理能力异常。
  • 大量 ESTAB,但 PostgreSQL 会话数不高:需要核对连接是否来自代理、负载均衡或其他中间层,不能仅凭 TCP 数量判断数据库后端数量。
  • TIME-WAIT 短时间内大量增加:常见于频繁建连和主动断连,可能与连接池失效、连接生命周期设置过短或重试策略有关。
  • 多个来源地址在同一时间突然增加:可能是服务扩容、健康检查、任务批量启动或连接重试风暴。

还应对照应用日志中的连接创建失败、DNS 解析失败、TLS 握手失败、连接被重置和重试次数。如果应用在连接失败后立即无上限重试,数据库恢复前反而可能持续承受新的连接请求。

2. 系统层:进程模型和共享资源是否已经成为瓶颈

PostgreSQL 的普通客户端连接通常对应一个服务端进程,而不是由一个共享线程池统一处理。并行查询还可能额外使用并行工作进程。因此,连接数增加会带来进程调度、内存、缓存竞争和上下文切换压力。

应用侧则可能使用线程池、协程或异步事件循环。常见的并发链路是:

请求线程或协程 → 应用连接池 → PostgreSQL 后端进程 → CPU、内存、磁盘和锁

只要其中一环排队,整体响应时间就会增加。连接池只是限制数据库并发的一个闸门,并不能替代操作系统和数据库资源监控。

可以在 Linux 服务器上使用以下只读命令观察资源状态:

uptime
free -h
vmstat 1 5

如果已安装 sysstat,可以进一步观察磁盘延迟:

iostat -xz 1 5

判断时不要只看 CPU 使用率:

  • CPU 长时间接近满载,且大量数据库会话处于 active,可能是查询并发或 SQL 计算量过大。
  • 磁盘 await、队列长度持续上升,可能是排序、临时文件、检查点或随机读写造成的等待。
  • 内存不足并伴随 swap 活跃,新的连接和查询可能因进程内存、缓存命中率下降而变慢。
  • 系统资源正常,但应用线程池和连接池队列很长,优先检查应用侧并发配置或连接未归还问题。

3. 数据库服务层:连接是否被事务和锁长期占用

数据库端最重要的不是连接总数,而是这些连接当前在做什么。可以先查看运行时间、事务年龄和等待事件:

SELECT
    pid,
    usename,
    COALESCE(application_name, '(empty)') AS application_name,
    COALESCE(client_addr::text, '(local)') AS client_addr,
    state,
    now() - xact_start AS xact_age,
    now() - query_start AS query_age,
    wait_event_type,
    wait_event,
    LEFT(query, 240) AS query_sample
FROM pg_stat_activity
WHERE backend_type = 'client backend'
  AND (xact_start IS NOT NULL OR query_start IS NOT NULL)
ORDER BY xact_start NULLS LAST, query_start NULLS LAST
LIMIT 50;

这个结果需要结合 state 解读:

  • active 且 query_age 很长:可能是慢 SQL、锁等待或资源等待。
  • active 且 wait_event_type = 'Lock':当前查询正在等待锁,不应只从 CPU 或连接池角度处理。
  • idle in transaction 且 xact_age 很长:通常表示应用打开了事务后没有及时提交或回滚。
  • idle 且没有事务年龄:可能只是连接池保留的空闲连接,不应直接视为泄漏。

检查锁等待及阻塞者:

SELECT
    blocked.pid AS blocked_pid,
    blocked.usename AS blocked_user,
    blocked.application_name AS blocked_application,
    now() - blocked.query_start AS blocked_for,
    blocked.wait_event_type,
    blocked.wait_event,
    pg_blocking_pids(blocked.pid) AS blocking_pids,
    LEFT(blocked.query, 240) AS blocked_query
FROM pg_stat_activity AS blocked
WHERE blocked.backend_type = 'client backend'
  AND blocked.wait_event_type = 'Lock'
ORDER BY blocked.query_start;

如果一个长事务阻塞了多个会话,连接数可能会出现级联占用:最初只有一个问题事务,随后大量请求排队,应用为了应对超时又建立更多连接,最后表现为连接池和数据库连接同时耗尽。

二、建立原因树:连接数从哪里被消耗/数据库服务层配图

4. 应用层:连接池、线程池和请求队列是否互相放大

数据库无法直接告诉你应用连接池的等待队列长度,因此必须查看应用监控或连接池自身指标。至少应采集:

  • 连接池最大连接数、最小空闲连接数。
  • 当前已借出连接数、空闲连接数。
  • 等待获取连接的请求数和等待时长。
  • 连接创建失败次数、连接归还失败次数。
  • 连接最大生命周期、空闲回收时间和验证耗时。
  • 应用实例数量及每个实例的池配置。
  • 请求线程池或协程调度队列长度。
  • 数据库连接创建速率,而不仅是当前连接数。

连接池故障常见于以下场景:

  • 事务开启后执行外部 HTTP 请求、消息发送或文件操作,导致连接长时间不归还。
  • 异常路径没有执行回滚和归还连接。
  • 连接池最大值随应用实例扩容线性增加,但数据库连接预算没有同步调整。
  • 连接获取超时后立即重试,形成“池等待—请求超时—再次建连”的放大循环。
  • 连接池回收时间过短,业务高峰期间大量连接反复建立和销毁。
  • 使用事务级连接池时,应用依赖会话级状态、临时表或特定预处理语句,导致连接复用异常。

三、连接池和慢事务究竟先查哪一项

可以用下面的判断表确定优先级。表中的时间和比例是在线业务的参考值,不是所有系统都适用的固定阈值。

观察结果更可能的方向优先检查
idle in transaction 数量明显增加,且事务持续数分钟应用事务未提交、异常路径未回滚或外部调用占用事务慢事务和事务边界
active 会话大量等待 Lock锁竞争或阻塞事务阻塞链、长事务、更新范围
大多数会话为 idle,数据库 CPU 和磁盘正常连接池上限过大、连接泄漏或保活策略不合理应用池配置和连接归还
PostgreSQL 连接未接近上限,但应用池等待数持续增加单实例池容量不足、线程池过小或连接长期借出应用连接池和请求队列
所有会话都很忙,CPU、IO 或锁等待同时升高数据库处理能力或 SQL 并发成为瓶颈SQL、资源和并发上限
SYN-RECV 或新建连速率突然上升网络重试、健康检查或应用重启风暴网络、发布过程和重试策略
仅某个应用实例出现池超时,其他实例正常单实例连接泄漏、线程阻塞或配置漂移该实例日志和池指标

因此,现场只能选一个检查入口时,先执行 pg_stat_activity 快照并查看应用池指标:

  1. 如果找到长事务、idle in transaction 或锁阻塞,先处理慢事务。
  2. 如果数据库会话主要是普通 idle,但应用池排队明显,先处理连接池。
  3. 如果连接数不高但 TCP 建连速率异常,先处理网络和重试。
  4. 如果会话全部处于活跃状态并伴随资源饱和,不要只增加池容量,应先降低并发或优化查询。

四、逐层定位根因

1. 长事务:慢的不一定是正在执行的 SQL

“慢事务”与“慢 SQL”不是同一个概念。一个事务可能只执行了很短的 SQL,但在执行完后停留在 idle in transaction,依然持有锁、快照或连接。

常见原因包括:

  • ORM 手动开启事务后,业务代码调用外部服务。
  • 代码异常后没有统一回滚,连接被放回池时仍处于事务状态。
  • 批量处理一次打开大事务,单次提交范围过大。
  • 一个更新事务等待锁,后续请求继续占用更多连接。
  • 流式读取、游标或客户端处理速度过慢,导致事务长期保持。

处理时应先记录 PID、应用名、事务开始时间、阻塞关系和 SQL 摘要,再由业务确认是否可以取消。不要依据“运行时间长”这一项就批量终止所有会话。

2. 连接池:容量不是越大越好

连接池的合理上限应受到数据库 CPU、磁盘、锁竞争、查询平均耗时和应用实例数量共同约束。增加连接数只能提高“允许同时进入数据库的请求数”,不能直接提高数据库处理能力。

一个简化的连接预算可以这样估算:

应用连接预算 = max_connections - 管理保留 - 后台任务 - 其他服务占用

例如,某实例设置 max_connections = 200,运维希望保留 20 个连接用于管理和任务,其他服务预计使用 30 个,则主应用预算约为 150。若有 6 个实例,池上限总和最好不要直接配置到 6 × 30 以上,还应预留扩容、故障重试和连接波动空间。

这只是容量规划示例,不能代替压测。连接池上限应结合以下指标调整:

  • 池等待时间是否上升。
  • 数据库活跃会话是否已经超过 CPU 或 IO 的处理能力。
  • 单次请求实际持有连接的时间。
  • 高峰期请求并发和实例扩缩容速度。
  • 查询是否存在锁等待或外部依赖阻塞。

3. 资源瓶颈:扩大 max_connections 可能加重故障

PostgreSQL 为连接和查询分配进程、内存及共享资源。连接数越大,调度、缓存竞争和同时执行的 SQL 数量可能越多。如果原故障是 CPU、磁盘或锁竞争,直接增大 max_connections 可能只是把排队位置从应用池移到数据库内部。

四、逐层定位根因/资源瓶颈配图

只有在以下条件基本满足时,才适合评估提高连接上限:

  • 已确认不是连接泄漏或长事务。
  • 数据库 CPU、内存、磁盘延迟和锁等待仍有余量。
  • 已估算每个连接的内存和高峰查询并发。
  • 已为管理连接、后台任务和故障排查预留空间。
  • 已在接近生产的并发场景验证过配置。

max_connections 通常属于需要重启 PostgreSQL 才能生效的参数,修改前应确认版本、参数生效方式、内存预算和回滚方案。不要在故障高峰期直接编辑配置并重启数据库。

4. 网络和重试:恢复动作也可能制造第二次故障

如果应用在数据库短暂不可用时采用快速、无上限重试,恢复过程中会出现连接创建洪峰。合理做法通常包括:

  • 对连接建立失败使用指数退避和随机抖动。
  • 设置最大重试次数和总等待时间。
  • 将连接池获取超时与业务请求超时区分开。
  • 发布或扩容时限制同时启动的实例数量。
  • 对健康检查设置合理间隔,避免每次探测都新建数据库连接。
  • 记录“新建连接数”和“复用连接数”,判断池是否真正复用。

五、需要释放连接时的安全处理

排查期间优先使用只读查询保留证据,不要一开始就批量杀连接。若确认某个会话已经造成明显阻塞,应先由业务负责人确认事务可回滚、请求可重试,并记录会话信息。

先尝试取消当前 SQL:

SELECT pg_cancel_backend(12345);

其中 12345 只是示例 PID,必须替换为经过确认的目标会话。取消成功后,连接通常仍然存在,应用可以继续使用或自行回滚。

如果会话不响应,且确认需要断开整个连接,再考虑:

SELECT pg_terminate_backend(12345);

这会关闭目标数据库会话,并回滚该会话尚未提交的事务。它可能导致业务请求失败、锁释放和未提交数据丢失;已经提交的数据不会因为终止会话而自动撤销。因此,执行前应确认:

  • PID、用户名、应用名和客户端地址都与目标一致。
  • 不是 PostgreSQL 自身的维护进程、复制进程或管理会话。
  • 业务具备幂等重试或人工补偿能力。
  • 已保存故障时段的连接、事务和锁信息。
  • 不使用按状态无条件批量终止的命令。

不要直接通过操作系统强制杀 PostgreSQL 后端进程来“清理连接”,这可能扩大为数据库实例异常、恢复或连接级联中断。终止动作完成后,应检查阻塞链、事务回滚、应用重试和数据一致性。

六、验证恢复是否真正完成

释放部分连接并不代表故障已经恢复。应同时观察数据库、应用和系统三个层面的变化。

数据库侧可以再次执行:

SELECT
    state,
    wait_event_type,
    COUNT(*) AS session_count
FROM pg_stat_activity
WHERE backend_type = 'client backend'
GROUP BY state, wait_event_type
ORDER BY session_count DESC;

恢复判断至少包括:

  • 新连接错误不再持续增加。
  • idle in transaction 和长事务数量回落。
  • 锁等待链消失或明显缩短。
  • 应用池等待数和获取连接耗时下降。
  • 数据库活跃会话与 CPU、磁盘延迟恢复到业务基线。
  • 连接建立速率恢复正常,而不是不断断开重连。
  • 请求成功率恢复后,未出现重复提交、消息重复消费或事务回滚异常。

如果只是简单终止长事务,应用可能立即重试同一请求,导致问题再次出现。验证时至少覆盖一个完整的业务高峰或重试周期,不能只看终止动作后的几分钟。

七、建立可持续的复发监控点

连接数耗尽适合建立一组关联监控,而不是只设置一个 max_connections 告警。

数据库侧建议监控:

  • 当前客户端连接数与 max_connections 的比例。
  • active、idle、idle in transaction 的数量和趋势。
  • 最老事务年龄、最老查询年龄。
  • 锁等待数量、阻塞会话数量和阻塞持续时间。
  • 每分钟新建连接数、断开连接数。
  • 按应用名、角色、客户端地址统计的连接分布。
  • CPU、内存、swap、磁盘延迟和临时文件增长。

应用侧建议监控:

  • 连接池已用、空闲和等待数量。
  • 获取连接的平均值、分位值和超时次数。
  • 连接创建失败、连接验证失败和连接泄漏检测结果。
  • 请求线程池或协程队列长度。
  • 数据库调用耗时与事务持有时间。
  • 应用实例数量变化及每个实例的池配置。

在线交易系统可以将“可用连接低于 10%至20%并持续数分钟”“最老事务超过业务允许时长”“连接池等待持续上升”作为初始告警参考,但具体阈值应根据正常基线、批处理窗口和业务可接受延迟调整。

最终排查目标不是把数据库连接数调到更大,而是确认并发请求是否在正确的位置排队:短查询应快速借用并归还连接,长事务应有明确边界,连接池总容量应受数据库处理能力约束,线程池、连接池和数据库后端进程之间不能互相无上限放大。这样下一次出现连接数上涨时,才能根据连接状态和队列位置快速判断是慢事务、连接池,还是更底层的系统与网络问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8420.html

相关推荐