PostgreSQL连接池PgBouncer如何控制连接复用,避免连接数超过数据库承载能力
当应用实例、接口并发量持续增加时,PostgreSQL连接数不能简单地跟着请求数一起放大。PgBouncer的核心作用,是把大量应用侧客户端连接与数量受控的数据库后端连接分离开:应用可以保持较多轻量连接,PgBouncer则按事务或会话复用有限的PostgreSQL连接,避免数据库后端进程数量超过CPU、内存和磁盘I/O能够承载的范围。
要让这种控制真正生效,不能只配置一个max_client_conn。应用连接池大小、PgBouncer的pool_size、max_db_connections、事务持续时间,以及PostgreSQL本身的max_connections需要一起规划。对于短事务Web业务,通常优先考虑事务池模式;对于依赖会话状态、临时表或会话级锁的业务,则需要保留会话池模式,或者拆分出不同的连接入口。
当前问题:客户端连接多,不等于数据库需要同样多的连接
一个典型请求链路可以表示为:
应用实例 → PgBouncer客户端连接 → PgBouncer后端连接 → PostgreSQL执行SQL
这里至少存在两类连接:
- 客户端连接:应用与PgBouncer之间的连接,数量受应用连接池、应用实例数量和PgBouncer的
max_client_conn影响。 - 后端连接:PgBouncer与PostgreSQL之间的连接,真正对应PostgreSQL后端进程,数量受连接池配置和数据库资源限制影响。
例如,一个应用集群有20个实例,每个实例配置最多10个数据库连接,那么应用侧可能同时建立约200个客户端连接。使用PgBouncer后,这200个客户端连接不必全部对应200个PostgreSQL后端连接,后端可能只保持50至60个连接。
但这并不表示连接数量越少越好。后端连接过少,应用请求会在PgBouncer中排队;连接过多,则可能出现以下问题:
- PostgreSQL为每个连接维护后端进程和会话状态,内存占用增加;
- 并发查询争抢CPU,产生更多上下文切换;
- 多个查询同时使用
work_mem,实际内存消耗可能快速放大; - 锁等待、磁盘I/O等待和缓存争抢变得更明显;
- 慢查询占满连接后,正常请求也会在连接池中等待。
所以,PgBouncer不是把数据库“扩容”为可以承载更多并发,而是把无法立即执行的请求控制在连接池队列中,并利用有限的数据库连接完成复用。
PgBouncer通过控制后端连接数量,把数据库执行压力与客户端连接规模分开;承载这类架构的服务器资源,则关系到数据库服务能否匹配业务负载。A5数据提供香港、美国、日本等地区的物理服务器,涵盖Xeon Gold与AMD EPYC平台,并有配备大内存和NVMe存储的方案,可为PostgreSQL数据库及相关业务服务提供硬件部署选择。多地区和不同线路的产品,也能对应不同业务的部署位置与网络资源需求。
相关组件职责:谁负责连接,谁负责执行
应用和应用侧连接池
应用负责接收请求、组织业务逻辑并发起数据库操作。很多Web框架、ORM或数据库驱动本身也带有连接池,因此实际连接数量通常不是“应用实例数”,而是:
应用实例数 × 每个实例的连接池上限
应用连接池主要解决两件事:
- 避免每次请求都重新建立TCP和数据库认证连接;
- 限制单个应用实例能够同时发起的数据库访问数量。
接入PgBouncer后,应用池中的连接通常变成“应用到PgBouncer”的客户端连接。应用连接池仍然不能无限增大,因为每个客户端连接都会占用PgBouncer的文件描述符、内存和调度资源。
如果应用实例数量会通过自动扩缩容增加,应按峰值实例数计算客户端连接,而不是按当前实例数计算。例如:
- 常态运行20个实例,每个实例最多10个连接:约200个客户端连接;
- 扩容到50个实例后:理论上可能达到500个客户端连接;
- PgBouncer的
max_client_conn应覆盖峰值连接、健康检查连接、管理连接和短时重连余量。
PgBouncer
PgBouncer维护两侧连接:
- 接收应用的客户端连接;
- 按池规则建立和复用PostgreSQL后端连接。
它控制的是连接复用和排队,而不是SQL执行计划。它不会自动修复缺少索引、锁等待或磁盘性能不足的问题。
PgBouncer中的连接池通常按“数据库名 + 用户名”形成不同池。default_pool_size=50并不一定代表整个PgBouncer只有50个后端连接。如果应用使用多个数据库用户或多个数据库,可能产生多个独立连接池。
例如,应用同时使用:
appdb数据库的app_user;appdb数据库的report_user;analytics数据库的app_user;
那么这些连接可能分别进入不同的池,必须按实际池数量计算总后端连接。
PostgreSQL数据库服务器
PostgreSQL负责真正的SQL解析、执行、锁管理、缓存访问和事务提交。max_connections是数据库允许的连接上限,但不是建议长期运行的目标值。
数据库能承载多少并发连接,取决于:
- CPU核心数与查询计算量;
- 查询是否访问磁盘;
-共享缓冲区和操作系统缓存命中率; -单条查询的内存使用; -锁等待和事务持续时间; -自动清理、复制、备份等后台任务; -慢查询和长事务占用连接的时间。
因此,“把max_connections调到1000”通常只是扩大理论上限,不能证明数据库具有处理1000个并发查询的能力。若应用可以绕过PgBouncer直接访问5432端口,PgBouncer的连接上限也无法覆盖这部分连接,应用连接串、健康检查和管理脚本都需要统一核对。
组件交互:PgBouncer如何复用后端连接
会话池模式
会话池模式下,一个客户端连接建立后,会长期绑定一个PostgreSQL后端连接,直到客户端断开。
这种模式与传统直连行为接近,兼容性较好,适合依赖以下状态的业务:
- 会话级
SET参数; - 临时表;
- 会话级预处理语句;
LISTEN/NOTIFY;- 会话级 advisory lock;
- 需要游标跨多个请求或事务持续存在的场景。
缺点是连接复用效率较低。如果客户端连接很多,即使客户端大部分时间处于空闲状态,后端连接也可能被长期占用。对于连接长期保持、请求短而分散的Web业务,数据库仍然需要准备接近客户端数量的后端连接。
事务池模式
事务池模式下,客户端只有在事务执行期间占用PostgreSQL后端连接。事务提交或回滚后,后端连接返回池中,可以分配给另一个客户端。

典型过程如下:
- 应用连接到PgBouncer;
- 应用执行
BEGIN,或在自动提交模式下发起一条SQL; - PgBouncer从后端池分配一个PostgreSQL连接;
- PostgreSQL执行事务中的SQL;
- 应用执行
COMMIT或ROLLBACK; - 后端连接回到PgBouncer,等待下一个事务。
对于无状态接口、短事务和请求完成后不依赖会话状态的业务,事务池模式通常更适合控制数据库连接数。它允许客户端连接数明显高于后端连接数,但代价是连接状态不能被默认视为持续存在。
使用事务池模式时,需要重点检查以下兼容性问题:
- 不要依赖跨事务保留的临时表;
- 不要假设一次请求下次还会拿到同一个数据库连接;
- 会话级
SET参数可能影响后续操作,必须确认清理策略; - 依赖命名预处理语句的驱动或ORM,需要确认目标PgBouncer版本对相关能力的支持;
- 会话级锁、持续游标和
LISTEN/NOTIFY等功能通常不适合直接放在事务池中; - 一个事务必须尽量短,不能在事务中等待外部HTTP请求、消息消费或人工操作。
如果业务确实需要这些会话状态,可以将相关接口单独使用会话池模式,而不是让所有业务都退回会话池。
连接池参数的职责边界
常用参数可以按以下方式理解:
| 参数 | 控制对象 | 对数据库后端连接的影响 |
|---|---|---|
max_client_conn | PgBouncer接受的客户端连接总数 | 不直接创建同等数量的PostgreSQL连接,但会消耗文件描述符和内存 |
default_pool_size | 每个数据库和用户连接池的常规后端连接数 | 决定常态下连接池能够同时执行的事务数量 |
min_pool_size | 每个连接池保持的最小后端连接数 | 会产生预热连接,需要计入数据库预算 |
reserve_pool_size | 等待超过阈值后的额外后端连接 | 用于短时突发,不应作为长期吞吐能力 |
reserve_pool_timeout | 客户端等待多久后尝试使用保留池 | 过短可能放大突发连接,过长可能增加请求等待 |
max_db_connections | 某个数据库允许的后端连接上限 | 可作为单个数据库的连接硬约束 |
max_user_connections | 某个用户可使用的后端连接上限 | 防止单个用户占满数据库连接池 |
query_wait_timeout | 客户端在池中等待后端连接的最长时间 | 将长期排队转化为超时,避免请求无限等待 |
server_idle_timeout | 空闲后端连接的回收时间 | 降低低峰时的连接占用,但过短会增加重建连接开销 |
其中,max_client_conn和max_db_connections解决的是两个不同方向的问题。前者限制“有多少应用连接可以进入PgBouncer”,后者限制“有多少连接可以进入某个PostgreSQL数据库”。
容量规划:先确定数据库预算,再设置池大小
用数据库实际占用时间估算并发
对于以短事务为主的业务,可以先用一个简单关系估算所需后端连接数:
所需并发后端连接数 ≈ 数据库事务吞吐量 × 单个事务占用数据库连接的时间
例如,某业务每秒产生约600个数据库事务,每个事务平均占用后端连接80毫秒:
- 80毫秒 = 0.08秒;
- 基础并发连接数 = 600 × 0.08 = 48个;
- 加上约20%的突发余量:48 × 1.2 = 57.6个;
- 可以把目标值按约60个连接进行容量验证。
这里使用的是“事务占用数据库连接的时间”,不是用户从发起请求到收到HTTP响应的总时间。如果请求还要等待缓存、远程接口或消息服务,就不能把完整请求耗时直接代入,否则会高估数据库连接需求。
反过来,如果每秒仍有600个事务,但平均数据库占用时间因为慢查询增加到500毫秒:
- 500毫秒 = 0.5秒;
- 所需并发连接数 = 600 × 0.5 = 300个。
这时把PgBouncer连接池设置为60,并不会消除问题,只会让约240个事务在池中等待。正确方向是先分析慢查询、锁等待、索引和I/O,再决定是否需要调整池大小。
连接预算的安全边界
一个较稳妥的连接预算可以表示为:
PgBouncer后端连接目标 ≤ 数据库资源测试上限
同时还要满足:
PgBouncer后端连接目标 < PostgreSQL max_connections - 预留连接
预留部分需要考虑超级用户保留连接、监控、备份、复制、迁移和临时维护操作。数据库已经存在其他直连应用时,还应从总预算中扣除这些连接。
例如,数据库配置max_connections=200,但容量验证显示超过70个活跃业务后端后,CPU和锁等待明显恶化,那么就不能把200全部交给PgBouncer。可以先将业务连接目标控制在50至60个,并为管理和后台任务保留余量。
一个示例配置
下面配置用于说明控制关系,假设只有一个主要数据库和一个业务用户,应用采用事务池模式。实际值需要结合应用实例数、数据库容量和驱动兼容性调整。
[databases]
appdb = host=127.0.0.1 port=5432 dbname=appdb
[pgbouncer]
listen_addr = 127.0.0.1
listen_port = 6432
auth_type = scram-sha-256
auth_file = /etc/pgbouncer/userlist.txt
pool_mode = transaction
max_client_conn = 1200
default_pool_size = 50
min_pool_size = 5
reserve_pool_size = 10
reserve_pool_timeout = 2
max_db_connections = 60
max_user_connections = 60
query_wait_timeout = 10
server_idle_timeout = 300
server_lifetime = 3600
这组参数的含义是:
- PgBouncer最多接受约1200个客户端连接;
- 常态下每个数据库和用户池使用50个后端连接;
- 连接等待超过2秒后,才尝试使用最多10个额外连接;
max_db_connections=60将该数据库的后端连接总量控制在60以内;- 客户端在池中等待超过10秒后不再无限排队;
- 空闲连接和存活时间较长的后端连接可以按策略回收。
min_pool_size和reserve_pool_size都要计入预算。保留池是突发缓冲,不是让数据库长期运行在60个高负载连接上的依据。如果保留池经常被使用,应优先检查请求突增、事务变长或慢查询,而不是继续提高reserve_pool_size。
配置修改前应保存当前配置文件,并确认目标PgBouncer版本支持相关参数。对于监听地址、认证方式和连接端口的调整,需要先验证应用连接串和权限范围;不要在未确认连接路径的情况下直接重启生产服务。涉及PostgreSQLmax_connections的改动通常需要重启或受版本限制,应在盘点现有连接、保留回滚配置并安排维护窗口后进行。
部署取舍:PgBouncer放在哪里,决定故障边界
与数据库部署在同一台服务器
PgBouncer与PostgreSQL部署在同一台服务器上,通常可以使用本机地址或Unix Socket通信,网络延迟和部署复杂度较低。
适合以下情况:
- 单个业务规模中等;
- 主要目标是减少数据库后端连接;
- 能接受PgBouncer与数据库共享CPU、内存和主机故障域;
- 已经有明确的应用连接路径。
需要注意,PgBouncer本身消耗的资源通常低于数据库,但大量客户端连接仍会消耗文件描述符、内存和调度资源。max_client_conn设置较大时,应检查操作系统文件描述符上限、进程限制和监控覆盖范围。
独立部署在应用与数据库之间
将PgBouncer部署在独立的私有网络服务器上,可以把连接接入和数据库计算资源分开,便于多个应用共享池化入口。
代价包括:
- 增加一跳网络;
- 需要为客户端到PgBouncer、PgBouncer到数据库分别配置访问控制;
- PgBouncer服务器本身可能成为新的单点;
- 节点故障会导致已有客户端连接断开,应用需要有边界清晰的重试策略。
如果采用多个PgBouncer实例,应把所有实例的后端连接数相加。每个实例配置max_db_connections=60,并不代表数据库全局最多只有60个后端连接;两个实例理论上可能同时建立接近120个连接。
Sidecar或按应用独立部署
在容器平台中,可能为每个应用副本部署一个独立PgBouncer,或者每个应用使用独立池化进程。这种方式便于隔离租户和应用,但最容易出现连接预算重复计算。
例如:
- 10个应用副本;
- 每个副本的PgBouncer配置
default_pool_size=20; - 每个副本最多可能向数据库建立20个后端连接;
那么数据库侧潜在连接数约为10 × 20 = 200,还未计算保留池和其他用户。扩容应用副本时,数据库连接上限也会随之增长。
如果数据库需要严格控制全局连接数,通常应优先使用共享PgBouncer入口,或者为每个独立池重新分配较小的连接预算,并将所有实例的常态池、最小池和保留池统一纳入计算。
运行要点:观察排队,而不是只看连接总数
同时查看PgBouncer和PostgreSQL
PgBouncer管理库中的只读状态信息可以帮助区分客户端排队和数据库执行压力。已配置监控用户并授权访问管理库后,可以执行:
psql "host=127.0.0.1 port=6432 dbname=pgbouncer user=monitor" -c "SHOW POOLS;"
psql "host=127.0.0.1 port=6432 dbname=pgbouncer user=monitor" -c "SHOW STATS;"
psql "host=127.0.0.1 port=6432 dbname=pgbouncer user=monitor" -c "SHOW CONFIG;"
不同版本显示的字段可能略有差异,但通常应重点关注:
| 观察项 | 说明 | 常见判断 |
|---|---|---|
cl_active | 正在使用PgBouncer的客户端连接数 | 反映应用侧活跃连接 |
cl_waiting | 等待后端连接的客户端数 | 持续增加说明池不足或数据库执行变慢 |
sv_active | 正在执行事务的后端连接数 | 接近上限时要结合CPU、I/O和锁等待判断 |
sv_idle | 当前空闲的后端连接数 | 有空闲连接但客户端仍等待,需检查分池、用户限制和路由 |
maxwait或对应等待时间字段 | 最长等待时间 | 持续升高说明队列正在积压 |
| 平均事务和查询耗时 | 后端执行耗时 | 变长时,单纯扩大池大小可能放大数据库压力 |
在PostgreSQL端,应确认当前连接总量、连接状态和等待事件:
SELECT
state,
wait_event_type,
wait_event,
count(*) AS connections
FROM pg_stat_activity
GROUP BY state, wait_event_type, wait_event
ORDER BY connections DESC;
还可以查看长事务和“事务中空闲”的连接:
SELECT
pid,
usename,
application_name,
client_addr,
state,
now() - xact_start AS transaction_age,
wait_event_type,
wait_event
FROM pg_stat_activity
WHERE xact_start IS NOT NULL
ORDER BY xact_start
LIMIT 20;
如果cl_waiting持续增加、sv_active接近配置上限,且PostgreSQL CPU、I/O或锁等待也升高,通常说明数据库执行能力已经成为瓶颈。此时不应直接增大default_pool_size,而应先定位慢查询、锁等待和长事务。
如果cl_waiting增加,但sv_idle仍然较多,需要检查:
- 客户端和后端是否进入了不同的数据库或用户池;
max_db_connections或max_user_connections是否提前触发;- 应用是否连接到了错误的PgBouncer实例;
- 是否有连接被长时间保持在未提交事务中;
- 多个PgBouncer实例之间是否存在预算不一致。
让超时层次保持一致
连接池等待、数据库执行和HTTP请求应有清晰的时间边界。可以按以下关系进行规划:
- 应用请求超时应覆盖正常的连接池等待和数据库执行时间;
- PgBouncer的等待超时不宜无限制,否则客户端会长期占用;
- 数据库语句超时应与业务允许的SQL执行时间匹配;
- 重试次数要有限,并加入退避,避免数据库压力升高时形成重连风暴。
需要区分“等待后端连接超时”和“SQL执行超时”。前者说明PgBouncer没有及时分配连接,后者说明SQL已经拿到连接但执行过慢。两种问题的处理方向不同:前者检查池大小和并发,后者检查查询计划、索引、锁和I/O。
防止重连风暴和池配置失配
数据库故障恢复、网络抖动或PgBouncer重启后,大量应用实例可能同时重连。如果每个实例都配置较大的连接池,短时间内会产生连接建立峰值。
运行时应核对:
- 应用连接池最大连接数是否按峰值副本数计算;
- 应用启动时是否一次性创建全部连接;
- 重连是否有指数退避和随机抖动;
- 健康检查是否错误地直接连接PostgreSQL;
- 应用是否仍然保留旧的5432直连配置;
- PgBouncer的管理端口是否没有暴露给不必要的网络。
如果应用使用事务池模式,连接泄漏的表现可能不再是客户端连接数量一直增加,而是事务长期不结束、后端连接无法归还。应重点检查异常路径是否遗漏COMMIT或ROLLBACK,以及请求被取消时驱动是否正确释放连接。
何时应该调整连接池大小
可以根据现象进行条件化判断:
- 客户端排队少、数据库资源空闲、请求延迟稳定:没有必要为了提高数字而扩大池。
- 客户端排队增加、数据库CPU和I/O仍有余量:可以小幅增加常态池,并观察事务耗时和资源曲线。
- 客户端排队增加、数据库CPU或I/O已饱和:应优化SQL、索引、事务长度或资源配置,不能仅增加连接。
- 数据库连接数接近
max_connections但活跃查询不多:检查会话池模式、空闲连接、连接泄漏和未经过PgBouncer的直连。 - 保留池频繁启用:把它视为容量告警信号,检查突发流量、慢查询和应用实例扩容。
- 事务池模式出现状态错乱:优先核对会话状态依赖和驱动预处理语句,再决定改用会话池或调整客户端行为。
回到“如何避免连接数超过数据库承载能力”这个问题,关键验证点不是PgBouncer是否运行,而是数据库侧后端连接总量是否被纳入统一预算。下一步应先统计所有应用实例、所有PgBouncer实例、所有数据库用户和所有直连路径,计算常态池、最小池与保留池的总和,再结合cl_waiting、sv_active、长事务、CPU、I/O和锁等待观察容量边界。只有在确认数据库仍有资源余量时,才适合扩大连接池;如果等待来自慢查询或长事务,控制连接复用的正确动作通常是缩短数据库占用时间,而不是继续增加连接数。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5025.html



