数据库服务器PostgreSQL检查点频繁触发怎么办?如何判断检查点压力来源

发布人:A5数据发布时间:2026-10-23 10:11阅读量:93

PostgreSQL 检查点频繁触发,不等于数据库服务器的 CPU 或磁盘一定已经达到瓶颈。检查点可能是按时间到期,也可能是 WAL 生成量达到阈值,甚至可能由运维操作、备份流程或数据库内部请求触发。真正需要判断的是:检查点为什么被触发、每次检查点写了多少数据、写入和同步耗时是否过长,以及它是否与业务延迟、磁盘队列或 WAL 增长同时出现。

排查时不要只盯着 checkpoint_timeout。如果日志中的 checkpoints_req 明显高于按时间触发的检查点,优先检查 WAL 生成速度与 max_wal_size;如果检查点本身的 write、sync 时间很长,重点转向存储性能和 I/O 竞争;如果检查点耗时正常但业务仍然变慢,则还要区分 CPU、内存、锁等待、网络或应用请求突发造成的间接影响。

先划清检查点的概念边界

检查点到底做了什么

PostgreSQL 修改数据时,通常先把变更写入 WAL,再将数据页标记为脏页并留在共享缓冲区或操作系统缓存中。检查点发生时,数据库需要把一批脏数据页写入数据文件,并在必要时完成文件同步,以便建立一个可用于崩溃恢复的一致恢复位置。

因此,检查点主要涉及三类工作:

  • 产生或处理与检查点相关的 WAL;
  • 将脏数据页写入数据文件;
  • 对相关文件执行同步操作,确保已经写入的数据具备预期持久性。

检查点本身不是“清理 WAL”的简单动作,也不是数据库每执行一条 SQL 就触发一次。它更像是定期把内存中的修改批量落盘,并记录一个恢复边界。

两类常见触发方式

PostgreSQL 通常受以下两个参数共同影响:

  • checkpoint_timeout:两次自动检查点之间的时间上限;
  • max_wal_size:从上一个检查点开始生成的 WAL 达到一定规模后,促使数据库请求新的检查点。

可以把它理解为两个闹钟:

  • 时间闹钟先响,产生按时间触发的检查点;
  • WAL 规模闹钟先响,产生按请求触发的检查点。

这两个参数并不是严格的“到点即执行”或“达到精确容量即停止”。max_wal_size 是与检查点和 WAL 文件回收相关的软性控制值,实际触发时间还会受到 WAL 文件、复制、归档和工作负载变化影响。

除了自动触发,以下情况也可能造成检查点请求:

  • 管理员或自动化脚本执行了显式检查点;
  • 备份、恢复或高可用流程产生额外检查点相关活动;
  • 数据库启动后,在备用节点上执行的是 restartpoint,而不是主节点上的普通 checkpoint;
  • 某些数据库操作或扩展流程主动请求检查点。

所以,“检查点频繁”首先要回答的是“频繁按时间触发,还是频繁被请求触发”,而不是马上修改参数。

检查点压力是怎样形成的

WAL 生成速度是首要变量

如果业务持续产生大量 WAL,即使 checkpoint_timeout 设置得不短,也可能因为 max_wal_size 较小而频繁请求检查点。

WAL 量不只由事务数量决定,还会受到以下因素影响:

  • INSERT、UPDATE、DELETE 修改的数据量;
  • 表上的索引数量;
  • 批量更新是否一次修改大量数据页;
  • 页面首次修改或检查点后的全页写入;
  • full_page_writes 的工作方式;
  • WAL 压缩设置;
  • 大事务、批处理任务和定时作业带来的写入突发。

例如,两个系统都执行每秒 1 万个事务,但一个事务只更新一个窄表字段,另一个事务同时更新宽表、多个索引和大量页面,它们的 WAL 生成量可能相差很大。因此 TPS 不能直接代替 WAL 速率。

检查点写入压力不等于业务写入压力

检查点可能在业务写入并不高的时间点落盘大量脏页。这通常是此前积累的脏页集中写出,而不是检查点瞬间产生了全部数据。

checkpoint_completion_target 的作用是尝试把检查点写入工作分散在检查点间隔内。它能够降低短时间内的写入尖峰,但不会减少需要写入的总数据量。如果底层存储长期无法跟上,延长写入窗口只能缓解尖峰,不能从根本上解决吞吐不足。

CPU、内存、磁盘、网络和应用的关系并不相同

检查点通常最直接地消耗磁盘写入和同步能力,但其他资源也可能形成间接影响。

资源或层次可能表现与检查点的关系优先验证内容
CPU检查点期间 CPU 占用升高,或业务查询变慢WAL 处理、压缩、脏页管理会占用 CPU,但检查点通常不是纯 CPU 型任务用户态、系统态、iowait、WAL 压缩与查询计算
内存swap、页面回收、缓存命中率下降内存不足会让数据页频繁换入换出,放大磁盘压力;内存大也不代表检查点更少vmstat、swap、共享缓冲区、操作系统内存回收
磁盘await、队列长度、写入延迟升高检查点最直接的资源压力来源,尤其是同步耗时长iostat、检查点 write/sync 时间、数据盘和 WAL 盘
网络客户端请求延迟、复制延迟、归档积压普通本地检查点不依赖客户端网络;复制和归档可能间接造成 WAL 保留或磁盘增长应用连接、复制发送/接收、归档状态
应用定时批处理时检查点密集出现大批量写入、重复更新、事务突发会提升 WAL 生成速率应用发布、定时任务、批量 SQL、事务提交曲线
数据库配置checkpoints_req 持续增加检查点间隔或 WAL 空间配置不匹配工作负载checkpoint_timeout、max_wal_size、checkpoint_completion_target

特别要注意,长事务本身通常不会直接触发检查点。长事务更常见的影响是阻止清理旧版本、延迟空间回收,或者配合复制槽导致 WAL 保留时间变长。它可能放大磁盘占用和整体压力,但不能仅凭“存在长事务”就认定它是检查点频繁的直接原因。

先确认是时间触发还是 WAL 触发

查看当前配置

在 PostgreSQL 中先读取实际生效值,不要只看配置文件中的期望值:

SHOW server_version;
SHOW checkpoint_timeout;
SHOW max_wal_size;
SHOW checkpoint_completion_target;
SHOW full_page_writes;
SHOW wal_compression;
SHOW log_checkpoints;

如果需要同时确认参数来源、作用域和是否需要重启,可以查询:

SELECT
    name,
    setting,
    unit,
    context,
    source,
    pending_restart
FROM pg_settings
WHERE name IN (
    'checkpoint_timeout',
    'max_wal_size',
    'checkpoint_completion_target',
    'full_page_writes',
    'wal_compression',
    'log_checkpoints'
)
ORDER BY name;

其中,source 可以帮助判断当前值来自默认值、配置文件、命令行还是其他来源;pending_restart 可以提示修改是否尚未生效。

查看累计检查点统计

不同 PostgreSQL 大版本的统计视图字段存在差异,不能直接把一个版本的查询套到所有版本。

在较早版本中,检查点统计通常位于 pg_stat_bgwriter:

SELECT
    checkpoints_timed,
    checkpoints_req,
    checkpoint_write_time,
    checkpoint_sync_time,
    buffers_checkpoint,
    stats_reset
FROM pg_stat_bgwriter;

在较新的版本中,检查点统计可能位于 pg_stat_checkpointer:

SELECT
    num_timed,
    num_requested,
    write_time,
    sync_time,
    buffers_written,
    stats_reset
FROM pg_stat_checkpointer;

如果不确定视图字段,应先在 psql 中核对:

\d+ pg_stat_bgwriter
\d+ pg_stat_checkpointer

重点关注两类数量:

  • 按时间触发的检查点数量;
  • 被请求触发的检查点数量。

如果 checkpoints_req 或新版本中的 num_requested 增长明显,而按时间触发的数量增长较少,通常说明 WAL 生成速度相对于 max_wal_size 偏高,或者存在显式检查点请求。

这些统计是累计值,必须记录两个时间点再计算增量。例如,第一次查询记录为:

  • checkpoints_req = 120
  • checkpoints_timed = 80

30 分钟后记录为:

  • checkpoints_req = 150
  • checkpoints_timed = 82

则这 30 分钟内发生了 30 次请求检查点和 2 次按时间检查点。此时应优先寻找 WAL 生成或显式请求来源,而不是先判断 checkpoint_timeout 太短。

打开检查点日志后看触发上下文

如果 log_checkpoints 尚未启用,建议通过现有配置管理流程临时开启,并保留原值作为回滚依据。开启日志会增加少量日志记录,应避免在高日志量环境中长期无计划地扩大日志输出。

日志中的典型信息可能类似:

checkpoint starting: time
checkpoint complete: wrote 125000 buffers (7.6%); write=42.318 s, sync=3.207 s, total=45.781 s; buffers_written=125000

这是示例格式,实际字段会随版本和日志配置变化。判断时重点看:

  • wrote ... buffers:本次检查点写了多少缓冲区;
  • write:写数据页阶段耗时;
  • sync:文件同步阶段耗时;
  • total:整个检查点耗时;
  • distance、estimate 等 WAL 距离信息:辅助判断 WAL 增长节奏。

若日志出现较短间隔的多次 checkpoint starting,但 write 和 sync 时间都不长,可能是 WAL 生成速度较高或存在显式请求。若每次检查点间隔并不短,却经常占用几十秒甚至更久,则问题可能在存储写入或同步能力,而不是“检查点触发得太频繁”。

用 WAL 速率验证 max_wal_size 是否偏小

查看 WAL 统计

较新的 PostgreSQL 版本通常提供 pg_stat_wal,可以查看累计 WAL 记录和字节数:

SELECT
    wal_records,
    wal_fpi,
    wal_bytes,
    wal_buffers_full,
    stats_reset
FROM pg_stat_wal;

其中:

  • wal_bytes 可用于估算某段时间内产生的 WAL 字节数;
  • wal_fpi 表示全页镜像相关记录数量,适合辅助判断检查点后页面修改是否放大 WAL;
  • wal_buffers_full 增长较快时,说明 WAL 缓冲区可能频繁被填满,但不能单独据此断定需要扩大某个参数。

记录两个时间点的 wal_bytes,用后一个值减去前一个值,再除以经过秒数,就得到近似 WAL 生成速率。

也可以直接记录当前 WAL 位点:

SELECT
    clock_timestamp() AS sample_time,
    pg_current_wal_lsn() AS current_lsn;

两次采样后,用 pg_wal_lsn_diff 计算差值:

SELECT pg_wal_lsn_diff('第二次采样LSN', '第一次采样LSN') AS wal_bytes;

例如,5 分钟内产生了约 4 GiB WAL,则平均速率约为:

  • 4 GiB = 4096 MiB;
  • 5 分钟 = 300 秒;
  • 平均 WAL 速率 = 4096 ÷ 300 ≈ 13.65 MiB/s。

这只是观测窗口内的平均值。批处理期间可能远高于平均值,因此最好分别采集业务低峰、正常时段和批处理时段。

用估算判断参数是否匹配

假设:

  • max_wal_size 约为 32 GiB;
  • 高峰 WAL 产生速度约为 128 MiB/s;
  • 32 GiB 按二进制口径换算为 32 × 1024 = 32768 MiB。

理论上达到这一规模所需时间约为:

32768 MiB ÷ 128 MiB/s = 256 秒

也就是说,在该高峰工作负载下,即使 checkpoint_timeout 设置得更长,也可能大约每 4 分钟被 WAL 规模推动一次检查点。

这个计算只能用于判断量级,不能当作精确预测。原因包括:

  • max_wal_size 不是绝对硬上限;
  • WAL 文件大小按段管理;
  • 检查点写入和 WAL 回收可能存在时间差;
  • 归档、复制槽和备用节点会影响 WAL 保留;
  • WAL 生成速率不是恒定值;
  • 全页写入可能让检查点后的短时间 WAL 增量明显上升。

如果高峰期确实是 WAL 速率远高于平时,调大 max_wal_size 只能降低检查点频率,不能降低 WAL 产生量。需要同时评估磁盘余量、归档空间、复制延迟和故障恢复时间。

继续区分 CPU、内存、磁盘、网络和应用瓶颈

检查主机资源的时间相关性

数据库指标必须与操作系统指标使用相同时间窗口。可以先使用以下只读命令观察资源变化:

iostat -xz 1 10

重点查看承载数据文件和 WAL 文件的设备:

  • await 或写入等待时间持续升高,说明 I/O 延迟可能变差;
  • aqu-sz 持续较高,说明设备队列积压;
  • %util 长时间接近设备能力上限,说明设备可能已经饱和;
  • 只有检查点发生时指标升高,可能是检查点写入尖峰;
  • 全天持续升高,则可能是业务写入、查询临时文件、归档或其他进程共同造成。

查看内存和系统调度情况:

vmstat 1 10

关注:

  • si、so 是否出现持续交换;
  • wa 是否在检查点期间明显升高;
  • r 是否持续高于 CPU 可运行能力;
  • free 不是唯一判断依据,还要结合回收、缓存和 swap。

查看 PostgreSQL 进程的 CPU 与 I/O 活动时,可以使用:

pidstat -dru -C postgres 1 10

如果系统未安装 pidstat,可使用发行版对应的系统监控工具替代。不要只观察某一个 PostgreSQL 主进程,因为检查点、后台写入和业务连接通常由不同进程承担。

如何判断磁盘是否是主因

如果检查点日志中 write 时间明显长,且 iostat 同时显示写入等待和队列上升,磁盘或存储层是高概率瓶颈。

如果 write 时间不长,但 sync 时间长,则可能存在以下问题:

  • 存储设备的持久化确认延迟高;
  • 虚拟化存储或网络存储的同步语义开销较大;
  • 数据目录所在文件系统存在其他同步压力;
  • 同一设备上有归档、备份、日志或其他服务竞争。

不能只看吞吐量。某存储设备的顺序写带宽可能很高,但随机写和同步写延迟仍然较大。检查点需要处理大量数据页和文件同步,延迟指标往往比单纯的 MB/s 更有判断价值。

如何判断 CPU 或内存是否只是伴随现象

如果检查点期间 CPU 的系统态和 iowait 升高,而磁盘队列也明显增加,CPU 高占用可能是 I/O 等待或文件系统处理的结果,不一定是 CPU 算力不足。

如果用户态 CPU 持续接近上限,但检查点写入和同步耗时正常,瓶颈更可能在业务 SQL、排序、聚合、索引维护或 WAL 压缩等环节。此时调大 max_wal_size 不会解决查询计算不足。

内存方面,重点确认是否发生 swap 和频繁页面回收。不要因为“共享缓冲区较大”就直接认定内存是检查点频繁的原因。共享缓冲区较大可能增加单次检查点需要处理的脏页集合,但是否造成压力,还要看脏页产生速率、存储写入能力和检查点写入窗口。

如何排除网络和应用层误判

普通本地检查点主要是数据库节点内部的磁盘工作,不会因为客户端网络带宽下降就直接触发。网络异常更常见的影响是:

  • 客户端请求变慢,事务持续时间变长;
  • 应用连接堆积;
  • 主备复制延迟;
  • WAL 归档或传输速度下降;
  • 复制槽保留更多 WAL,导致磁盘持续增长。

可以查看当前连接和事务状态:

SELECT
    pid,
    usename,
    application_name,
    client_addr,
    state,
    wait_event_type,
    wait_event,
    xact_start,
    query_start,
    left(query, 160) AS query_sample
FROM pg_stat_activity
WHERE backend_type = 'client backend'
ORDER BY xact_start NULLS LAST, query_start NULLS LAST;

再结合应用发布、定时任务和批处理时间线判断。如果每次检查点请求数量增加都与某个批量更新任务重合,应优先检查该任务的更新范围、索引数量、提交批次和是否存在重复写入,而不是直接扩大数据库缓存。

根据证据选择处理方式

观测结果更可能的来源处理方向
请求检查点明显多于按时间检查点,WAL 速率高WAL 生成量相对 max_wal_size 偏高评估增大 max_wal_size,同时检查磁盘、归档、复制和恢复窗口
按时间检查点为主,单次耗时正常工作负载与时间参数匹配不必把频繁日志直接视为故障,确认业务延迟是否真的受影响
检查点 write 时间长,磁盘队列高数据盘写入吞吐或延迟不足减少 I/O 竞争、优化批量写入节奏、评估存储能力
检查点 sync 时间长持久化确认或文件同步延迟高检查文件系统、虚拟化存储和 WAL/数据盘布局
CPU 满载但检查点写入正常查询、索引、压缩或其他进程占用 CPU用 SQL 和进程级指标定位计算型负载
swap 或页面回收明显内存压力处理内存过量分配、连接数、work_mem 叠加和其他进程占用
检查点与批量任务高度重合应用写入突发拆分批次、错峰执行、减少无效更新,并评估索引维护成本
复制或归档延迟,WAL 持续增长网络、归档或高可用链路检查归档失败、复制槽、备用节点状态和链路带宽

如果确定是参数与工作负载不匹配,通常先调整一个变量并观察完整业务周期。增大 max_wal_size 可能减少检查点频率,但会增加异常宕机后的恢复工作量,并需要更多磁盘空间;延长 checkpoint_timeout 可能减少按时间检查点,但也可能让单次检查点积累更多脏页,造成更大的写入峰值和更长的恢复时间。

调整前应记录当前值、确认磁盘剩余空间和复制归档状态,并通过配置管理系统备份变更。调整后检查 pg_settings.pending_restart、检查点日志和主机 I/O 指标;如果延迟、空间或恢复风险变差,应恢复原值并重新加载或重启到对应配置状态。不要为了减少检查点日志而关闭 full_page_writes,这会改变崩溃恢复保护边界,不能作为普通性能优化手段。

判断时必须保留的边界

第一,检查点频率本身不是性能故障的充分证据。高写入系统可能自然产生较多检查点,只要每次检查点耗时可接受、磁盘没有持续积压、业务延迟没有同步恶化,就不能仅凭次数判定异常。

第二,max_wal_size 不是“磁盘最多只能使用多少 WAL”的精确上限。复制槽、归档失败、备用节点延迟和长事务都可能让 WAL 文件继续保留。判断空间风险时,必须同时查看 WAL 目录增长、归档状态和复制状态。

第三,累计统计必须按时间窗口取差值。数据库重启、统计重置、版本升级或监控采集间断都会影响比较结果。检查点日志、pg_stat_wal、pg_stat_activity 和操作系统指标应尽量使用同一时间线。

第四,主库和备库不能简单套用同一解释。备库主要执行 restartpoint,统计字段和触发条件可能与主库不同;主备复制延迟也可能让备库的磁盘压力表现出不同节奏。

第五,云主机、容器和网络存储环境中的 CPU、内存和磁盘指标可能受到配额、突发性能和底层共享资源影响。iostat 看到的是实例或容器可见设备,不一定等于物理存储设备的完整状态。

实际判断可以收敛为一条证据链:先用检查点统计确认触发类型,再用 WAL 位点或 pg_stat_wal 计算生成速率,随后对照检查点日志中的 write、sync 时间,最后将这些时间点与 iostat、vmstat、应用批处理和复制归档指标对齐。只有当触发原因、资源指标和业务影响相互印证时,才适合调整检查点参数;如果三者无法对应,应继续排查应用写入模式、锁等待、归档复制或其他 I/O 来源,而不是仅凭“检查点频繁”修改配置。

判断时必须保留的边界配图

A5数据为数据库与业务后台提供中国香港、美国、日本等地区的物理服务器租用资源,覆盖Xeon Gold、AMD EPYC等平台,并提供SSD、NVMe及大容量存储方案。针对PostgreSQL这类持续产生WAL并依赖磁盘写入的业务,可结合不同CPU、内存与存储组合承载数据文件、日志写入和多任务运行;多地区线路及带宽资源也能覆盖跨区域访问、接口服务与企业后台等部署场景。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5247.html

相关推荐