数据库服务器PostgreSQL复制延迟如何区分写入压力与从库瓶颈

发布人:A5数据发布时间:2026-10-21 14:11阅读量:128

要区分 PostgreSQL 复制延迟究竟来自主库写入压力,还是来自从库处理能力不足,不能只看“延迟了多少秒”。更可靠的方法是比较同一时刻的 WAL 位置,把延迟拆成“主库尚未发送、网络或接收未落盘、从库尚未刷盘、从库尚未回放”四段。缺口出现在哪一段,通常就决定了下一步应该检查主库负载、网络、磁盘,还是从库查询与回放过程。

如果主库当前 WAL 位置持续领先 sent_lsn,说明 WAL 产生速度已经超过发送能力,写入压力或主库侧发送链路更可疑;如果 sent_lsn 已经接近主库当前位置,但 flush_lsn、replay_lsn 明显落后,则数据大多已经到达从库,瓶颈更可能在从库磁盘刷写、CPU、回放冲突或从库上的查询负载。两者也可能同时存在:主库突发批量写入是触发因素,而从库处理能力不足才是延迟持续扩大的原因。

先确认“复制延迟”具体指什么

PostgreSQL 物理流复制至少涉及以下几个位置:

位置主要含义能说明什么
pg_current_wal_lsn()主库当前 WAL 写入位置当前主库产生 WAL 的进度
sent_lsn主库 WAL sender 已发送到从库的位置主库发送进度
write_lsn从库已写入 WAL 文件的位置从库接收并写入进度
flush_lsn从库已将 WAL 刷到持久化存储的位置从库 WAL 持久化进度
replay_lsn从库已回放、对查询可见的位置从库实际应用进度

因此,可以把复制延迟拆成四个差值:

先确认“复制延迟”具体指什么配图

  • 主库当前位置 - sent_lsn:主库尚未发送的 WAL,偏向主库写入或发送能力问题。
  • sent_lsn - write_lsn:已经发送但从库尚未写入的 WAL,偏向网络或接收端处理问题。
  • write_lsn - flush_lsn:已经写入但尚未完成持久化的 WAL,偏向从库存储刷写问题。
  • flush_lsn - replay_lsn:已经持久化但尚未回放的 WAL,偏向从库 CPU、回放冲突或查询负载问题。

这些差值使用的是 LSN 字节位置,可以通过 pg_wal_lsn_diff() 计算。LSN 差值比“延迟几秒”更适合判断根因,因为时间延迟会受到事务提交频率影响。

先看主库上的复制视图

以下查询应在主库执行。SQL 只读取统计信息,不会修改数据库状态:

SELECT
    now() AS sample_time,
    pg_current_wal_lsn() AS primary_lsn,
    application_name,
    client_addr,
    state,
    sync_state,
    sent_lsn,
    write_lsn,
    flush_lsn,
    replay_lsn,
    pg_wal_lsn_diff(pg_current_wal_lsn(), sent_lsn) AS unsent_bytes,
    pg_wal_lsn_diff(sent_lsn, write_lsn) AS sent_not_written_bytes,
    pg_wal_lsn_diff(write_lsn, flush_lsn) AS written_not_flushed_bytes,
    pg_wal_lsn_diff(flush_lsn, replay_lsn) AS flushed_not_replayed_bytes,
    write_lag,
    flush_lag,
    replay_lag,
    reply_time
FROM pg_stat_replication;

pg_stat_replication 没有数据时,不要直接将其解释为“延迟很大”。它也可能表示从库没有建立复制连接、连接到了其他主库、使用了级联复制,或者当前连接已经断开。应结合 PostgreSQL 日志和从库端的 WAL receiver 状态判断。

再看从库是否正在接收和回放

以下查询应在从库执行:

SELECT
    now() AS sample_time,
    pg_is_in_recovery() AS is_standby,
    pg_last_wal_receive_lsn() AS receive_lsn,
    pg_last_wal_replay_lsn() AS replay_lsn,
    pg_last_xact_replay_timestamp() AS last_replay_commit_time,
    now() - pg_last_xact_replay_timestamp() AS replay_time_lag,
    pg_is_wal_replay_paused() AS replay_paused;
SELECT
    status,
    sender_host,
    sender_port,
    slot_name,
    written_lsn,
    flushed_lsn,
    latest_end_lsn,
    latest_end_time
FROM pg_stat_wal_receiver;

pg_last_xact_replay_timestamp() 只能作为辅助指标。主库长时间没有提交事务时,从库即使已经追平,最后一次回放提交时间也可能很早;反过来,主库提交频繁时,时间差才更接近业务感知的回放延迟。因此,判断根因时应优先看 LSN 差值和变化趋势。

建立原因树:延迟可能发生在哪一层

复制延迟不是单一的数据库参数问题,可以按“工作负载、网络、系统资源、PostgreSQL 复制服务、应用访问方式”逐层建立原因树。

层级典型现象下一步重点
主库写入压力主库 WAL 产生速率突然升高,当前位置持续领先 sent_lsn核查批量写入、更新、索引操作和 WAL 生成速率
网络链路sent_lsn 与 write_lsn 差距持续扩大,连接抖动或吞吐不足检查带宽、丢包、重传、连接状态和链路策略
从库系统资源从库磁盘延迟高、CPU 饱和、内存不足或发生交换检查 WAL 写入、刷盘、文件系统和系统负载
PostgreSQL 复制服务WAL receiver 断开、回放暂停、复制槽滞后检查 receiver、日志、复制槽和恢复状态
从库应用负载flush_lsn 接近但 replay_lsn 落后,查询冲突或长查询明显检查只读查询、回放冲突、延迟回放配置
应用一致性设计复制指标正常,但业务仍读到旧数据或重复处理检查读流量路由、重试、幂等和任务顺序

“主库写入压力”和“从库瓶颈”并不总是互斥。主库写入速率超过从库最大回放速率时,写入压力是输入,从库处理能力不足是持续积压的原因。需要通过缺口所在位置和负载下降后的变化趋势加以区分。

逐层排除主库写入压力

观察 WAL 产生速率,而不是只看事务数量

同样是每秒一千个事务,小事务和大批量更新产生的 WAL 量可能完全不同。批量 UPDATE、大范围删除、索引重建、表结构变更、全页写入增加,都可能让 WAL 速率明显升高。

在 PostgreSQL 14 及以上版本,可以查看 pg_stat_wal:

SELECT
    now() AS sample_time,
    wal_records,
    wal_fpi,
    wal_bytes,
    stats_reset
FROM pg_stat_wal;

连续采集两次,使用“第二次 wal_bytes 减第一次 wal_bytes,再除以采样间隔秒数”,即可估算 WAL 产生速率。该值表示 WAL 字节速率,不等于业务数据写入量。

例如,假设 60 秒内 wal_bytes 增加了 6,000,000,000 字节,则平均 WAL 速率约为:

6,000,000,000 ÷ 60 = 100,000,000 字节/秒

按十进制口径,这约为 100 MB/s;仅计算数据载荷就需要:

100 MB/s × 8 = 800 Mbps

实际网络还要承担 TCP、TLS、协议和重传开销。如果主库产生速率已经接近链路能力,current_lsn - sent_lsn 就可能持续扩大。

通过趋势判断是不是主库侧积压

以下情况更支持“主库写入压力或主库发送能力不足”:

  • 主库 WAL 产生速率突然高于平时。
  • pg_current_wal_lsn() 与 sent_lsn 的差值不断增加。
  • sent_lsn、write_lsn、flush_lsn、replay_lsn 之间的相对差距不大,说明从库收到数据后处理速度尚可。
  • 暂停或降低非必要批量写入后,unsent_bytes 开始下降。
  • 主库磁盘写延迟、WAL 写入等待或 WAL sender 进程资源消耗升高。

可以在允许的情况下,对批处理任务进行限速、缩小单批事务规模或暂缓非核心数据同步任务,然后连续观察多个采样周期。不要因为一次瞬时高峰就修改多个数据库参数,否则难以判断究竟是哪项措施产生了作用。

检查网络和复制连接

网络问题通常表现为 WAL 已经由主库生成,但没有及时到达从库。ping 只能说明基础连通性,不能证明 PostgreSQL 复制链路具备稳定吞吐能力。

先确认 PostgreSQL 实际监听端口,不能默认使用 5432:

SHOW port;

在主库和从库操作系统上,可以查看 TCP 连接和网卡统计:

ss -tin
ip -s link

重点观察:

  • 复制 TCP 连接是否仍然建立。
  • TCP 重传、接收窗口或发送窗口是否异常。
  • 网卡是否出现丢包、错误包或队列丢弃。
  • 链路带宽是否被备份、镜像、日志传输等其他任务占用。
  • 主库到从库的路径是否经过带宽受限的跨区域链路。

如果 current_lsn - sent_lsn 较大,主库侧尚未发送;如果 sent_lsn - write_lsn 较大,则数据已经离开 WAL sender,但从库还没有完成写入。后一种情况可能是网络传输慢,也可能是从库 WAL receiver 或存储处理慢,需要在两端同时采样,不能只根据一个差值下结论。

网络吞吐估算也要注意单位。100 MB/s 是每秒 100,000,000 字节,换算为载荷约 800 Mbps;不能把 MB/s 直接当成 Mb/s 使用。

检查从库系统资源

如果主库已经把 WAL 发送出去,而从库的 write_lsn、flush_lsn 或 replay_lsn 长时间落后,应检查从库服务器资源。

存储与文件系统

在从库执行:

iostat -xz 1 5
df -h
df -i

重点看:

  • WAL 所在磁盘的 await 是否持续升高。
  • 磁盘利用率是否接近饱和。
  • 随机写和同步刷盘是否受到存储系统限制。
  • 数据目录或 WAL 目录是否接近容量上限。
  • inode 是否耗尽。
  • 云盘、网络存储或虚拟化存储是否出现突发性能下降。

如果 write_lsn 接近 sent_lsn,但 flush_lsn 明显落后,同时磁盘写延迟高,更像是从库存储刷盘瓶颈。此时单纯增加主库带宽或调大 WAL 参数通常不能解决问题。

CPU、内存与交换

vmstat 1 5
free -h

如果系统存在明显的交换活动、运行队列持续偏高,或者 PostgreSQL 回放进程长期占用一个或多个 CPU 核心,从库回放速度可能低于 WAL 接收速度。应进一步确认是否有报表查询、索引扫描、备份压缩或其他进程与回放竞争资源。

不要仅凭 CPU 总利用率判断瓶颈。多核服务器上,单个回放相关进程受到单核限制时,整体 CPU 使用率可能并不高,但回放延迟仍会增长。

磁盘空间与复制槽风险

复制槽可以防止主库过早清理从库尚未接收的 WAL,但如果从库长期断开,也可能导致主库 pg_wal 占用持续增加。

在主库执行:

SELECT
    slot_name,
    slot_type,
    active,
    restart_lsn
FROM pg_replication_slots;

如果存在物理复制槽,可以进一步估算主库当前 WAL 位置与槽保留位置之间的差值:

SELECT
    slot_name,
    active,
    pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS retained_bytes
FROM pg_replication_slots
WHERE restart_lsn IS NOT NULL;

不要直接删除复制槽,也不要手工删除 pg_wal 文件。清理复制槽前必须确认其用途、对应从库状态和重建方案;误操作可能让从库无法继续追赶,甚至需要重新初始化。

检查 PostgreSQL 复制服务和回放过程

判断 WAL receiver 是否正常

从库的 pg_stat_wal_receiver 如果没有记录,常见原因包括连接失败、认证失败、主库地址错误、主库未提供足够的 WAL sender,或者复制连接刚好中断。

应结合 PostgreSQL 日志查找:

  • connection refused 或 timeout。
  • replication authentication failed。
  • requested WAL segment has already been removed。
  • could not receive data from WAL stream。
  • requested timeline does not exist。
  • disk full 或 permission denied。

日志位置和服务单元名称因发行版、安装方式和 PostgreSQL 版本不同,不宜直接套用固定路径。可以先用 SQL 查看日志配置:

SHOW log_destination;
SHOW log_directory;
SHOW log_filename;

如果 PostgreSQL 由 systemd 管理,应先确认实际服务名,再查看日志,而不是直接假定服务名:

systemctl list-units --type=service | grep -i postgres

区分“已刷盘”与“已回放”

如果 flush_lsn 已经接近主库发送位置,但 replay_lsn 明显落后,说明数据大部分已经持久化到从库,却还没有应用到查询可见的位置。此时应检查:

SELECT
    pid,
    usename,
    application_name,
    client_addr,
    state,
    query_start,
    wait_event_type,
    wait_event,
    query
FROM pg_stat_activity
WHERE backend_type = 'client backend'
  AND state <> 'idle'
ORDER BY query_start;

常见原因包括:

  • 从库上运行了长时间报表查询。
  • 查询与 WAL 回放发生快照、锁或缓冲区冲突。
  • 从库设置了人为回放延迟。
  • 从库 CPU 不足,回放进程处理速度跟不上接收速度。
  • 从库上执行了备份、校验或其他高 I/O 任务。
  • 回放被人为暂停。

查看回放冲突统计:

SELECT
    datname,
    confl_tablespace,
    confl_lock,
    confl_snapshot,
    confl_bufferpin,
    confl_deadlock
FROM pg_stat_database_conflicts;

如果确认是从库查询影响回放,应先评估查询是否属于订单、库存、支付等关键链路,再考虑迁移报表流量、缩短查询、增加副本或调整查询路由。直接取消业务查询可能影响用户请求,属于需要明确影响范围和回滚安排的操作。

检查是否存在人为延迟

某些环境会通过 recovery_min_apply_delay 有意让从库晚于主库回放,用于误操作恢复窗口。这种情况下,延迟不是硬件故障。

可以在从库查看相关设置:

SHOW recovery_min_apply_delay;
SHOW hot_standby_feedback;
SHOW synchronous_commit;

如果确认回放暂停是人为操作,需要先记录原状态、确认没有正在执行的恢复流程,再按照变更流程恢复。不要在没有确认原因时直接执行恢复回放操作,否则可能破坏原本设计的延迟窗口。

用一组对比判断根因

下面的示例数据为演示用的模拟结果,实际排查应以连续采样为准。

用一组对比判断根因配图

示例现象更可能的判断还需要验证什么
主库 WAL 产生速率 220 MB/s,current_lsn - sent_lsn 从 500 MB 增长到 5 GB,其他三段均较小主库写入压力或主库到发送端能力不足降低批量写入后,未发送缺口是否下降
current_lsn - sent_lsn 仅 30 MB,sent_lsn - write_lsn 从 20 MB 增长到 2 GB网络或从库接收写入环节异常对比两端 TCP 重传、WAL receiver 状态和网络吞吐
write_lsn 接近 sent_lsn,但 write_lsn - flush_lsn 达到 3 GB,磁盘 await 持续升高从库存储刷盘瓶颈检查存储设备、文件系统和其他 I/O 任务
flush_lsn 接近 write_lsn,但 flush_lsn - replay_lsn 持续增长,冲突计数增加从库回放受到查询或锁冲突影响检查长查询、回放日志和只读业务
LSN 缺口很小,但业务读取仍然旧数据复制可能正常,问题在读路由、缓存或事务可见性确认请求是否被路由到从库以及缓存失效策略
replay_time_lag 很大,但近期主库没有新提交时间指标失真或主库长期空闲以 LSN 位置和新的提交事务进行验证

如果四段缺口都在增长,不要急于选择单一根因。这通常意味着主库产生速率、网络传输速率和从库回放速率同时承压,应先找出增长最快、最早出现异常的那一段。

验证恢复:看缺口是否持续收敛

完成一次限速、迁移查询或资源调整后,不应只看某个时刻的延迟数字。建议按固定间隔采集主库和从库指标,至少观察三个以上周期。

恢复验证可以分为四层:

验证恢复:看缺口是否持续收敛配图

  1. current_lsn - sent_lsn 不再持续增长,说明主库侧未发送积压得到控制。
  2. sent_lsn - write_lsn 和 write_lsn - flush_lsn 逐步下降,说明网络接收和存储刷盘恢复。
  3. flush_lsn - replay_lsn 持续收敛,且回放未暂停、冲突不再增加。
  4. 应用侧使用受控的读后写场景验证数据可见性,不要只依据数据库连接状态判断业务已经恢复。

如果是写入压力导致的延迟,降低批量写入后通常先表现为“未发送缺口停止扩大”,随后各段缺口依次下降。如果主库写入已经明显下降,但 flush_lsn - replay_lsn 仍继续扩大,则说明从库处理能力或从库查询负载是主要矛盾。

如果测试的是从库资源瓶颈,可以在业务允许时暂时迁移报表、统计或大范围查询,再观察回放缺口是否收敛。测试时应一次只改变一个主要变量,并记录开始时间、结束时间、LSN 位置和业务影响,避免同时修改网络、数据库参数和应用路由。

不要把复制延迟直接等同于业务重复处理

PostgreSQL 异步复制下,主库事务提交成功,并不代表该事务已经在从库回放完成。订单、库存和支付回调等场景需要分别处理以下问题:

  • 写入成功后立即从从库读取,可能暂时读不到刚提交的数据。
  • 消息重试或接口超时可能导致同一个业务事件被提交多次。
  • 从库延迟会放大“查询不到记录后再次创建”的重复风险。
  • 多个异步任务分别读取主库和从库时,可能观察到不同的数据版本。
  • 故障切换时,尚未传送或尚未持久化的异步复制事务可能不在新主库上。

因此,关键写入应优先落到主库,并使用业务幂等键、唯一约束或去重表避免重复处理。必须从从库读取时,可以让应用携带主库提交后的 LSN,在从库确认达到该位置后再读取,但要设置超时和降级路径,避免将复制延迟变成请求无限等待。

同步复制也不等于所有从库查询都实时一致。synchronous_commit、synchronous_standby_names 以及同步确认级别决定主库提交等待的是远端写入、远端刷盘,还是远端应用。即使主库提交等待了远端刷盘,从库查询仍可能在回放完成前读不到该事务。需要根据订单确认、库存扣减和支付状态查询等具体场景设计读写路径。

复发监控应关注这些点

复制延迟监控不应只设置一个“超过多少秒”的告警。建议同时保留以下指标:

  • 主库 WAL 产生速率及其变化趋势。
  • current_lsn - sent_lsn。
  • sent_lsn - write_lsn。
  • write_lsn - flush_lsn。
  • flush_lsn - replay_lsn。
  • 复制连接状态、同步状态和 WAL receiver 状态。
  • 从库回放是否暂停。
  • 从库磁盘延迟、磁盘空间、CPU、内存和交换活动。
  • 复制槽保留的 WAL 字节数。
  • 从库查询冲突、长查询和报表任务。
  • 业务侧读后写延迟、任务积压、重复幂等命中和重试数量。

告警阈值应根据业务一致性要求确定。例如,库存扣减可能要求从库延迟进入秒级就切换读取策略,而离线报表允许分钟级甚至更长延迟。重要的是同时设置“绝对延迟”和“增长速度”两个维度:延迟较大但正在稳定收敛,和延迟不大却持续快速增长,处理优先级并不相同。

最终判断应回到复制链路中的位置变化:主库当前位置领先,优先查写入和发送;发送位置领先,优先查网络和接收;刷盘位置领先,优先查从库回放和查询;数据库指标正常但业务仍异常,则应转向读路由、缓存、幂等和事务语义。这样才能避免把所有复制异常都归因于服务器配置,也能在数据一致性风险扩大前找到真正的处理环节。

PostgreSQL复制链路的表现与主库写入、网络传输及从库资源密切相关。A5数据提供中国香港、美国、日本等多个地区的物理服务器,涵盖Xeon Gold与AMD EPYC平台,并有配备大内存和NVMe存储的方案,可为数据库及相关业务服务提供硬件部署资源;不同地区也有各自的带宽线路选择,适用于不同访问区域的业务布局。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4973.html

相关推荐