数据库服务器上的MySQL binlog保留多久合适,如何按恢复需求与磁盘容量估算

发布人:A5数据发布时间:2026-11-07 11:25阅读量:74

数据库服务器上的 MySQL binlog 不适合简单设为“保留 7 天”或“保留 30 天”。合理期限应先由恢复目标决定:需要恢复到多早的时间点、全量备份多久成功一次、备份失败多久能被发现、主从或下游订阅是否存在延迟。一般来说,binlog 至少要覆盖“最近一次可用全量备份之前的恢复窗口”,再加上备份检测、复制延迟和人工处理缓冲。

容量估算则应使用实际产生的 binlog 速率,而不是数据库数据量的增长速度。可采用“设计日生成量 × 保留天数 × 增长系数 × 安全系数”的方式计算,再叠加数据文件、Redo Log、临时文件、系统日志和可选的本地备份空间。下面的数字均为估算示例,不代表某台服务器的实测承载能力。

先根据恢复需求确定保留期限

恢复窗口与全量备份的关系

binlog 主要用于持续复制和时间点恢复(PITR)。全量备份负责提供一个恢复起点,binlog 负责把数据库从这个起点推进到目标时间。

如果全量备份每 7 天执行一次,备份完成后还需要一段时间进行校验,备份失败也可能需要一天才被发现,那么仅保留 7 天并不稳妥。实际保留时间可以按下面的关系估算:

最低保留天数 = 全量备份间隔 + 备份异常发现与修复时间 + 最大复制或订阅延迟 + 安全缓冲

例如:

  • 全量备份间隔:7 天;
  • 备份失败发现和处理:1 天;
  • 从库或下游订阅最大延迟:2 天;
  • 运维安全缓冲:3 天。

最低保留时间约为 13 天,实际配置可以取 14 天。若业务要求支持 30 天前的误删恢复,则应提供覆盖 30 天的 binlog 或可恢复备份,不能只按全量备份间隔配置。

恢复窗口与全量备份的关系配图

不同恢复目标对应的保留思路如下:

恢复需求保留期限的主要依据注意事项
仅维持主从复制最大复制延迟加缓冲复制链路异常时不能提前清理从库尚未读取的日志
支持 7 天内任意时间点恢复7 天恢复窗口加备份和运维缓冲需要确认最近一次全量备份确实可用
支持 30 天前误操作恢复30 天以上的恢复窗口也可以采用长期备份或不可变备份,不一定全部依赖在线 binlog
存在 CDC、审计或数据同步任务最大下游消费延迟加恢复窗口不能只查看 MySQL 从库延迟,还要核对所有订阅者
需要快速恢复缩短全量备份间隔,减少恢复时需要重放的 binlog单纯延长 binlog 保留时间,可能增加恢复耗时

RPO 和 RTO要分别考虑

RPO决定最多允许丢失多长时间的数据。若RPO要求为5分钟,通常需要持续生成并传输binlog,而不是只每天备份一次数据库。

RTO决定故障后多长时间内恢复服务。全量备份距离恢复目标越远,需要重放的binlog越多,恢复时间通常越长。因此:

  • 延长binlog保留时间,主要扩大可恢复时间范围;
  • 缩短全量备份间隔,主要减少恢复时的重放量;
  • 提高备份读取、传输和恢复速度,主要改善RTO;
  • 复制延迟、备份校验和恢复演练,决定恢复方案是否真正可用。

如果业务既要求较长恢复窗口,又要求较短恢复时间,可以将“较高频率的全量或增量备份”和“较长时间的binlog归档”结合使用,而不是无限增大数据库服务器本地磁盘。

负载画像:binlog增长量不等于数据文件增长量

同样是每天新增10GB数据,不同请求类型产生的binlog可能差异很大。数据库容量规划应先识别写入模式,再确定日生成量。

影响binlog体积的主要负载变量

负载变量对binlog增长的影响
INSERT数量插入行越多,binlog通常越大
UPDATE比例更新频繁时,日志量可能高于数据文件净增长量
DELETE和批量清理删除操作会产生对应事件,短时间内可能形成峰值
大事务单个事务可能一次写入数GB,影响磁盘峰值和恢复速度
DDL操作表结构变更、索引操作可能带来额外日志或复制压力
binlog格式和行镜像设置ROW、STATEMENT以及行镜像策略会影响日志大小和复制行为
写入峰值秒级峰值会影响磁盘写入延迟和binlog轮换速度
批处理任务夜间导入、结算、同步任务可能使日均值无法代表实际峰值

不能仅用“数据库每天增加多少GB”推算binlog。UPDATE一条已有记录时,数据文件可能没有明显增大,但binlog仍会记录这次变更。相反,某些数据导入操作产生的日志量也可能因格式、事务方式和批量大小而不同。

先测量,再选设计日生成量

建议至少连续观察一个完整业务周期,覆盖工作日、周末、月末或结算日。应记录以下指标:

  • 每小时和每天新增binlog字节数;
  • 高峰时段每分钟或每秒的写入量;
  • 单个大事务的大小和持续时间;
  • 日生成量的平均值、P95值和高峰值;
  • 主库、从库以及下游订阅者的消费延迟;
  • binlog所在文件系统的剩余空间和写入延迟。

如果监控系统能够提供binlog写入字节计数,应使用计数器在固定时间窗口内取增量。如果没有该指标,可以定期读取binlog文件大小进行估算,但要标记自动清理、文件轮换和手工归档造成的影响。SHOW BINARY LOGS适合查看当前保留的日志文件及其大小,但当前文件总量不等于某一天完整产生的日志量。

SHOW BINARY LOGS;
SHOW VARIABLES LIKE 'binlog_format';
SHOW VARIABLES LIKE 'binlog_row_image';
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
SHOW VARIABLES LIKE 'expire_logs_days';

对容量规划而言,建议使用高峰日或较高分位的日生成量作为设计值,而不是直接使用月平均值。月平均值适合计算长期存储成本,不能单独用于判断磁盘是否会在高峰期间耗尽。

用公式估算binlog和数据库磁盘容量

binlog保留空间公式

可以使用以下估算关系:

binlog所需空间 = 设计日生成量 × 保留天数 × 未来增长系数 × 安全系数

其中:

  • 设计日生成量:建议取高峰日或较高分位的实际生成量;
  • 保留天数:由恢复需求、备份周期和复制延迟确定;
  • 未来增长系数:用于覆盖业务增长和季节性波动;
  • 安全系数:用于覆盖测量误差、大事务和临时峰值。

安全系数不是用来掩盖没有监控的问题。如果历史数据不足,应先增加观测周期,而不是无限提高系数。

示例:按高峰日估算14天保留空间

设某数据库观察到:

  • 普通日binlog约18GB;
  • 高峰日binlog约28GB;
  • 计划保留14天;
  • 未来增长系数取1.3;
  • 安全系数取1.2;
  • 这里的GB按十进制计算,即1GB=1,000,000,000字节。

则:

28GB/天 × 14天 × 1.3 × 1.2
= 611.52GB

因此,binlog所在卷至少应按约612GB的可用空间规划。若只使用18GB的日均值计算:

18GB/天 × 14天 × 1.3 × 1.2
= 393.12GB

看似节省了约218GB,但高峰期更容易触发磁盘告警。对于写入波动明显的业务,应优先采用高峰日或P95日生成量。

把binlog放回完整磁盘模型

数据库服务器的磁盘需求不能只等于binlog需求。可用下面的模型估算:

总可用容量 ≥ binlog保留空间 + 当前数据空间 + 数据增长空间 + Redo Log和临时空间 + 系统日志 + 本地备份空间 + 空闲余量

例如:

  • binlog保留空间:约612GB;
  • 当前数据、索引和系统文件:420GB;
  • 规划周期内的数据增长及日志增长:150GB;
  • 本地不保存全量备份;
  • 目标空闲余量:25%。

不计空闲余量时,固定需求为:

612GB + 420GB + 150GB = 1,182GB

若希望这些空间只使用磁盘的75%,所需可用容量约为:

把binlog放回完整磁盘模型配图

1,182GB ÷ 0.75 = 1,576GB

因此应按至少约1.6TB可用容量规划,而不是按1.2TB原始容量采购。实际部署还要核对RAID、文件系统、云盘计费口径和厂商标称容量。若本地还保存一份全量备份,应将全量备份大小、保留份数和备份临时空间单独加入计算。

数据库服务器的长期运行,既要考虑binlog写入和保留所需的空间,也要兼顾数据文件与业务负载。A5idc数据提供香港、美国、日本等地区的物理服务器,配置涵盖大内存与NVMe存储方案,也有面向大容量文件和归档需求的存储型配置,可为数据库、业务后台及相关数据存储提供不同的硬件资源组合。

同时估算备份带宽

binlog会持续写入备份对象存储、备用数据库或异地节点,因此磁盘规划之外,还要估算传输能力。

仍以高峰日28GB为例,若一天内需要传输完毕:

28GB × 8 × 1000 ÷ 86,400秒
≈ 2.59Mbps

这里使用十进制GB,并将GB转换为Gb后计算。如果要求在6小时内完成传输:

28GB × 8 × 1000 ÷ 21,600秒
≈ 10.37Mbps

这是平均带宽,尚未包含协议开销、加密开销、重试和其他业务流量。带宽设计还应检查高峰时段的传输速度,而不能只看全天平均值。

瓶颈判断:容量够不代表运行成本低

磁盘容量与写入延迟要分开看

binlog通常是连续写入,但提交事务时可能受到刷盘策略和存储延迟影响。若数据文件、Redo Log、binlog、临时表和系统日志全部共用同一卷,容量和IOPS会相互争抢。

监控中应同时关注:

  • binlog生成速率;
  • 文件系统使用率;
  • 磁盘写入吞吐;
  • IOPS和平均等待时间;
  • 数据库提交延迟;
  • 大事务数量;
  • binlog轮换频率;
  • 备份任务对业务IO的影响。

如果磁盘使用率不高,但提交延迟持续升高,问题可能是IOPS、写入延迟或存储突发性能不足,而不是容量不足。

数据盘与binlog盘是否分离

将binlog放在独立卷上,主要价值是隔离容量和部分IO竞争,并方便针对日志制定扩容和备份策略。但独立卷不能消除数据库整体存储故障,也不能替代异地备份。

选择数据库服务器存储时,可以按以下条件判断:

存储方式更适合的场景需要重点核验
本地SSD或NVMe对写入延迟敏感、需要较高本地吞吐故障后数据保护、备份出口、磁盘更换和扩容方式
网络块存储需要在线扩容、快照或弹性调整实际延迟、IOPS上限、吞吐上限和突发性能持续时间
独立binlog卷binlog增长明显、需要隔离日志写入卷满后的处理方式、自动扩容和监控联动
本地保存备份需要快速恢复临时副本不能把同一台服务器上的副本当作唯一灾备副本

产品选型时应以“可用容量、稳定写入延迟和扩容方式”为同一组指标评估。只比较CPU和内存,容易忽略binlog保留带来的长期存储成本。

MySQL保留配置与清理边界

先核对版本和变量

不同MySQL版本对binlog过期变量的支持和使用方式存在差异。MySQL 8.0环境通常可以核对binlog_expire_logs_seconds,较早版本可能仍使用expire_logs_days。不要在未确认版本的情况下直接复制配置。

SELECT VERSION();

SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
SHOW VARIABLES LIKE 'expire_logs_days';
SHOW BINARY LOGS;

以14天为例,秒数为:

14 × 24 × 60 × 60 = 1,209,600秒

在确认当前版本支持、权限和配置管理方式后,可以采用类似下面的设置:

SET PERSIST binlog_expire_logs_seconds = 1209600;

也可以在配置文件中使用对应参数:

[mysqld]
binlog_expire_logs_seconds=1209600

具体采用动态设置还是配置文件,应与现有发布流程保持一致,并在修改后再次读取变量确认生效。不要同时随意设置多个互相影响的过期参数。

自动过期不是备份感知机制

MySQL按时间自动过期时,通常不会替运维系统判断“最近一次全量备份是否成功”。如果备份任务连续失败,但过期时间仍在倒计时,所需的旧binlog可能被提前清理。

因此需要将以下状态纳入清理控制:

  • 最近一次成功的全量备份时间;
  • 备份文件是否通过校验;
  • binlog是否已安全上传到独立存储;
  • 所有从库是否已经读取所需日志;
  • CDC或审计订阅是否已经消费;
  • 是否存在正在进行的恢复或迁移任务。

不要直接在文件系统中删除binlog文件,也不要在没有确认复制位点和备份状态时手工清理。binlog一旦被清理,通常无法通过常规回滚恢复。若确需提前清理,应先完成备份、记录位点、确认所有副本和订阅者不再需要,并准备从保留备份恢复的方案。

自动过期不是备份感知机制配图

安全和升级会增加长期成本

binlog可能包含新增、修改或删除的数据内容,部分业务场景下也可能包含个人信息或敏感字段。保留时间越长,存储成本和暴露面越大,应至少考虑:

  • binlog文件和归档副本的访问权限;
  • 传输链路和备份介质的加密;
  • 备份账号与数据库管理账号的权限分离;
  • 归档文件的生命周期和删除审批;
  • 恢复环境中的临时文件清理。

MySQL升级、复制拓扑调整或binlog格式变更前,还应检查新旧版本的复制兼容性、备份工具支持情况和恢复流程。升级后不能只验证服务能启动,还应验证新生成的binlog能否被从库、备份系统和下游订阅任务正常读取。

用余量和触发时间制定扩容阈值

只设置“磁盘达到80%告警”还不够。更有效的方式是将剩余容量换算成“还能支撑多少时间”。

计算预计写满时间

设:

  • 当前可用空间为F;
  • 近期开启的P95日生成量为D;
  • 预计每天其他日志和数据增长为O。

则可粗略计算:

预计可支撑天数 = F ÷ (D + O)

例如,binlog和其他数据每天合计增长40GB,磁盘剩余320GB,则理论上约可支撑8天。若扩容、挂载、数据迁移和验证需要3天,还需要为峰值和操作失败预留缓冲,8天并不代表可以等到磁盘只剩一天再处理。

建议同时设置两类阈值:

计算预计写满时间配图

  • 容量阈值:例如剩余空间低于30%开始预警,低于20%进入扩容流程,低于10%执行应急处置;
  • 时间阈值:当预计写满时间小于“扩容完成时间+恢复缓冲”时立即扩容,不等待百分比阈值触发。

百分比只是参考,最终阈值应由实际扩容耗时决定。如果云盘可以分钟级在线扩容,阈值可以更贴近运行情况;如果需要停机迁移或采购新设备,则应提前数周纳入容量计划。

建议纳入统一监控的指标

可以将下面的指标设置为数据库服务器、备份系统和复制系统的联合看板:

  • binlog每小时、每天的新增字节数;
  • 当前binlog总占用空间;
  • 最老binlog的年龄;
  • 距离目标保留期限还差多少;
  • binlog磁盘剩余容量;
  • 按P95生成速率计算的预计写满时间;
  • 最近一次成功全量备份时间;
  • 最近一次binlog归档成功时间;
  • 备份校验结果和恢复演练结果;
  • 主从或下游订阅延迟;
  • 数据盘和binlog盘的写入延迟、IOPS和吞吐;
  • 大事务和异常峰值次数。

例如,目标保留14天时,监控应同时检查“最老binlog是否仍覆盖14天”和“磁盘是否还能容纳未来14天的增长”。前者防止日志被过早清理,后者防止保留策略因为容量不足而被迫中断。

当连续多个观测周期出现以下情况时,应重新做容量规划:

  • 高峰日生成量超过设计值20%至30%;
  • 预计写满时间小于扩容和验证所需时间;
  • 备份或下游消费延迟超过安全缓冲;
  • binlog所在磁盘的写入等待持续升高;
  • 为了控制空间而频繁缩短保留期限;
  • 恢复演练发现重放时间已经超过RTO。

最终的保留期限不是一个固定行业数字,而是恢复窗口、备份周期、复制延迟、日志增长率和扩容能力共同决定的结果。每次业务增长、写入模式变化、存储迁移或MySQL升级后,都应重新测量日生成量,并用“可恢复天数、可用空间、预计写满时间”三项指标校正监控和扩容阈值。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8070.html

相关推荐