数据库服务器上的MySQL binlog保留多久合适,如何按恢复需求与磁盘容量估算
数据库服务器上的 MySQL binlog 不适合简单设为“保留 7 天”或“保留 30 天”。合理期限应先由恢复目标决定:需要恢复到多早的时间点、全量备份多久成功一次、备份失败多久能被发现、主从或下游订阅是否存在延迟。一般来说,binlog 至少要覆盖“最近一次可用全量备份之前的恢复窗口”,再加上备份检测、复制延迟和人工处理缓冲。
容量估算则应使用实际产生的 binlog 速率,而不是数据库数据量的增长速度。可采用“设计日生成量 × 保留天数 × 增长系数 × 安全系数”的方式计算,再叠加数据文件、Redo Log、临时文件、系统日志和可选的本地备份空间。下面的数字均为估算示例,不代表某台服务器的实测承载能力。
先根据恢复需求确定保留期限
恢复窗口与全量备份的关系
binlog 主要用于持续复制和时间点恢复(PITR)。全量备份负责提供一个恢复起点,binlog 负责把数据库从这个起点推进到目标时间。
如果全量备份每 7 天执行一次,备份完成后还需要一段时间进行校验,备份失败也可能需要一天才被发现,那么仅保留 7 天并不稳妥。实际保留时间可以按下面的关系估算:
最低保留天数 = 全量备份间隔 + 备份异常发现与修复时间 + 最大复制或订阅延迟 + 安全缓冲
例如:
- 全量备份间隔:7 天;
- 备份失败发现和处理:1 天;
- 从库或下游订阅最大延迟:2 天;
- 运维安全缓冲:3 天。
最低保留时间约为 13 天,实际配置可以取 14 天。若业务要求支持 30 天前的误删恢复,则应提供覆盖 30 天的 binlog 或可恢复备份,不能只按全量备份间隔配置。

不同恢复目标对应的保留思路如下:
| 恢复需求 | 保留期限的主要依据 | 注意事项 |
|---|---|---|
| 仅维持主从复制 | 最大复制延迟加缓冲 | 复制链路异常时不能提前清理从库尚未读取的日志 |
| 支持 7 天内任意时间点恢复 | 7 天恢复窗口加备份和运维缓冲 | 需要确认最近一次全量备份确实可用 |
| 支持 30 天前误操作恢复 | 30 天以上的恢复窗口 | 也可以采用长期备份或不可变备份,不一定全部依赖在线 binlog |
| 存在 CDC、审计或数据同步任务 | 最大下游消费延迟加恢复窗口 | 不能只查看 MySQL 从库延迟,还要核对所有订阅者 |
| 需要快速恢复 | 缩短全量备份间隔,减少恢复时需要重放的 binlog | 单纯延长 binlog 保留时间,可能增加恢复耗时 |
RPO 和 RTO要分别考虑
RPO决定最多允许丢失多长时间的数据。若RPO要求为5分钟,通常需要持续生成并传输binlog,而不是只每天备份一次数据库。
RTO决定故障后多长时间内恢复服务。全量备份距离恢复目标越远,需要重放的binlog越多,恢复时间通常越长。因此:
- 延长binlog保留时间,主要扩大可恢复时间范围;
- 缩短全量备份间隔,主要减少恢复时的重放量;
- 提高备份读取、传输和恢复速度,主要改善RTO;
- 复制延迟、备份校验和恢复演练,决定恢复方案是否真正可用。
如果业务既要求较长恢复窗口,又要求较短恢复时间,可以将“较高频率的全量或增量备份”和“较长时间的binlog归档”结合使用,而不是无限增大数据库服务器本地磁盘。
负载画像:binlog增长量不等于数据文件增长量
同样是每天新增10GB数据,不同请求类型产生的binlog可能差异很大。数据库容量规划应先识别写入模式,再确定日生成量。
影响binlog体积的主要负载变量
| 负载变量 | 对binlog增长的影响 |
|---|---|
| INSERT数量 | 插入行越多,binlog通常越大 |
| UPDATE比例 | 更新频繁时,日志量可能高于数据文件净增长量 |
| DELETE和批量清理 | 删除操作会产生对应事件,短时间内可能形成峰值 |
| 大事务 | 单个事务可能一次写入数GB,影响磁盘峰值和恢复速度 |
| DDL操作 | 表结构变更、索引操作可能带来额外日志或复制压力 |
| binlog格式和行镜像设置 | ROW、STATEMENT以及行镜像策略会影响日志大小和复制行为 |
| 写入峰值 | 秒级峰值会影响磁盘写入延迟和binlog轮换速度 |
| 批处理任务 | 夜间导入、结算、同步任务可能使日均值无法代表实际峰值 |
不能仅用“数据库每天增加多少GB”推算binlog。UPDATE一条已有记录时,数据文件可能没有明显增大,但binlog仍会记录这次变更。相反,某些数据导入操作产生的日志量也可能因格式、事务方式和批量大小而不同。
先测量,再选设计日生成量
建议至少连续观察一个完整业务周期,覆盖工作日、周末、月末或结算日。应记录以下指标:
- 每小时和每天新增binlog字节数;
- 高峰时段每分钟或每秒的写入量;
- 单个大事务的大小和持续时间;
- 日生成量的平均值、P95值和高峰值;
- 主库、从库以及下游订阅者的消费延迟;
- binlog所在文件系统的剩余空间和写入延迟。
如果监控系统能够提供binlog写入字节计数,应使用计数器在固定时间窗口内取增量。如果没有该指标,可以定期读取binlog文件大小进行估算,但要标记自动清理、文件轮换和手工归档造成的影响。SHOW BINARY LOGS适合查看当前保留的日志文件及其大小,但当前文件总量不等于某一天完整产生的日志量。
SHOW BINARY LOGS;
SHOW VARIABLES LIKE 'binlog_format';
SHOW VARIABLES LIKE 'binlog_row_image';
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
SHOW VARIABLES LIKE 'expire_logs_days';
对容量规划而言,建议使用高峰日或较高分位的日生成量作为设计值,而不是直接使用月平均值。月平均值适合计算长期存储成本,不能单独用于判断磁盘是否会在高峰期间耗尽。
用公式估算binlog和数据库磁盘容量
binlog保留空间公式
可以使用以下估算关系:
binlog所需空间 = 设计日生成量 × 保留天数 × 未来增长系数 × 安全系数
其中:
- 设计日生成量:建议取高峰日或较高分位的实际生成量;
- 保留天数:由恢复需求、备份周期和复制延迟确定;
- 未来增长系数:用于覆盖业务增长和季节性波动;
- 安全系数:用于覆盖测量误差、大事务和临时峰值。
安全系数不是用来掩盖没有监控的问题。如果历史数据不足,应先增加观测周期,而不是无限提高系数。
示例:按高峰日估算14天保留空间
设某数据库观察到:
- 普通日binlog约18GB;
- 高峰日binlog约28GB;
- 计划保留14天;
- 未来增长系数取1.3;
- 安全系数取1.2;
- 这里的GB按十进制计算,即1GB=1,000,000,000字节。
则:
28GB/天 × 14天 × 1.3 × 1.2
= 611.52GB
因此,binlog所在卷至少应按约612GB的可用空间规划。若只使用18GB的日均值计算:
18GB/天 × 14天 × 1.3 × 1.2
= 393.12GB
看似节省了约218GB,但高峰期更容易触发磁盘告警。对于写入波动明显的业务,应优先采用高峰日或P95日生成量。
把binlog放回完整磁盘模型
数据库服务器的磁盘需求不能只等于binlog需求。可用下面的模型估算:
总可用容量 ≥ binlog保留空间 + 当前数据空间 + 数据增长空间 + Redo Log和临时空间 + 系统日志 + 本地备份空间 + 空闲余量
例如:
- binlog保留空间:约612GB;
- 当前数据、索引和系统文件:420GB;
- 规划周期内的数据增长及日志增长:150GB;
- 本地不保存全量备份;
- 目标空闲余量:25%。
不计空闲余量时,固定需求为:
612GB + 420GB + 150GB = 1,182GB
若希望这些空间只使用磁盘的75%,所需可用容量约为:

1,182GB ÷ 0.75 = 1,576GB
因此应按至少约1.6TB可用容量规划,而不是按1.2TB原始容量采购。实际部署还要核对RAID、文件系统、云盘计费口径和厂商标称容量。若本地还保存一份全量备份,应将全量备份大小、保留份数和备份临时空间单独加入计算。
数据库服务器的长期运行,既要考虑binlog写入和保留所需的空间,也要兼顾数据文件与业务负载。A5idc数据提供香港、美国、日本等地区的物理服务器,配置涵盖大内存与NVMe存储方案,也有面向大容量文件和归档需求的存储型配置,可为数据库、业务后台及相关数据存储提供不同的硬件资源组合。
同时估算备份带宽
binlog会持续写入备份对象存储、备用数据库或异地节点,因此磁盘规划之外,还要估算传输能力。
仍以高峰日28GB为例,若一天内需要传输完毕:
28GB × 8 × 1000 ÷ 86,400秒
≈ 2.59Mbps
这里使用十进制GB,并将GB转换为Gb后计算。如果要求在6小时内完成传输:
28GB × 8 × 1000 ÷ 21,600秒
≈ 10.37Mbps
这是平均带宽,尚未包含协议开销、加密开销、重试和其他业务流量。带宽设计还应检查高峰时段的传输速度,而不能只看全天平均值。
瓶颈判断:容量够不代表运行成本低
磁盘容量与写入延迟要分开看
binlog通常是连续写入,但提交事务时可能受到刷盘策略和存储延迟影响。若数据文件、Redo Log、binlog、临时表和系统日志全部共用同一卷,容量和IOPS会相互争抢。
监控中应同时关注:
- binlog生成速率;
- 文件系统使用率;
- 磁盘写入吞吐;
- IOPS和平均等待时间;
- 数据库提交延迟;
- 大事务数量;
- binlog轮换频率;
- 备份任务对业务IO的影响。
如果磁盘使用率不高,但提交延迟持续升高,问题可能是IOPS、写入延迟或存储突发性能不足,而不是容量不足。
数据盘与binlog盘是否分离
将binlog放在独立卷上,主要价值是隔离容量和部分IO竞争,并方便针对日志制定扩容和备份策略。但独立卷不能消除数据库整体存储故障,也不能替代异地备份。
选择数据库服务器存储时,可以按以下条件判断:
| 存储方式 | 更适合的场景 | 需要重点核验 |
|---|---|---|
| 本地SSD或NVMe | 对写入延迟敏感、需要较高本地吞吐 | 故障后数据保护、备份出口、磁盘更换和扩容方式 |
| 网络块存储 | 需要在线扩容、快照或弹性调整 | 实际延迟、IOPS上限、吞吐上限和突发性能持续时间 |
| 独立binlog卷 | binlog增长明显、需要隔离日志写入 | 卷满后的处理方式、自动扩容和监控联动 |
| 本地保存备份 | 需要快速恢复临时副本 | 不能把同一台服务器上的副本当作唯一灾备副本 |
产品选型时应以“可用容量、稳定写入延迟和扩容方式”为同一组指标评估。只比较CPU和内存,容易忽略binlog保留带来的长期存储成本。
MySQL保留配置与清理边界
先核对版本和变量
不同MySQL版本对binlog过期变量的支持和使用方式存在差异。MySQL 8.0环境通常可以核对binlog_expire_logs_seconds,较早版本可能仍使用expire_logs_days。不要在未确认版本的情况下直接复制配置。
SELECT VERSION();
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
SHOW VARIABLES LIKE 'expire_logs_days';
SHOW BINARY LOGS;
以14天为例,秒数为:
14 × 24 × 60 × 60 = 1,209,600秒
在确认当前版本支持、权限和配置管理方式后,可以采用类似下面的设置:
SET PERSIST binlog_expire_logs_seconds = 1209600;
也可以在配置文件中使用对应参数:
[mysqld]
binlog_expire_logs_seconds=1209600
具体采用动态设置还是配置文件,应与现有发布流程保持一致,并在修改后再次读取变量确认生效。不要同时随意设置多个互相影响的过期参数。
自动过期不是备份感知机制
MySQL按时间自动过期时,通常不会替运维系统判断“最近一次全量备份是否成功”。如果备份任务连续失败,但过期时间仍在倒计时,所需的旧binlog可能被提前清理。
因此需要将以下状态纳入清理控制:
- 最近一次成功的全量备份时间;
- 备份文件是否通过校验;
- binlog是否已安全上传到独立存储;
- 所有从库是否已经读取所需日志;
- CDC或审计订阅是否已经消费;
- 是否存在正在进行的恢复或迁移任务。
不要直接在文件系统中删除binlog文件,也不要在没有确认复制位点和备份状态时手工清理。binlog一旦被清理,通常无法通过常规回滚恢复。若确需提前清理,应先完成备份、记录位点、确认所有副本和订阅者不再需要,并准备从保留备份恢复的方案。

安全和升级会增加长期成本
binlog可能包含新增、修改或删除的数据内容,部分业务场景下也可能包含个人信息或敏感字段。保留时间越长,存储成本和暴露面越大,应至少考虑:
- binlog文件和归档副本的访问权限;
- 传输链路和备份介质的加密;
- 备份账号与数据库管理账号的权限分离;
- 归档文件的生命周期和删除审批;
- 恢复环境中的临时文件清理。
MySQL升级、复制拓扑调整或binlog格式变更前,还应检查新旧版本的复制兼容性、备份工具支持情况和恢复流程。升级后不能只验证服务能启动,还应验证新生成的binlog能否被从库、备份系统和下游订阅任务正常读取。
用余量和触发时间制定扩容阈值
只设置“磁盘达到80%告警”还不够。更有效的方式是将剩余容量换算成“还能支撑多少时间”。
计算预计写满时间
设:
- 当前可用空间为
F; - 近期开启的P95日生成量为
D; - 预计每天其他日志和数据增长为
O。
则可粗略计算:
预计可支撑天数 = F ÷ (D + O)
例如,binlog和其他数据每天合计增长40GB,磁盘剩余320GB,则理论上约可支撑8天。若扩容、挂载、数据迁移和验证需要3天,还需要为峰值和操作失败预留缓冲,8天并不代表可以等到磁盘只剩一天再处理。
建议同时设置两类阈值:

- 容量阈值:例如剩余空间低于30%开始预警,低于20%进入扩容流程,低于10%执行应急处置;
- 时间阈值:当预计写满时间小于“扩容完成时间+恢复缓冲”时立即扩容,不等待百分比阈值触发。
百分比只是参考,最终阈值应由实际扩容耗时决定。如果云盘可以分钟级在线扩容,阈值可以更贴近运行情况;如果需要停机迁移或采购新设备,则应提前数周纳入容量计划。
建议纳入统一监控的指标
可以将下面的指标设置为数据库服务器、备份系统和复制系统的联合看板:
- binlog每小时、每天的新增字节数;
- 当前binlog总占用空间;
- 最老binlog的年龄;
- 距离目标保留期限还差多少;
- binlog磁盘剩余容量;
- 按P95生成速率计算的预计写满时间;
- 最近一次成功全量备份时间;
- 最近一次binlog归档成功时间;
- 备份校验结果和恢复演练结果;
- 主从或下游订阅延迟;
- 数据盘和binlog盘的写入延迟、IOPS和吞吐;
- 大事务和异常峰值次数。
例如,目标保留14天时,监控应同时检查“最老binlog是否仍覆盖14天”和“磁盘是否还能容纳未来14天的增长”。前者防止日志被过早清理,后者防止保留策略因为容量不足而被迫中断。
当连续多个观测周期出现以下情况时,应重新做容量规划:
- 高峰日生成量超过设计值20%至30%;
- 预计写满时间小于扩容和验证所需时间;
- 备份或下游消费延迟超过安全缓冲;
- binlog所在磁盘的写入等待持续升高;
- 为了控制空间而频繁缩短保留期限;
- 恢复演练发现重放时间已经超过RTO。
最终的保留期限不是一个固定行业数字,而是恢复窗口、备份周期、复制延迟、日志增长率和扩容能力共同决定的结果。每次业务增长、写入模式变化、存储迁移或MySQL升级后,都应重新测量日生成量,并用“可恢复天数、可用空间、预计写满时间”三项指标校正监控和扩容阈值。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8070.html



