数据库服务器的MySQL binlog保留多久合适,如何估算磁盘空间
MySQL binlog没有统一适用的保留天数。合理期限应取恢复目标、备库最长可能延迟、备份链间隔和审计要求中的最大值,再加上缓冲时间。普通业务可以先以3~7天作为容量规划起点;需要较长时间点恢复、备库经常延迟或备份验证周期较长时,可考虑7~14天;如果存在合规留存要求,则应把binlog归档到独立存储,不能只依赖数据库服务器本地磁盘。
磁盘空间不能按“数据库大小×保留天数”估算,而要按binlog实际产生速率计算。基本关系是:每日binlog量 = 观测期间新增的binlog字节数 ÷ 观测秒数 × 86400;保留空间 = 规划每日binlog量 × 保留天数;最终还要叠加备份临时文件、备库中继日志、其他数据库文件和安全余量。
先建立业务负载画像
影响binlog增长的不是读请求,而是写入变化量
查询请求通常不会直接产生binlog,真正影响空间的是会改变数据的事务,包括INSERT、UPDATE、DELETE、DDL以及批量导入。
同样的写入请求数,也可能产生完全不同的binlog体积。需要重点记录以下变量:
| 负载变量 | 对binlog空间的影响 | 规划时的关注点 |
|---|---|---|
| 每秒事务数和写请求数 | 决定事件产生频率 | 关注平均值和高峰值 |
| 每个事务修改的行数 | 直接影响事务事件大小 | 批量更新、批量删除要单独观察 |
| 行记录大小 | 影响每条变更事件的字节数 | BLOB、JSON、大字段会放大日志 |
binlog_format | 决定记录语句还是行变化 | ROW模式下通常与实际变更行数关系更直接 |
binlog_row_image | 影响行事件包含的列范围 | FULL和MINIMAL的日志量可能不同 |
| DDL和批量导入 | 可能形成短时突增 | 不能只用日均值估算 |
| 复制拓扑 | 决定源库是否需要长期保留日志 | 多级复制需要检查每一级的需求 |
| 备份频率与恢复目标 | 决定最少可用日志链长度 | 全量备份成功前后的日志不能随意删除 |
例如,读请求从每天几十万增加到几百万,不一定会明显增加binlog;一次批量更新数千万行,即使只执行几分钟,也可能产生数十GB甚至更多日志。max_binlog_size只能帮助日志文件轮换,不能限制单个超大事务的实际大小,超大事务可能使单个binlog文件超过该配置值。
先确认数据库实际使用的日志配置
估算前,应先确认binlog是否开启、使用的格式、当前过期策略和日志文件大小。可以使用以下查询:
SELECT VERSION();
SHOW VARIABLES
WHERE Variable_name IN (
'log_bin',
'binlog_format',
'binlog_row_image',
'binlog_expire_logs_seconds',
'expire_logs_days',
'max_binlog_size'
);
SHOW BINARY LOGS;
SHOW BINARY LOGS返回的File_size单位是字节,不是bit。换算成十进制GB时使用:
GB = 字节数 ÷ 1,000,000,000
如果运维团队统一使用GiB,则应使用:
GiB = 字节数 ÷ 1,073,741,824
GB和GiB不要混用,否则在大容量磁盘上会产生明显误差。
采集平均速率和高峰速率
只查看当前最大binlog文件不够,因为binlog会持续轮换。应在至少一个完整业务周期内持续采集新增字节数,建议覆盖7~14天,并包含批处理、月末结算或促销等高峰时段。
可以周期性记录SHOW BINARY LOGS的结果:
SHOW BINARY LOGS;
计算时要考虑日志轮换:
- 对两个采样时间点之间仍存在的文件,计算文件大小增量。
- 对采样期间新生成的文件,计入其完整大小。
- 不要因为旧文件被自动清理,就把清理动作误认为写入量减少。
- 采样间隔应短于自动清理周期,或者由监控系统持续累加新增文件大小。
如果只有某个时间段的统计数据,可以使用:
每日binlog量 = 期间新增字节数 ÷ 期间秒数 × 86400
例如,6小时内新增18GB,则估算日均产生量为:
18GB ÷ 6 × 24 = 72GB/天
这个结果只是该时段的折算值。如果6小时正好处于业务低谷或高峰,不能直接当作全年规划值。更稳妥的做法是同时保留日均值、峰值日和较高分位值。
把负载转换为容量变量
先确定“必须保留多久”
保留期限可以用下面的关系确定:

T_keep = max(时间点恢复窗口、备库追赶窗口、备份链窗口、审计窗口)+ 安全缓冲
各项含义不同,不能只看备份频率。
- 时间点恢复窗口:希望能够恢复到多久以前的任意时间点。
- 备库追赶窗口:备库发生网络中断、SQL线程异常或硬件维护后,预计需要多久恢复并追上源库。
- 备份链窗口:从最近一次可用全量备份开始,到目标恢复时间点之间必须保留连续binlog。
- 审计窗口:业务或监管要求保留变更记录的时间。
- 安全缓冲:用于覆盖备份验证延迟、故障处理时间和突发写入。
全量备份成功不等于备份已经可恢复。若全量备份尚未验证,仍不能过早清理其后产生的binlog。时间点恢复通常需要一份可用的基础备份,以及从该备份时间点到目标恢复点之间连续的binlog。
可以按照以下方式作为初始参考:
| 场景 | 保留期限的起点 | 需要额外确认的条件 |
|---|---|---|
| 写入量稳定、每日备份、无长时间复制延迟 | 3~7天 | 全量备份是否可恢复 |
| 需要跨多个备份周期恢复 | 7~14天或更长 | 备份链是否连续、归档是否可靠 |
| 备库可能连续数天维护或延迟 | 不低于最长追赶时间 | 备库所需的最早日志位置 |
| 存在审计或合规要求 | 按要求确定 | 建议独立归档,避免占用源库本地盘 |
| 需要长期保留变更记录 | 本地短期保留加外部归档 | 归档完整性和恢复演练 |
如果设置了7天自动过期,但备份系统实际需要保留14天的日志链,自动清理可能使较早的时间点恢复失效。因此,自动过期参数必须服从恢复设计,而不是单独设置。
用规划速率估算保留空间
设定以下变量:
R_peak:观测到的高峰日binlog量。G:规划周期内的写入增长率。R_plan:用于容量规划的每日binlog量。T_keep:保留天数。V_keep:保留期内所需的binlog空间。
计算关系为:
R_plan = R_peak ×(1 + G)
V_keep = R_plan × T_keep
这里的R_peak可以使用最近一段时间的峰值日,也可以使用较高分位的日产生量。不要把偶发的极端事件直接当作长期日均值,但要确认该事件是否会重复发生。
一个估算案例如下。某数据库连续观测14天,累计产生binlog约840GB,平均约60GB/天,观测到的峰值日约82GB。预计未来规划周期内写入量增长25%,计划保留7天:

R_plan = 82GB/天 × 1.25 = 102.5GB/天
V_keep = 102.5GB/天 × 7天 = 717.5GB
这717.5GB只是binlog本身的估算值,不是数据库服务器应采购或分配的最终空间。
把其他空间和安全余量纳入总盘位
最终需求可表示为:
V_required = V_keep
+ V_relay
+ V_backup_temp
+ V_other
+ V_reserve
其中:
V_relay:备库中继日志或级联复制产生的空间。V_backup_temp:本地备份、压缩、校验或上传前暂存空间。V_other:数据文件、redo log、undo log、临时表空间等其他文件增长。V_reserve:应对突发写入、清理延迟和故障处理的余量。
如果binlog使用独立文件系统,V_other可以较小;如果binlog、数据文件和备份共用一个挂载点,则必须把它们放入同一个容量模型,不能只为binlog预留空间。
安全余量可以先按动态空间需求的20%~30%进行估算,或者至少保留1~3个高峰日的binlog量,两者取较大者。实际取值应结合扩容交付时间和业务写入波动调整。
在上面的案例中,binlog保留空间约为717.5GB。若增加30%的binlog规划余量:
717.5GB × 1.30 = 932.75GB
如果使用1.2TB的独立十进制容量,并且没有备份临时文件或其他数据库文件占用,该容量大致可以覆盖估算值;但如果同一磁盘还需要放置200GB备份暂存文件,就必须重新计算,而不能继续沿用1.2TB的判断。
A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖SSD、NVMe及大容量机械硬盘配置,可为MySQL数据库、binlog留存、备份暂存和归档等场景提供不同存储基础。结合多档CPU、内存与线路方案,能够承载从常规业务库到高写入量、多任务数据库环境的服务器部署需求。
判断瓶颈到底是容量还是写入能力
磁盘快满和磁盘写不动是两类问题
binlog相关风险至少包括两种:
- 容量不足:自动清理失败、日志保留过久或写入量超出规划,最终导致文件系统接近满盘。
- 写入性能不足:磁盘延迟升高,binlog同步写入拖慢事务提交,表现为提交延迟增加、应用请求变慢。
容量计算只能解决第一类问题。第二类问题还要结合磁盘写延迟、IOPS、吞吐、sync_binlog设置和数据文件竞争情况判断。即使磁盘还有很多空闲空间,如果写入延迟持续升高,也可能已经影响数据库响应。
源库保留空间不能代替备库中继日志空间
源库上的binlog和备库上的relay log不是同一类文件:

- 源库binlog用于复制、时间点恢复和增量归档。
- 备库relay log用于暂存从源库接收、等待执行的事件。
- 备库SQL线程停止时,relay log可能持续增长。
- 源库设置较长保留期,并不能解决备库本地relay log堆积。
备库应分别检查复制延迟、IO线程和SQL线程状态。MySQL 8.0.22及以后可以使用:
SHOW REPLICA STATUS\G
较早版本通常使用:
SHOW SLAVE STATUS\G
需要关注Seconds_Behind_Source或对应版本字段、Relay_Log_Space、最后一次IO错误、最后一次SQL错误,以及GTID或日志位点是否持续推进。Seconds_Behind_Source为NULL时不能简单理解为“没有延迟”,还要结合线程状态和错误字段判断。
不要把binlog文件数量当作容量指标
binlog文件数量受max_binlog_size、轮换频率和事务大小影响。相同数量的文件,可能分别对应几GB或几百GB。容量监控应以字节数和文件系统剩余空间为主,文件数量只能作为轮换是否正常的辅助指标。
还要注意,单个大型事务可能导致binlog短时间突增。批量导入、在线数据修复、大范围更新和索引变更都应纳入容量演练,尤其是计划在业务高峰附近执行时。
配置保留策略并验证结果
MySQL 8.0使用秒数配置
MySQL 8.0.11及以后版本通常可以使用binlog_expire_logs_seconds。例如,计划保留7天:
SET PERSIST binlog_expire_logs_seconds = 604800;
604800是7×24×60×60秒。执行后应检查:
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
SET PERSIST会写入MySQL持久化配置。执行前应确认版本、权限和现有配置,避免同时维护互相矛盾的过期参数。
MySQL 5.7按版本支持情况配置
MySQL 5.7常用的是expire_logs_days:
SET GLOBAL expire_logs_days = 7;
如果需要重启后仍然生效,应在确认配置文件位置后写入:
[mysqld]
expire_logs_days=7
不同小版本和升级路径可能存在参数兼容差异,建议先用以下命令确认实际支持的变量:
SELECT VERSION();
SHOW VARIABLES LIKE '%expire%';
将保留时间改短属于有风险的数据库变更。执行前应确认最近一次全量备份可以恢复、需要复制的备库已经执行到足够新的位点,并确认备份归档不再依赖即将过期的日志。缩短参数后,日志清理可能在后续轮换或清理周期中发生,不应把参数修改当成无影响操作。
手工清理必须先确认备份和复制状态
通常不建议直接删除MySQL数据目录中的binlog文件。文件系统层面的rm可能使索引状态与实际文件不一致,也可能破坏复制和恢复链。
确需手工清理时,应使用MySQL提供的语句,例如:
PURGE BINARY LOGS TO 'mysql-bin.000123';
该语句会删除指定文件之前的binlog,不包括指定文件本身。也可以按时间清理:
PURGE BINARY LOGS BEFORE '2025-01-01 00:00:00';
执行前必须完成以下核对:
- 已有可恢复的全量备份或可靠的外部binlog归档。
- 所有备库都不再需要被清理的日志文件或GTID范围。
- 备份程序、审计程序和日志归档程序不再读取这些文件。
- 已评估清理对时间点恢复范围的影响。
手工清理不可通过数据库命令回滚。若清理错误,只能从备份或外部归档重新恢复文件和日志链,因此清理操作应限定在明确的文件范围内,并保留执行记录。
用监控确定余量和扩容触发点
至少监控五类指标
建议把容量监控拆成以下几组,而不是只监控“磁盘使用率”:
- 文件系统容量:总容量、已用空间、剩余字节数和剩余百分比。
- binlog产生速率:每小时、每日新增字节数,最好同时记录峰值日。
- 保留状态:最早日志时间、当前日志文件、自动过期参数和清理是否持续发生。
- 复制状态:备库延迟、relay log空间、IO线程和SQL线程错误。
- 备份状态:最近一次成功全量备份时间、备份验证时间、binlog归档是否连续。
文件系统告警应使用df看到的剩余空间作为依据,因为数据库文件可能被进程打开,即使目录统计看起来已经减少,文件系统空间也不一定立即释放。实际挂载点应先通过SELECT @@datadir;和系统挂载信息确认,不要直接套用固定路径。
用“可用天数”辅助判断增长速度
可以计算:
可用天数 = 当前可用字节数 ÷ 规划每日binlog产生量
这个值不能代替完整容量模型,但适合发现突发增长。例如,规划速率为100GB/天,文件系统剩余空间为350GB,则理论可承受约3.5天新增binlog;如果自动清理、备份或其他文件增长异常,这个时间还会缩短。
告警阈值可以先按以下方式设置,再根据扩容交付时间调整:

| 告警级别 | 参考触发条件 | 处理方向 |
|---|---|---|
| 观察 | 剩余空间低于30%,或可用天数低于安全缓冲天数 | 核对增长率、清理和备份状态 |
| 警告 | 剩余空间低于20%,或可用天数小于扩容准备周期加故障处理周期 | 准备扩容,降低非必要的同盘暂存 |
| 严重 | 剩余空间低于15%,或预计24小时内可能影响日志写入 | 立即处理容量、清理和归档问题 |
| 规划扩容 | 未来7天预测会跌破严重阈值,或峰值日连续超过规划值 | 增加磁盘、拆分文件系统或调整架构 |
这些百分比不是固定标准。若扩容需要数周,预警线就应提高;若binlog独占高速盘且扩容可在数小时内完成,阈值可以根据实际恢复能力调整。关键是让阈值早于“数据库写入失败”的时间点。
当出现以下任一情况时,应把扩容或重新规划提上日程:
- 近几周峰值日binlog量持续高于原规划值。
- 写入增长率超过容量模型中的增长假设。
- 自动清理因权限、配置、文件系统或复制依赖未按预期执行。
- 备库延迟或relay log增长持续消耗安全余量。
- 全量备份和binlog归档需要临时占用本地空间。
- 数据、redo log、undo log和binlog共用磁盘,导致任何一类增长都会压缩binlog余量。
最终可以把“保留多久”和“需要多大磁盘”分开管理:保留期限由恢复与复制目标决定,磁盘大小由规划产生速率、保留天数、同盘文件和扩容提前量共同决定。每次业务写入模式、批处理规模、备份周期或复制拓扑发生变化后,都应重新采集binlog产生速率,并据此更新容量阈值,而不是长期沿用最初的固定天数和固定磁盘大小。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8378.html



