数据库服务器的MySQL binlog保留多久合适,如何估算磁盘空间

发布人:A5数据发布时间:2026-11-09 10:02阅读量:66

MySQL binlog没有统一适用的保留天数。合理期限应取恢复目标、备库最长可能延迟、备份链间隔和审计要求中的最大值,再加上缓冲时间。普通业务可以先以3~7天作为容量规划起点;需要较长时间点恢复、备库经常延迟或备份验证周期较长时,可考虑7~14天;如果存在合规留存要求,则应把binlog归档到独立存储,不能只依赖数据库服务器本地磁盘。

磁盘空间不能按“数据库大小×保留天数”估算,而要按binlog实际产生速率计算。基本关系是:每日binlog量 = 观测期间新增的binlog字节数 ÷ 观测秒数 × 86400;保留空间 = 规划每日binlog量 × 保留天数;最终还要叠加备份临时文件、备库中继日志、其他数据库文件和安全余量。

先建立业务负载画像

影响binlog增长的不是读请求,而是写入变化量

查询请求通常不会直接产生binlog,真正影响空间的是会改变数据的事务,包括INSERT、UPDATE、DELETE、DDL以及批量导入。

同样的写入请求数,也可能产生完全不同的binlog体积。需要重点记录以下变量:

负载变量对binlog空间的影响规划时的关注点
每秒事务数和写请求数决定事件产生频率关注平均值和高峰值
每个事务修改的行数直接影响事务事件大小批量更新、批量删除要单独观察
行记录大小影响每条变更事件的字节数BLOB、JSON、大字段会放大日志
binlog_format决定记录语句还是行变化ROW模式下通常与实际变更行数关系更直接
binlog_row_image影响行事件包含的列范围FULL和MINIMAL的日志量可能不同
DDL和批量导入可能形成短时突增不能只用日均值估算
复制拓扑决定源库是否需要长期保留日志多级复制需要检查每一级的需求
备份频率与恢复目标决定最少可用日志链长度全量备份成功前后的日志不能随意删除

例如,读请求从每天几十万增加到几百万,不一定会明显增加binlog;一次批量更新数千万行,即使只执行几分钟,也可能产生数十GB甚至更多日志。max_binlog_size只能帮助日志文件轮换,不能限制单个超大事务的实际大小,超大事务可能使单个binlog文件超过该配置值。

先确认数据库实际使用的日志配置

估算前,应先确认binlog是否开启、使用的格式、当前过期策略和日志文件大小。可以使用以下查询:

SELECT VERSION();

SHOW VARIABLES
WHERE Variable_name IN (
  'log_bin',
  'binlog_format',
  'binlog_row_image',
  'binlog_expire_logs_seconds',
  'expire_logs_days',
  'max_binlog_size'
);

SHOW BINARY LOGS;

SHOW BINARY LOGS返回的File_size单位是字节,不是bit。换算成十进制GB时使用:

GB = 字节数 ÷ 1,000,000,000

如果运维团队统一使用GiB,则应使用:

GiB = 字节数 ÷ 1,073,741,824

GB和GiB不要混用,否则在大容量磁盘上会产生明显误差。

采集平均速率和高峰速率

只查看当前最大binlog文件不够,因为binlog会持续轮换。应在至少一个完整业务周期内持续采集新增字节数,建议覆盖7~14天,并包含批处理、月末结算或促销等高峰时段。

可以周期性记录SHOW BINARY LOGS的结果:

SHOW BINARY LOGS;

计算时要考虑日志轮换:

  1. 对两个采样时间点之间仍存在的文件,计算文件大小增量。
  2. 对采样期间新生成的文件,计入其完整大小。
  3. 不要因为旧文件被自动清理,就把清理动作误认为写入量减少。
  4. 采样间隔应短于自动清理周期,或者由监控系统持续累加新增文件大小。

如果只有某个时间段的统计数据,可以使用:

每日binlog量 = 期间新增字节数 ÷ 期间秒数 × 86400

例如,6小时内新增18GB,则估算日均产生量为:

18GB ÷ 6 × 24 = 72GB/天

这个结果只是该时段的折算值。如果6小时正好处于业务低谷或高峰,不能直接当作全年规划值。更稳妥的做法是同时保留日均值、峰值日和较高分位值。

把负载转换为容量变量

先确定“必须保留多久”

保留期限可以用下面的关系确定:

先确定“必须保留多久”配图

T_keep = max(时间点恢复窗口、备库追赶窗口、备份链窗口、审计窗口)+ 安全缓冲

各项含义不同,不能只看备份频率。

  • 时间点恢复窗口:希望能够恢复到多久以前的任意时间点。
  • 备库追赶窗口:备库发生网络中断、SQL线程异常或硬件维护后,预计需要多久恢复并追上源库。
  • 备份链窗口:从最近一次可用全量备份开始,到目标恢复时间点之间必须保留连续binlog。
  • 审计窗口:业务或监管要求保留变更记录的时间。
  • 安全缓冲:用于覆盖备份验证延迟、故障处理时间和突发写入。

全量备份成功不等于备份已经可恢复。若全量备份尚未验证,仍不能过早清理其后产生的binlog。时间点恢复通常需要一份可用的基础备份,以及从该备份时间点到目标恢复点之间连续的binlog。

可以按照以下方式作为初始参考:

场景保留期限的起点需要额外确认的条件
写入量稳定、每日备份、无长时间复制延迟3~7天全量备份是否可恢复
需要跨多个备份周期恢复7~14天或更长备份链是否连续、归档是否可靠
备库可能连续数天维护或延迟不低于最长追赶时间备库所需的最早日志位置
存在审计或合规要求按要求确定建议独立归档,避免占用源库本地盘
需要长期保留变更记录本地短期保留加外部归档归档完整性和恢复演练

如果设置了7天自动过期,但备份系统实际需要保留14天的日志链,自动清理可能使较早的时间点恢复失效。因此,自动过期参数必须服从恢复设计,而不是单独设置。

用规划速率估算保留空间

设定以下变量:

  • R_peak:观测到的高峰日binlog量。
  • G:规划周期内的写入增长率。
  • R_plan:用于容量规划的每日binlog量。
  • T_keep:保留天数。
  • V_keep:保留期内所需的binlog空间。

计算关系为:

R_plan = R_peak ×(1 + G)
V_keep = R_plan × T_keep

这里的R_peak可以使用最近一段时间的峰值日,也可以使用较高分位的日产生量。不要把偶发的极端事件直接当作长期日均值,但要确认该事件是否会重复发生。

一个估算案例如下。某数据库连续观测14天,累计产生binlog约840GB,平均约60GB/天,观测到的峰值日约82GB。预计未来规划周期内写入量增长25%,计划保留7天:

用规划速率估算保留空间配图

R_plan = 82GB/天 × 1.25 = 102.5GB/天
V_keep = 102.5GB/天 × 7天 = 717.5GB

这717.5GB只是binlog本身的估算值,不是数据库服务器应采购或分配的最终空间。

把其他空间和安全余量纳入总盘位

最终需求可表示为:

V_required = V_keep
           + V_relay
           + V_backup_temp
           + V_other
           + V_reserve

其中:

  • V_relay:备库中继日志或级联复制产生的空间。
  • V_backup_temp:本地备份、压缩、校验或上传前暂存空间。
  • V_other:数据文件、redo log、undo log、临时表空间等其他文件增长。
  • V_reserve:应对突发写入、清理延迟和故障处理的余量。

如果binlog使用独立文件系统,V_other可以较小;如果binlog、数据文件和备份共用一个挂载点,则必须把它们放入同一个容量模型,不能只为binlog预留空间。

安全余量可以先按动态空间需求的20%~30%进行估算,或者至少保留1~3个高峰日的binlog量,两者取较大者。实际取值应结合扩容交付时间和业务写入波动调整。

在上面的案例中,binlog保留空间约为717.5GB。若增加30%的binlog规划余量:

717.5GB × 1.30 = 932.75GB

如果使用1.2TB的独立十进制容量,并且没有备份临时文件或其他数据库文件占用,该容量大致可以覆盖估算值;但如果同一磁盘还需要放置200GB备份暂存文件,就必须重新计算,而不能继续沿用1.2TB的判断。

A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖SSD、NVMe及大容量机械硬盘配置,可为MySQL数据库、binlog留存、备份暂存和归档等场景提供不同存储基础。结合多档CPU、内存与线路方案,能够承载从常规业务库到高写入量、多任务数据库环境的服务器部署需求。

判断瓶颈到底是容量还是写入能力

磁盘快满和磁盘写不动是两类问题

binlog相关风险至少包括两种:

  1. 容量不足:自动清理失败、日志保留过久或写入量超出规划,最终导致文件系统接近满盘。
  2. 写入性能不足:磁盘延迟升高,binlog同步写入拖慢事务提交,表现为提交延迟增加、应用请求变慢。

容量计算只能解决第一类问题。第二类问题还要结合磁盘写延迟、IOPS、吞吐、sync_binlog设置和数据文件竞争情况判断。即使磁盘还有很多空闲空间,如果写入延迟持续升高,也可能已经影响数据库响应。

源库保留空间不能代替备库中继日志空间

源库上的binlog和备库上的relay log不是同一类文件:

源库保留空间不能代替备库中继日志空间配图

  • 源库binlog用于复制、时间点恢复和增量归档。
  • 备库relay log用于暂存从源库接收、等待执行的事件。
  • 备库SQL线程停止时,relay log可能持续增长。
  • 源库设置较长保留期,并不能解决备库本地relay log堆积。

备库应分别检查复制延迟、IO线程和SQL线程状态。MySQL 8.0.22及以后可以使用:

SHOW REPLICA STATUS\G

较早版本通常使用:

SHOW SLAVE STATUS\G

需要关注Seconds_Behind_Source或对应版本字段、Relay_Log_Space、最后一次IO错误、最后一次SQL错误,以及GTID或日志位点是否持续推进。Seconds_Behind_Source为NULL时不能简单理解为“没有延迟”,还要结合线程状态和错误字段判断。

不要把binlog文件数量当作容量指标

binlog文件数量受max_binlog_size、轮换频率和事务大小影响。相同数量的文件,可能分别对应几GB或几百GB。容量监控应以字节数和文件系统剩余空间为主,文件数量只能作为轮换是否正常的辅助指标。

还要注意,单个大型事务可能导致binlog短时间突增。批量导入、在线数据修复、大范围更新和索引变更都应纳入容量演练,尤其是计划在业务高峰附近执行时。

配置保留策略并验证结果

MySQL 8.0使用秒数配置

MySQL 8.0.11及以后版本通常可以使用binlog_expire_logs_seconds。例如,计划保留7天:

SET PERSIST binlog_expire_logs_seconds = 604800;

604800是7×24×60×60秒。执行后应检查:

SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';

SET PERSIST会写入MySQL持久化配置。执行前应确认版本、权限和现有配置,避免同时维护互相矛盾的过期参数。

MySQL 5.7按版本支持情况配置

MySQL 5.7常用的是expire_logs_days:

SET GLOBAL expire_logs_days = 7;

如果需要重启后仍然生效,应在确认配置文件位置后写入:

[mysqld]
expire_logs_days=7

不同小版本和升级路径可能存在参数兼容差异,建议先用以下命令确认实际支持的变量:

SELECT VERSION();

SHOW VARIABLES LIKE '%expire%';

将保留时间改短属于有风险的数据库变更。执行前应确认最近一次全量备份可以恢复、需要复制的备库已经执行到足够新的位点,并确认备份归档不再依赖即将过期的日志。缩短参数后,日志清理可能在后续轮换或清理周期中发生,不应把参数修改当成无影响操作。

手工清理必须先确认备份和复制状态

通常不建议直接删除MySQL数据目录中的binlog文件。文件系统层面的rm可能使索引状态与实际文件不一致,也可能破坏复制和恢复链。

确需手工清理时,应使用MySQL提供的语句,例如:

PURGE BINARY LOGS TO 'mysql-bin.000123';

该语句会删除指定文件之前的binlog,不包括指定文件本身。也可以按时间清理:

PURGE BINARY LOGS BEFORE '2025-01-01 00:00:00';

执行前必须完成以下核对:

  • 已有可恢复的全量备份或可靠的外部binlog归档。
  • 所有备库都不再需要被清理的日志文件或GTID范围。
  • 备份程序、审计程序和日志归档程序不再读取这些文件。
  • 已评估清理对时间点恢复范围的影响。

手工清理不可通过数据库命令回滚。若清理错误,只能从备份或外部归档重新恢复文件和日志链,因此清理操作应限定在明确的文件范围内,并保留执行记录。

用监控确定余量和扩容触发点

至少监控五类指标

建议把容量监控拆成以下几组,而不是只监控“磁盘使用率”:

  1. 文件系统容量:总容量、已用空间、剩余字节数和剩余百分比。
  2. binlog产生速率:每小时、每日新增字节数,最好同时记录峰值日。
  3. 保留状态:最早日志时间、当前日志文件、自动过期参数和清理是否持续发生。
  4. 复制状态:备库延迟、relay log空间、IO线程和SQL线程错误。
  5. 备份状态:最近一次成功全量备份时间、备份验证时间、binlog归档是否连续。

文件系统告警应使用df看到的剩余空间作为依据,因为数据库文件可能被进程打开,即使目录统计看起来已经减少,文件系统空间也不一定立即释放。实际挂载点应先通过SELECT @@datadir;和系统挂载信息确认,不要直接套用固定路径。

用“可用天数”辅助判断增长速度

可以计算:

可用天数 = 当前可用字节数 ÷ 规划每日binlog产生量

这个值不能代替完整容量模型,但适合发现突发增长。例如,规划速率为100GB/天,文件系统剩余空间为350GB,则理论可承受约3.5天新增binlog;如果自动清理、备份或其他文件增长异常,这个时间还会缩短。

告警阈值可以先按以下方式设置,再根据扩容交付时间调整:

用“可用天数”辅助判断增长速度配图

告警级别参考触发条件处理方向
观察剩余空间低于30%,或可用天数低于安全缓冲天数核对增长率、清理和备份状态
警告剩余空间低于20%,或可用天数小于扩容准备周期加故障处理周期准备扩容,降低非必要的同盘暂存
严重剩余空间低于15%,或预计24小时内可能影响日志写入立即处理容量、清理和归档问题
规划扩容未来7天预测会跌破严重阈值,或峰值日连续超过规划值增加磁盘、拆分文件系统或调整架构

这些百分比不是固定标准。若扩容需要数周,预警线就应提高;若binlog独占高速盘且扩容可在数小时内完成,阈值可以根据实际恢复能力调整。关键是让阈值早于“数据库写入失败”的时间点。

当出现以下任一情况时,应把扩容或重新规划提上日程:

  • 近几周峰值日binlog量持续高于原规划值。
  • 写入增长率超过容量模型中的增长假设。
  • 自动清理因权限、配置、文件系统或复制依赖未按预期执行。
  • 备库延迟或relay log增长持续消耗安全余量。
  • 全量备份和binlog归档需要临时占用本地空间。
  • 数据、redo log、undo log和binlog共用磁盘,导致任何一类增长都会压缩binlog余量。

最终可以把“保留多久”和“需要多大磁盘”分开管理:保留期限由恢复与复制目标决定,磁盘大小由规划产生速率、保留天数、同盘文件和扩容提前量共同决定。每次业务写入模式、批处理规模、备份周期或复制拓扑发生变化后,都应重新采集binlog产生速率,并据此更新容量阈值,而不是长期沿用最初的固定天数和固定磁盘大小。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8378.html

相关推荐