为备份业务规划存储服务器,怎样计算保留周期对应的磁盘容量?

发布人:A5数据发布时间:2026-10-14 13:25阅读量:187

保留周期对应的磁盘容量,不能简单按“源数据量×保留天数”计算。真正需要计入的是初始全量备份、增量或差异数据、备份副本数量、去重压缩后的实际占用、元数据与校验开销,以及为数据增长和故障重建预留的空间。

可以先用下面的关系建立容量初算模型:

容量规划推演配图

目标可用容量 = 保留期内备份逻辑数据量 × 实际存储占比 × 开销系数 ÷ 目标使用率

其中,保留期内备份逻辑数据量由全量备份数量、每日变化量和恢复点策略决定;“实际存储占比”受去重、压缩和重复修改影响;“目标使用率”不能按磁盘标称容量的100%计算。容量规划还要同时检查备份窗口、并发任务、恢复速度和扩容空间,否则磁盘容量足够,备份任务仍可能因为吞吐、IOPS或网络成为瓶颈。

先明确“保留周期”到底保留什么

容量计算的第一步不是数磁盘,而是明确恢复点。30天保留期可能对应以下几种策略:

  • 每天保留一个完整备份,共30个全量恢复点;
  • 每周一次全量、每天一次增量,保留30天;
  • 每周一次全量、每天一次差异,保留30天;
  • 连续增量备份,同时保留每天、每周和每月恢复点;
  • 本地备份保留30天,异地副本保留90天;
  • 备份数据设置不可变保留期,删除后还需要等待锁定窗口结束。

这些策略的物理容量可能相差数倍。尤其是“逻辑恢复点数量”和“磁盘上实际存储的数据块数量”并不相同。启用去重后,多个恢复点可能共享未变化的数据块;但同一文件或数据库页反复修改,也可能在不同恢复点产生多份物理数据。

源数据量要按实际受保护数据统计

容量规划中的源数据量,不应直接使用服务器硬盘的标称容量,而应统计真正进入备份任务的数据:

  • 文件服务器中的实际文件量,而不是文件系统总容量;
  • 虚拟机中的已用块、数据库数据文件和需要保护的日志;
  • 数据库全量备份、事务日志、归档日志等独立数据集;
  • 应用配置、密钥、脚本和元数据;
  • 备份软件自身的索引、目录和任务数据库。

精简配置的虚拟磁盘可能标称为1 TB,但实际只写入300 GB;反过来,数据库日志、临时导出文件和快照链也可能使实际备份量大于日常统计的业务数据量。因此,建议至少收集以下三个数值:

  1. 当前实际受保护数据量;
  2. 最近30天或更长周期内的每日新增量和变化量;
  3. 备份软件报告的去重前数据量、压缩后数据量和最终写入量。

如果只能获得业务部门提供的静态数据量,应在结果中明确这是初算,而不是交付容量。备份仓库上线后,需要用真实写入数据重新校正模型。

恢复点数量比“天数”更重要

保留周期可以按日历天数描述,但容量计算应转化为恢复点数量。例如,要求每天至少有一个恢复点,30天保留期通常意味着30个日恢复点;如果还要求保留8个周恢复点和12个归档月恢复点,恢复点总数就不再是30个。

不过,不能机械地把30个日点、8个周点和12个月点直接相加。若备份软件采用块级去重,周备份可能复用日备份的数据块;若周备份采用独立全量方式,则会产生更多物理占用。最终要看备份软件的存储方式:

  • 独立全量:每个恢复点都接近源数据量,容量增长快,但恢复链路简单;
  • 全量加增量:全量占用较大,增量通常较小,但恢复时需要读取完整链条;
  • 全量加差异:差异备份会随着距离最近全量的时间增长;
  • 连续增量或永久增量:物理容量取决于变化块、去重策略和合成全量机制;
  • 快照型备份:快照本身可能很小,但源数据被覆盖或快照链过长时,实际占用会快速增加。

用公式估算保留期容量

为了便于计算,可以定义以下变量:

符号含义
D当前需要保护的逻辑数据量
r每个备份周期的平均变化比例
Nf保留期内全量备份数量
Ni保留期内增量备份数量
k去重和压缩后,物理数据量占逻辑数据量的比例
o元数据、索引、校验、对齐和内部管理开销比例
u目标使用率,例如0.75表示只规划到可用容量的75%

如果采用“全量加增量”,且增量备份近似记录每个周期内发生变化的数据,可以先计算:

保留期逻辑数据量 = D × Nf + D × r × Ni

再计算备份仓库所需的可用容量:

目标可用容量 = 保留期逻辑数据量 × k ×(1 + o)÷ u

这个公式适合容量初筛。对于数据库日志、重复修改频繁的虚拟机磁盘、加密压缩文件和无法有效去重的媒体文件,r和k应分别按数据类型估算,不宜整个业务只套一个平均值。

示例:每周全量、每天增量、保留30天

以下是一个用于说明计算过程的假设案例:

  • 当前受保护数据量D为100 TB;
  • 保留30天;
  • 每周一次全量备份;
  • 每天一次增量备份;
  • 30天内安排5个全量恢复点和25个增量恢复点;
  • 平均每日变化率r为3%;
  • 去重和压缩后,物理占用约为逻辑数据量的60%,即k=0.60;
  • 元数据、索引和管理开销按15%估算,即o=0.15;
  • 目标使用率u为75%。

先计算保留期内的逻辑数据量:

100 TB × 5 + 100 TB × 3% × 25
= 500 TB + 75 TB
= 575 TB

再计算去重压缩后的实际数据量:

575 TB × 0.60 = 345 TB

加入15%的开销:

345 TB × 1.15 = 396.75 TB

最后按75%的目标使用率规划:

396.75 TB ÷ 0.75 = 529 TB

因此,在这组假设下,备份仓库至少需要约529 TB的可用容量。这个结果不是某台服务器的承载保证,也不等于磁盘标称容量。还要根据RAID方式、热备盘、文件系统预留、控制器布局和扩展单元换算成原始磁盘容量。

如果采用由8块数据盘和2块校验盘组成的RAID6组,理论可用比例约为80%,暂不考虑热备盘和其他损耗,则原始容量约为:

用公式估算保留期容量配图

529 TB ÷ 0.80 = 661.25 TB

实际采购时还需要按磁盘规格向上取整,并核对磁盘组能否按目标容量组合。热备盘、不同厂商的容量换算、文件系统保留空间和备份软件仓库预留都会使最终结果高于这个理论值。

不同备份方式的估算差异

备份方式初步容量关系主要容量风险
每天全量D × 恢复点数量容量增长快,对备份窗口和写入带宽要求高
每周全量+每天增量D × 全量数 + D × r × 增量数增量链过长会影响恢复时间
每周全量+每天差异D × 全量数 + D × r × 各差异累计天数之和越接近下一次全量,单个差异越大
永久增量初始全量+各周期新增变化块受块变化、合成全量和清理机制影响
多级日/周/月保留各级恢复点占用之和,再扣除共享块独立全量和归档副本可能显著放大容量
快照或版本链原始数据+变化块+快照管理开销大量覆盖写入、快照锁定和链条过长会放大占用

对于差异备份,如果一个全量之后第1天、第2天和第3天分别产生变化,三个差异备份可能分别包含1天、2天和3天的累计变化。假设每天变化量稳定为D×r,那么某个全量周期内的差异逻辑容量近似为:

D × r ×(1 + 2 + 3 + … + n)

实际数据会受到重复修改、文件删除、块级去重和备份软件实现方式影响,因此这个公式适合判断趋势,不适合替代上线后的实测数据。

不能忽略去重、压缩和数据类型

去重压缩是容量估算中最容易被高估或低估的变量。备份软件常见的“节省比例”不应直接当作所有数据的统一结果。

哪些数据通常不容易压缩或去重

以下数据通常已经压缩、加密或内容差异较大:

  • 视频、图片、音频和归档文件;
  • 已经使用压缩格式保存的安装包;
  • 加密后的数据库备份;
  • 加密虚拟磁盘;
  • 每天都会整体重写的大型导出文件;
  • 经过随机化处理的测试数据。

如果业务数据主要由这类文件组成,k可能接近1;如果是大量相似的虚拟机模板、文本文件或重复数据库块,k可能明显低于1。规划时不宜直接采用备份软件界面展示的理论节省率,至少要区分以下数据类型:

数据类型重点估算变量
文件服务器新增文件量、修改文件量、文件大小分布
虚拟机已用块、操作系统模板重复度、快照和磁盘变化
数据库全量大小、日志增长、页级变化率、备份压缩率
媒体数据新增量、删除率、重复内容比例
归档数据写入后是否继续修改、长期保留副本数量

较稳妥的做法是将数据分组计算。例如,数据库占50 TB、每日变化率为5%,办公文件占30 TB、每日变化率为2%,媒体数据占20 TB、每日变化率为1%,分别计算后再汇总,而不是使用一个统一的3%平均值。

加密和去重顺序会改变容量结果

如果数据在进入备份仓库前已经加密,备份服务器通常无法识别其中的重复块;如果备份软件先做块级去重和压缩,再进行传输加密,节省效果可能更明显,但会增加服务器CPU、内存和索引负载。

因此,容量计算应同时记录:

  • 去重发生在客户端、传输端还是服务器端;
  • 压缩发生在备份代理还是存储服务器;
  • 去重索引是否长期保留在SSD或内存中;
  • 数据删除后,索引和垃圾回收是否立即释放空间;
  • 不可变备份到期后,空间是否还会延迟回收。

并发和备份窗口会决定存储服务器的性能规格

磁盘容量只是存储服务器的一项指标。多个备份任务同时写入时,服务器需要处理网络连接、数据分片、校验、去重、压缩、索引更新和磁盘写入。容量够用但备份窗口不够,仍然会造成任务重叠,进而推高并发和存储压力。

用备份窗口反推吞吐量

如果一个备份窗口内需要写入V TB数据,允许的时间为T秒,则理论平均传输速率为:

传输速率(Mbps)= V(TB)× 1,000,000(MB/TB)× 8 ÷ T(秒)

例如,4小时内需要完成10 TB有效数据写入:

  1. 10 TB按十进制换算为10,000 GB,即10,000,000 MB;
  2. 10,000,000 MB×8=80,000,000 Mb;
  3. 4小时等于14,400秒;
  4. 80,000,000 Mb÷14,400秒≈5,556 Mbps;
  5. 换算为字节速率约为694 MB/s。

这只是端到端平均值。考虑协议、校验、并发抖动和其他业务流量后,容量规划不应把链路标称速度直接当作可用备份吞吐量。10Gbps网络的线速约为1,250 MB/s,但备份程序、存储协议、CPU处理和磁盘阵列可能使实际有效速率低于线速。若按20%余量规划,上述任务的目标处理能力可按约833 MB/s估算,再通过实际压测或上线数据验证。

并发和备份窗口会决定存储服务器的性能规格配图

如果备份软件启用客户端压缩,网络上传输量可能小于源数据量,但存储服务器仍需要处理解压、校验或去重索引。计算网络带宽时,应使用网络实际传输量;计算磁盘写入能力时,应使用服务器实际写入量,不能混用两个口径。

并发数影响写入模式

单个大文件的连续写入,通常更接近硬盘阵列的顺序吞吐;大量小文件、虚拟机多任务和数据库日志,则会产生更多元数据操作和随机I/O。

需要分别观察:

  • 同时运行的备份任务数量;
  • 每个任务的平均数据量和文件数量;
  • 是否存在多个任务同时结束并提交索引;
  • 去重索引和目录数据库的随机读写;
  • 备份任务是顺序写入、追加写入还是频繁覆盖;
  • 是否存在备份读取、校验、复制和清理任务同时执行。

如果每天只有一个大型数据库备份,容量较大的企业级硬盘阵列可能适合;如果同时有数十台虚拟机、小文件服务器和数据库日志任务,单纯增加机械硬盘数量不一定能解决延迟问题,可能需要为索引、元数据或高频随机读写配置SSD或NVMe层。

恢复速度需要单独规划

备份仓库的写入能力不能代表恢复能力。恢复时间目标(RTO)要求在规定时间内读取并重组数据,可能涉及大量随机读、索引查询和校验。

例如,需要在2小时内恢复5 TB数据:

5 TB = 5,000,000 MB
5,000,000 MB ÷ 7,200秒≈694 MB/s

这仍然是端到端平均读取速率。若恢复链包含多个增量点,实际过程还会受到索引定位、数据重组、目标服务器写入能力和网络出口的影响。若业务只验证过备份成功,没有验证恢复时间,就不能据此判断存储服务器满足RTO。

根据工作负载选择磁盘和阵列方式

存储服务器的配置应由数据容量、备份窗口和恢复目标共同决定,而不是先选磁盘数量再倒推业务能力。

根据工作负载选择磁盘和阵列方式配图

A5数据提供面向备份仓库、文件归档和大容量数据保留的物理服务器资源。香港存储系列配备企业级机械硬盘与H730控制器,日本CTG系列则提供大容量HDD及SSD方案,可围绕数据规模、写入负载和恢复访问需求构建存储基础;同时覆盖香港、美国、日本、新加坡等地区,支持本地业务与跨地区部署场景的资源配置。

机械硬盘、SSD和NVMe的分工

  • 机械硬盘:适合大容量、连续写入和长期保留的备份数据,单位容量成本通常更适合大规模仓库。
  • SSD:适合存放目录、索引、元数据和高频访问的恢复点,也可用于混合存储层。
  • NVMe:适合去重索引、并发随机读写和高频恢复场景,但不应仅因为接口速度更高就全部采用。
  • 全闪存阵列:适用于恢复窗口严格、并发恢复较多或备份软件对随机I/O要求较高的场景;如果主要是低并发顺序写入,成本和容量可能需要重新权衡。

SSD缓存是否有效,取决于备份软件是否支持、缓存是否能覆盖工作集,以及瓶颈究竟在磁盘还是网络。若应用主要进行大块顺序写入,缓存可能无法显著提升长期持续写入能力。

RAID容量和性能要分开判断

常见阵列方式的取舍可以概括为:

  • RAID10通常提供较好的随机写入和恢复性能,但原始容量利用率较低;
  • RAID6可在容量和故障保护之间取得平衡,适合较大规模机械硬盘阵列,但写入校验和重建会带来额外负担;
  • 单纯追求高容量的低冗余方式,不适合承载唯一备份副本;
  • 热备盘会占用部分原始容量,但有助于缩短故障后的恢复窗口;
  • 阵列控制器缓存、断电保护和重建速度会影响实际写入和恢复表现。

不能把RAID容量当作备份副本。RAID只能降低单块磁盘故障造成的数据不可用风险,无法应对误删、勒索、备份软件错误、控制器故障或机房级事故。至少需要将本地备份、异地副本和离线或不可变副本分别计算。

本地副本和异地副本应分别建账

如果本地保留30天、异地保留90天,不能只按90天的一份容量估算。应分别建立副本账本:

总存储需求 = 本地备份仓库 + 异地备份仓库 + 长期归档仓库

如果异地采用完整复制,异地仓库可能接近本地仓库的同等容量;如果异地只复制变化块、采用更长的合成周期或不同的压缩策略,则需要使用异地实际存储比例重新计算。

同一台存储服务器内配置两个RAID组,也不等于两个独立故障域。电源、主板、控制器、机箱、机房和管理员权限仍可能是共同风险。对重要数据,应把副本的存储位置、访问权限和删除机制一并纳入规划。

把增长率和容量余量加入模型

当前数据量只能回答“现在是否够用”,不能回答“几个月后是否需要扩容”。至少要设置一个规划周期,例如12个月、24个月或36个月。

如果数据年增长率为g,规划周期为Y年,预计数据量可按下式估算:

规划期数据量 = 当前数据量 ×(1 + g)^Y

例如,当前受保护数据为100 TB,年增长率按20%估算,三年后的数据量为:

100 TB × 1.2^3 = 172.8 TB

如果变化率也随数据量同比增加,保留期内每个全量和增量的容量都应使用规划期数据量重新计算。不能只把当前源数据量乘以1.728,却继续使用当前的每日变化量。

增长率最好同时使用平均值和峰值:

  • 平均增长率用于采购周期和年度预算;
  • 最近高峰增长率用于判断短期空间风险;
  • 重大项目上线、数据迁移和日志策略调整应作为单独增长事件;
  • 业务合并或历史数据回填不能简单视为平滑增长。

余量应拆成不同用途

“预留30%”看似简单,但如果不说明用途,容易重复计算或遗漏。建议将余量拆为:

  1. 运行余量:防止备份任务在接近满盘时失败;
  2. 增长余量:覆盖规划周期内的新增数据;
  3. 重建余量:用于磁盘替换、阵列重建和临时数据;
  4. 版本清理余量:不可变保留到期后,空间释放可能存在延迟;
  5. 性能余量:避免文件系统和阵列长期接近满载导致性能下降。

例如,先将三年后的数据量代入公式,再按75%或80%的目标使用率计算,就已经包含了一部分增长和运行空间。此时不应在结果上再次无条件增加30%增长余量,否则可能重复计算。更稳妥的方式是把每个余量写在表格中,并明确它是否已经包含在u或o中。

通过指标判断真正的瓶颈

容量规划不能只看“剩余多少TB”。以下指标需要一起观察:

指标说明可能反映的问题
可用容量比例当前可写空间占规划可用容量的比例空间耗尽、清理滞后、扩容时间不足
未来可用天数剩余空间除以近期净增长量是否能撑过采购和交付周期
每日变化量每天新增或修改的数据规模增量容量是否被低估
去重压缩比逻辑写入量与物理写入量的关系数据类型变化或加密导致容量放大
备份吞吐量单任务和并发任务的端到端速率网络、CPU或阵列是否限制备份窗口
磁盘延迟和队列深度存储处理请求的等待情况随机I/O、阵列写入或重建瓶颈
CPU与内存去重、压缩、校验和索引负载服务器计算资源是否成为限制
恢复吞吐量实际读取并还原到目标端的速率是否能够满足RTO
RAID状态与重建进度阵列是否降级、是否正在重建故障风险和可用性能变化
索引数据库占用目录和去重索引的容量变化SSD层或系统分区是否不足

判断瓶颈时,需要把指标与业务事件对应起来。例如,所有备份任务的网络出口接近上限,而磁盘延迟正常,优先考虑网络或链路聚合;磁盘队列长期很高而网络利用率不高,可能需要增加磁盘组或调整写入并发;CPU持续高且去重压缩开启,增加硬盘未必有效;备份成功但恢复速度不达标,则应单独检查读取路径和目标服务器写入能力。

为扩容设定可执行的触发点

扩容阈值不能只写“空间不足时扩容”,因为存储服务器的采购、交付、上架、迁移和验证都需要时间。建议同时使用容量阈值、时间阈值和性能阈值。

容量阈值

可以将以下数值作为初始管理区间,实际值应根据备份软件清理机制和交付周期调整:

状态可用空间或目标使用率建议动作
正常可用空间大于30%持续监控实际增长和去重比
关注可用空间约20%至30%复核增长率,确认扩容方案和预算
计划扩容可用空间低于20%,或预计90天内达到该水平启动采购、交付和数据迁移安排
紧急处理可用空间低于10%,备份任务出现空间告警暂停非必要新策略,核查清理、锁定和扩容路径

这些比例应针对备份仓库的“可用容量”计算,而不是针对所有磁盘原始容量计算。阵列降级、不可变数据锁定或正在进行垃圾回收时,剩余空间的可用性还可能低于界面显示值。

用“剩余可用天数”校正阈值

仅看百分比可能忽略增长速度。可以用下面的关系估算还能运行多久:

剩余可用天数 = 当前可用空间 ÷ 最近30天平均每日净增长量

例如,仓库还剩120 TB可用空间,最近30天平均每天净增加2 TB,则理论剩余时间为60天。即使当前可用空间比例仍有25%,也应立即启动扩容,因为采购周期可能超过60天。

每日净增长量应扣除实际释放的空间,并把以下情况单独记录:

  • 备份到期后的自动清理;
  • 不可变锁定到期后的延迟释放;
  • 去重垃圾回收尚未完成;
  • 临时合成全量和校验副本;
  • 迁移期间产生的重复副本。

用性能阈值触发扩展,而不是等磁盘写满

当出现以下情况时,即使空间还足够,也可能需要扩展磁盘组、网络或计算资源:

  • 备份窗口占用计划时间的80%至85%以上;
  • 并发任务经常延迟到下一备份周期;
  • 关键备份任务的写入延迟持续上升;
  • 恢复测试吞吐量低于RTO反推的目标值;
  • 去重或压缩CPU长期接近上限;
  • 阵列重建期间无法维持业务要求的写入速率;
  • 实际去重压缩比连续多个周期明显低于容量模型。

阈值应依据业务窗口确定,而不是照搬某个固定数字。若备份窗口为8小时,实际任务已经运行7小时,说明即使磁盘使用率只有60%,也需要优化并发、增加吞吐或扩展存储路径。

交付时如何验收容量规划结果

采购存储服务器时,建议将容量和性能拆成不同验收项,避免只验收“装了多少块盘”。

容量方面应核对:

  • 标称原始容量、RAID后可用容量和文件系统可用容量;
  • 热备盘、系统盘、缓存盘是否占用规划容量;
  • 备份软件显示的逻辑容量和物理容量;
  • 去重压缩是否按测试数据类型验证;
  • 长期保留、不可变副本和异地副本是否分别计算;
  • 未来是否有空余盘位、扩展柜或可用接口。

性能方面应核对:

  • 规定并发数下的持续写入吞吐;
  • 典型小文件和虚拟机任务下的延迟;
  • 备份窗口内网络、CPU和磁盘是否同时达到瓶颈;
  • 单个大型任务与多个并发任务的差异;
  • 从备份仓库恢复到业务服务器的实际读取速度;
  • 阵列降级或重建期间是否仍满足最低备份要求。

验收数据应使用与实际业务相近的文件大小、数据库类型、变化率和并发任务。单次顺序写入测试只能证明某种理想场景,不能代表真实备份软件在去重、索引和多任务条件下的结果。

最终,保留周期容量应形成一张可持续更新的模型:每月记录源数据量、每日变化量、恢复点数量、物理写入量、去重压缩比、可用空间和备份窗口;用最近30天平均值与高峰值分别预测剩余可用天数;当空间比例、剩余天数或性能指标任意一项进入扩容区间时,启动扩容评审。这样计算出的存储服务器容量,才同时覆盖当前保留周期、业务增长和实际备份运行条件。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3662.html

相关推荐