美国服务器迁移大容量文件时,怎样安排带宽、校验与断点续传
美国服务器之间迁移大容量文件,通常不应采用一次性复制后立即切换的方式。更稳妥的安排是:先在业务运行期间完成全量同步,再利用断点续传和增量同步缩小差异,最后在短暂维护窗口内冻结写入、完成终次同步,并通过文件校验与业务验证确认结果。
带宽规划决定迁移需要占用多长时间,校验方案决定数据是否可信,断点续传决定中断后能否避免从头开始。生产变更负责人需要把三者放在同一条路径上管理,同时保留源端数据和回退入口,不能只关注传输工具显示的百分比。
现状核对:先确认数据、路径与业务写入
区分不同类型的迁移对象
大容量文件并不都适合用同一种复制方式。迁移前应先按数据属性分类,避免把数据库文件、临时缓存和用户上传文件混在一起处理。
| 数据类型 | 推荐处理方式 | 切换前要求 |
|---|---|---|
| 静态资源、安装包、历史归档 | 在线全量同步,随后增量同步 | 确认源端不会继续修改,或在终次同步时冻结写入 |
| 用户上传文件、订单附件 | 全量同步加终次增量同步 | 暂停上传、排空队列或让应用进入只读状态 |
| 正在持续增长的日志 | 按业务需要迁移,通常不作为切换依据 | 明确是否允许丢弃、归档或在目标端重新生成 |
| 数据库数据目录 | 使用数据库自身备份、恢复或复制机制 | 不要把正在写入的数据目录当作普通文件直接复制 |
| 虚拟机磁盘、镜像文件 | 使用一致性快照或平台提供的复制能力 | 确认快照时的磁盘状态和恢复方式 |
| 缓存、临时文件、构建产物 | 按需排除或在目标端重新生成 | 不要让无关大文件占用迁移窗口 |
如果目标服务器同时升级了操作系统或应用版本,还要核对文件格式、服务账号、目录结构、挂载点、符号链接和权限模型。目标端的 app 用户即使名称相同,UID 和 GID 也可能不同。Linux 环境下使用 --numeric-ids 可以保留数字身份,但前提是目标端已经建立了对应的账号和组。
迁移范围最好使用明确的目录清单,例如只迁移 /srv/data 和 /srv/uploads,不直接复制整个 /srv。配置文件、缓存目录、日志目录和数据目录应分别判断,避免把旧版本配置覆盖到新版本环境。
核对容量、文件数量和 inode
以下命令适用于常见 Linux 环境,执行前将路径替换为实际目录:
df -hT /srv/data
df -ih /srv/data
du -sh /srv/data
find /srv/data -xdev -type f | wc -l
这些结果需要同时在源端和目标端记录。du -sh反映的是磁盘占用,稀疏文件、硬链接和不同文件系统会使磁盘占用与逻辑文件大小不同,因此不能只用一个数字判断容量是否足够。
目标端除了存放最终数据,还可能需要容纳:
- rsync 的临时文件和断点文件;
- 文件系统元数据、inode 和目录项;
- 应用升级期间生成的临时文件;
- 目标端原有数据或快照;
- 迁移期间仍在增长的数据。
不要把目标磁盘填到接近 100% 后再开始复制。应根据文件增长速度、临时文件大小和快照策略预留空间;对于持续写入的业务,预留 15%左右只能作为一种示例起点,实际值需要根据增长量和迁移时长重新计算。
确认数据一致性边界
如果文件在复制过程中仍被应用修改,复制结果可能对应不同时间点。大文件尤其容易出现“文件大小已经变化,但内容还没有稳定”的情况。
因此需要提前明确:
- 哪些目录允许在线复制;
- 哪些目录必须暂停写入;
- 是否可以让应用进入只读模式;
- 上传队列、异步任务和后台批处理如何排空;
- 源端在终次同步后是否继续接受写入;
- 目标端切换后产生的新文件如何处理。
对于数据库、虚拟磁盘和正在频繁写入的索引文件,不能用“复制完成”代替“一致性备份”。如果这些数据必须迁移,应优先使用数据库备份恢复、应用快照或存储快照,并单独安排恢复验证。
大容量文件迁移除了同步与校验,也离不开与数据规模相匹配的存储和网络资源。A5idc数据提供美国、香港、日本等地区的物理服务器,涵盖不同线路、带宽和存储配置;香港存储系列配备多块企业级机械硬盘,日本部分方案提供大容量HDD或多块SSD,美国AMD服务器则可选大容量NVMe存储。这些资源为跨地区业务的数据迁移、落盘和后续存储提供了相应的硬件基础。
变更准备:把带宽、校验和断点策略固定下来
按有效带宽估算迁移窗口
带宽单位必须区分字节和比特:
1 GB按十进制计算为1,000,000,000字节;1 TB按十进制计算为1,000,000,000,000字节;1 Gbps表示每秒1,000,000,000比特;1 GB/s才表示每秒十亿字节。
估算所需秒数时,可以使用:
迁移秒数 = 数据量(GB)× 8 × 1000 ÷ 有效速率(Mbps)
例如,待迁移数据为 5 TB,按十进制计算,链路上允许的有效速率为 600 Mbps:
5,000 GB × 8 × 1000 ÷ 600 Mbps = 66,667 秒,约 18.5 小时
这只是按有效载荷计算的估算。大量小文件、磁盘读写速度、CPU 加密开销、TCP 重传、文件系统元数据和链路抖动都会拉长实际时间。可以把 18.5 小时作为基础值,再结合小文件数量和历史链路效率增加计划余量,例如按 24 小时左右安排观察和维护窗口,而不是只按理论值排班。
带宽规划应同时考虑源端出口、目标端入口、跨运营商链路和服务器本身的网卡限制。美国服务器即使位于同一地区,也可能经过不同运营商和数据中心网络,实际可用速率不能仅根据端口标称带宽判断。
迁移速率建议按以下顺序确定:
- 统计业务高峰期间正常使用的出口和磁盘带宽。
- 预留业务、备份、监控和远程管理所需的资源。
- 在低峰期做小规模传输测试,观察持续速率、CPU、磁盘和丢包情况。
- 将迁移任务限制在剩余带宽的一部分,而不是占满链路。
- 根据初始同步的实际速率重新调整维护窗口。
如果需要限制 rsync 的传输速率,示例命令中的 --bwlimit=51200约等于 50 MiB/s,换算成网络速率约为 419 Mbps。这个参数是迁移进程的限制值,不等于链路实际利用率,也不能代替业务流量监控。
选择可恢复的同步方式
在两台 Linux 或 Unix-like 服务器之间,rsync 适合处理目录级复制。常见的初始同步命令如下:
rsync -aHAX --numeric-ids \
--partial \
--partial-dir=.rsync-partial \
--info=progress2 \
--stats \
--bwlimit=51200 \
/srv/data/ migrate@DEST:/srv/data/
其中:
-a保留常见目录、权限、时间和符号链接属性;-H保留硬链接,但文件数量非常大时会增加内存消耗;-A和-X分别用于 ACL 与扩展属性,要求文件系统和权限条件支持;--numeric-ids按数字 UID、GID 保留身份;--partial保留中断时的部分文件;--partial-dir=.rsync-partial将部分文件集中保存,便于识别和清理;--bwlimit限制 rsync 传输速率;- 源目录末尾的
/表示复制目录内容,而不是再嵌套一层data目录。
如果远程账号不能直接写入目标目录,需要先通过受控的 sudo 权限完成目标目录准备,再决定是否使用远程 sudo rsync。不要为了迁移方便临时开放过大的系统权限;迁移账号、目标目录和授权范围都应纳入变更记录。
对一般会被修改的文件,不建议使用 --inplace。该选项可能直接改写目标文件,传输中断后目标文件处于不完整状态,回退和排查都更困难。保留临时文件并在完成后替换,通常更容易控制风险。
对于只会追加、不会修改旧内容或截断的日志和归档文件,可以考虑:
rsync -a --append-verify \
--partial \
--partial-dir=.rsync-partial \
--info=progress2 \
/srv/archive/ migrate@DEST:/srv/archive/
--append-verify只适用于确认过的追加型文件。如果文件可能修改历史内容、被截断或被程序重新写入,不应使用该参数,应使用普通 rsync 同步并在业务冻结后再次复制。
准备备份和校验清单
源端应在迁移前保留可恢复的备份或一致性快照,不能把“源端还保留着文件”当作完整备份。至少应确认关键目录可以恢复若干代表性文件,并记录备份时间、数据范围和保留期限。
校验可以分成两层:
- 迁移过程使用 rsync 的文件大小、时间和块比较,减少重复传输。
- 终次同步后对冻结数据执行内容校验,例如 SHA-256 清单。
rsync 的 --checksum会读取文件内容进行比较,适合用于最终差异检查,但会增加源端和目标端的磁盘读取压力。可以先执行不改变文件的检查:
rsync -aHAXn --checksum --numeric-ids \
--itemize-changes \
/srv/data/ migrate@DEST:/srv/data/
-n表示只演练,不写入目标端。输出为空通常表示源端文件在 rsync 检查范围内没有需要更新的项目,但由于没有使用 --delete,目标端多出来的文件不会因此自动报告,目标端原有数据仍需单独核对。
如果数据已经冻结,可以生成内容清单:
(
cd /srv/data &&
find . -xdev -type f -print0 |
LC_ALL=C sort -z |
xargs -0 -r sha256sum
) > /var/tmp/data.sha256
把清单安全地放到目标端后,在目标目录执行:
cd /srv/data
sha256sum -c /var/tmp/data.sha256
对于数百万文件,完整 SHA-256 清单可能需要较长时间并产生明显磁盘读取压力。可以把它安排在终次同步之后,并先确认业务已停止写入。若数据仍在变化,校验失败不一定说明传输损坏,也可能只是源文件在计算期间发生了变化。
分步实施:全量、增量和切换分开
第一阶段:在线全量同步
在业务仍可运行、但不影响一致性的目录上执行第一次全量同步。全量同步时不要加入 --delete,不要使用 --remove-source-files,也不要在未确认目标目录的情况下覆盖目标端已有数据。
记录以下信息:
- 开始和结束时间;
- 传输的文件数量和总字节数;
- 平均速率与峰值速率;
- 传输失败、权限拒绝和跳过的文件;
- 源端与目标端的磁盘、CPU、网络使用情况;
.rsync-partial目录中是否仍有未完成文件。
如果 SSH 连接中断或迁移进程被终止,应重新执行相同的 rsync 命令。已完成且未发生变化的文件通常会被跳过,部分文件会根据已有内容继续比较和传输,而不是简单从零开始。为了让断点文件能够继续使用,不要手工把临时文件改名成正式文件。
如果源端大文件在传输期间被修改,断点续传也不能自动解决数据一致性问题。此时应在源文件稳定后重新执行同步,并把终次校验放到冻结窗口内。
第二阶段:增量同步与差异收敛
全量同步完成后,在业务继续运行的情况下再执行一次增量同步:
rsync -aHAX --numeric-ids \
--partial \
--partial-dir=.rsync-partial \
--info=progress2 \
--stats \
--bwlimit=51200 \
/srv/data/ migrate@DEST:/srv/data/
此阶段重点不是再次传输全部数据,而是收敛第一次复制之后产生的新文件和变更文件。应比较两次同步的文件数量、速率和变化量。如果增量数据持续增长,说明源端写入速度已经接近或超过迁移能力,继续等待不会自然解决问题,需要减少写入、扩大带宽、拆分目录或调整切换时间。
对包含大量小文件的目录,可以按不重叠的一级子目录分批同步,并为每批记录完成状态。但不要在没有监控磁盘 I/O 的情况下盲目开启大量并行任务,否则可能出现网络带宽未用满、磁盘队列却持续堆积的情况。
第三阶段:冻结写入并完成终次同步
维护窗口开始后,应按业务顺序处理:

- 暂停上传入口、后台写入任务和会改变文件内容的定时任务。
- 等待队列排空,确认没有新的写入者。
- 记录源端最后写入时间,并保留源端数据不变。
- 执行终次 rsync 同步。
- 对关键目录执行内容校验和结构核对。
- 启动或切换目标端应用,但暂时不要清理源端文件。
如果目标端是新版本应用,应用升级所需的配置变更、权限调整和数据格式转换应与文件复制区分开。需要执行格式升级时,应先在目标端的副本上完成验证,避免在唯一源数据上直接执行不可逆转换。
只有在确认目标目录应当与源目录完全一致时,才考虑使用删除目标多余文件的策略。使用删除选项前必须完成目标端备份、演练模式检查和路径确认,因为目标端路径写错会把无关数据纳入删除范围。
验证与观察:不仅看传输进度
文件层验证
终次同步完成后,可以使用以下维度交叉确认:
| 检查项目 | 验证方式 | 通过标准 |
|---|---|---|
| 文件数量 | 对比源端和目标端清单 | 预期目录内数量一致,排除项有记录 |
| 目录占用 | 对比 du -sh、文件系统空间和增长量 | 差异能由稀疏文件、硬链接或排除项解释 |
| 内容一致性 | rsync --checksum --dry-run或 SHA-256 清单 | 关键文件无未解释差异 |
| 权限与归属 | 检查服务账号、UID、GID、ACL | 应用账号可以读取或写入所需目录 |
| 符号链接 | 检查链接目标是否存在 | 没有指向旧服务器路径的失效链接 |
| 目录挂载 | 检查挂载点和文件系统类型 | 数据没有被写入错误的根文件系统 |
| 特殊文件 | 检查硬链接、扩展属性和稀疏文件 | 与应用使用方式相符 |
验证样本不能只选普通小文件。应至少覆盖最大的文件、最近生成的文件、带特殊字符的文件、权限特殊的文件、符号链接以及业务实际会读取的文件。
应用层验证
文件校验通过后,还要使用目标端应用进行读写验证:
- 读取历史数据和随机抽取的附件;
- 上传一个测试文件并确认落盘位置;
- 下载或展示迁移后的文件;
- 检查异步任务、定时任务和日志写入;
- 检查应用错误日志、HTTP 状态码和权限错误;
- 观察目标端 CPU、磁盘延迟、文件系统空间和网络流量。
如果目标端应用能够读取文件,但写入路径仍指向旧服务器,不能视为迁移完成。配置中的绝对路径、挂载路径、对象存储凭据和后台任务目录都需要单独核对。
设定观察窗口
切换后不要立即删除源端数据。可以先设置一个技术观察窗口,例如完成 30至60分钟的基础验证,再覆盖一次实际业务高峰或完整的上传、处理、下载周期。具体时长应根据业务写入周期、用户访问时段和数据重要性确定。
观察窗口内,源端最好保持只读或停止对外写入,目标端作为唯一写入端。若必须允许源端继续处理业务,则需要额外设计双写、增量回传或写入冻结机制,否则回滚时可能出现两个位置都有新数据但无法合并的情况。
回滚条件:保留源端,不把回滚变成二次丢数
以下情况应暂停切换或触发回滚评估:
- 关键文件 SHA-256 校验不一致,且无法确认是源端继续写入造成的;
- 文件数量或目录结构缺失,差异无法由排除规则解释;
- 目标端应用出现持续的读取失败、权限错误或数据格式错误;
- 目标端磁盘空间、inode、I/O 延迟持续接近危险阈值;
- 目标端上传或处理结果无法正常落盘;
- 迁移期间带宽占用影响现有业务,且无法通过限速解决;
- 源端写入无法冻结,导致终次同步后仍不断产生未复制数据。
在目标端尚未产生新业务写入前,回滚相对直接:停止目标端服务,恢复原有路由或配置,让源端继续提供服务,并保留目标端日志以便排查。
目标端已经产生新文件或新订单后,不能简单地把流量切回源端。此时应先停止新的写入,导出目标端切换后产生的增量数据,确认能够合并或回传,再决定是否恢复源端。否则可能出现用户已经上传文件到目标端,但回滚后源端完全看不到这些文件的情况。

回滚触发条件、负责人和执行入口应在切换前写入变更单,并提前确认源端数据保留时间。只有在校验通过、业务读写正常、观察窗口内没有未解释异常后,才可以安排源端下线或清理;在此之前,源端备份、快照和原路径都应保持可用。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8182.html


