向香港服务器分批迁移大文件,怎样实现断点续传并核对文件完整性?

发布人:A5数据发布时间:2026-10-16 09:32阅读量:135

迁移已有业务数据到香港服务器时,建议把迁移拆成可重复执行的批次:先固定每批文件清单,再使用 rsync 传输;传输中断后重跑同一批次;最后通过文件数量、大小和 SHA-256 校验确认内容一致。正式切换前,还要处理迁移期间仍在变化的文件,并保留原环境作为回退来源。

现状与迁移条件

以下示例假定源端和香港目标端均为 Linux,已安装 rsync,并可通过 SSH 连接。示例中的 /srv/archive/ 是源目录,ops@hk-host 是目标端登录地址,/data/archive/ 是目标目录。执行前请替换为实际路径和主机名,并确认目标磁盘有足够空间。

先检查目录、容量和工具版本:

# 源端
rsync --version
df -h /srv/archive

# 目标端
ssh ops@hk-host 'rsync --version; df -h /data'

如果传输需要保留 Linux 文件的属主、权限、时间戳、ACL 或扩展属性,应先确认源端和目标端文件系统及运行账号支持这些属性。rsync -a 会保留常见文件属性,但不包含 ACL 和扩展属性;需要保留时,可在双方工具支持且权限满足的前提下使用 -A、-X。涉及属主保留时通常需要相应的管理员权限。不同系统间的用户 ID、组 ID 或文件系统语义不一致时,应先确认映射规则,不能只以传输成功判断权限正确。

迁移期间写入的数据也必须纳入计划。可选择在迁移窗口暂停写入、从文件系统快照读取,或先进行一次预同步、切换前再同步增量。若源文件在生成校验清单后仍发生变化,最终校验就可能失败;这不一定代表传输链路损坏,也可能是源数据已更新。

面向大文件分批迁移与后续归档,A5数据提供香港物理服务器资源,存储系列配备多块企业级大容量机械硬盘,为业务文件、历史数据和备份副本提供存储空间;常规及AMD系列提供SSD或NVMe配置,可承载迁移后的文件读取与业务处理。香港产品另有CN2及国际带宽方案,为跨境数据传输和迁移后的业务访问提供网络资源基础。

日常操作:按批次传输并支持续传

先按目录划分批次

优先按业务目录、日期目录或数据类型划分批次,例如:

  • 第一批:images/2024/
  • 第二批:images/2025/
  • 第三批:documents/

这样可以分别记录进度和校验结果,出错时只需重跑对应批次。每批应选择可独立核对的目录;如果单个目录本身很大,可按其下一级目录拆分。不要仅为了批次数量多而把文件拆得过细,否则清单管理和核验成本会增加。

先确认源目录与目标目录的对应关系,再执行传输。以下命令从源端运行,将 images/2024/ 同步到目标端对应目录:

rsync -a \
  --partial \
  --info=progress2 \
  --human-readable \
  -e ssh \
  /srv/archive/images/2024/ \
  ops@hk-host:/data/archive/images/2024/

源路径末尾的 / 表示复制目录中的内容到目标目录;目标路径也使用相应目录,避免因路径写法造成多套一层目录或落错位置。迁移前可用 ls 检查两端父目录,确认目标位置无误。

--partial 会在中断时保留未完成的临时文件,便于重跑,但它本身不等于已经验证残留部分正确。重跑同一命令时,rsync 会重新检查源端和目标端文件,对未完成或不一致的文件继续传输或重传。默认判断主要依据文件大小和修改时间,并不代表已经对全部文件做了内容哈希校验。

如确认源文件在传输期间保持不变,且希望对未完成的大文件采用追加并校验已有部分的方式,可使用 --append-verify:

rsync -a \
  --partial \
  --append-verify \
  --info=progress2 \
  --human-readable \
  -e ssh \
  /srv/archive/images/2024/ \
  ops@hk-host:/data/archive/images/2024/

--append-verify 适用于目标端已有同一文件的部分内容、源文件没有变化的场景;它会校验目标端已有部分,不匹配时可能重新传输文件。若源文件仍被业务写入,优先先冻结文件或从快照迁移,不要依赖追加选项来处理源文件变化。迁移对象包含数据库文件、应用正在写入的日志或其他一致性敏感文件时,也应使用应用支持的备份、快照或停写流程,避免得到时间点不一致的数据。

若要限制迁移流量,可按带宽情况设置 --bwlimit。例如限制为约 20 MiB/s:

rsync -a --partial --bwlimit=20480 \
  -e ssh \
  /srv/archive/images/2024/ \
  ops@hk-host:/data/archive/images/2024/

限速单位以 rsync 版本的参数说明为准,常见版本按 KiB/s 处理。大量已压缩的图片、视频或归档文件通常不适合再启用压缩;文本文件是否压缩,可结合 CPU、链路和传输耗时观察后决定。

记录每批结果并重跑失败批次

每批开始前记录批次名称、源目录、目标目录、启动时间和运行结果。断网或 SSH 中断后,先确认目标端磁盘和 SSH 服务正常,再用相同参数重跑失败批次。不要先删除目标端的临时文件,也不要改动源文件名或目录层级;保留部分文件可避免无谓地从头传输。

可通过退出码判断命令是否正常结束。退出码为 0 表示该次 rsync 正常完成;非零表示发生错误,应查看终端输出并处理后重跑。长时间无进度时,分别检查 SSH 连通性、两端磁盘空间、目标目录权限及源文件是否可读。仅看到“传输已完成”并不足以证明业务可用,仍需进行后续核验。

结果检查:用清单核对文件完整性

先核对文件数量与容量

在源端统计该批次的文件数和总字节数:

find /srv/archive/images/2024 -type f | wc -l
du -sb /srv/archive/images/2024

目标端对对应目录执行同样的统计:

ssh ops@hk-host \
  'find /data/archive/images/2024 -type f | wc -l; du -sb /data/archive/images/2024'

数量或总容量不一致时,应先检查是否存在迁移期间新增或删除的文件、权限不足导致的漏读、符号链接处理差异,或目标端额外文件。容量和数量相同只能作为快速检查,不能替代内容校验。

再用 SHA-256 核对文件内容

对已停止写入或从一致性快照读取的批次,可在源端生成相对路径清单:

cd /srv/archive/images/2024 &&
find . -type f -print0 |
  sort -z |
  xargs -0 -r sha256sum > /tmp/images-2024.sha256

把清单传到目标端后,在目标目录内运行校验:

scp /tmp/images-2024.sha256 ops@hk-host:/tmp/images-2024.sha256

ssh ops@hk-host \
  'cd /data/archive/images/2024 && sha256sum --check /tmp/images-2024.sha256'

每个文件都显示 OK,表示清单中的路径均存在,且计算出的 SHA-256 与源端记录一致。出现 FAILED 表示内容哈希不一致;出现 No such file or directory 通常表示文件缺失、路径不一致或清单对应的批次目录不正确。sha256sum 清单中的路径相对于生成清单时所在目录,校验时必须在对应目标目录中执行。

此方法适用于常规文件,且示例假定文件名不包含换行符。若文件名包含特殊字符,应使用能够安全处理 NUL 分隔路径的清单生成与校验工具,或先规范迁移目录的文件命名。符号链接、空目录和特殊文件也不会被上述 find . -type f 清单覆盖;若这些对象属于迁移要求,应单独核对链接目标、目录结构和对应属性。

完整哈希需要读取源端和目标端的文件内容,数据量较大时会增加磁盘读负载和校验时间。可先对每批执行数量、容量检查,再按批次安排哈希核验;上线前应优先确保关键业务文件和必要配置均已校验。rsync --checksum 可让同步阶段依据文件校验和判断是否需要更新,但仍建议把最终核验与同步操作分开记录,便于审计和定位问题。

结果检查:用清单核对文件完整性 / 再用 SHA-256 核对文件内容配图

异常处理:按风险由低到高排查

SSH 中断或传输退出

先检查网络连通、SSH 登录和远端 rsync 是否可用,再查看两端磁盘空间和目录权限。若只是连接中断,保留目标端已有文件,使用相同批次命令重跑。若磁盘空间不足,先评估目标目录中哪些数据可清理;不要直接删除整个迁移目录,以免误删已完成批次或目标端原有数据。

重跑后仍反复传输同一文件

核对源文件是否仍在变化,并检查源端与目标端系统时间、修改时间精度及文件属性差异。业务持续写入时,先暂停写入或切换到一致性快照,再重跑该文件所在批次。若需要用哈希确认,可重新生成该批次清单;新清单与旧清单不一致时,应先查明源数据变化,再决定以哪个时间点的数据为准。

哈希不一致或目标端文件缺失

先确认校验时所在目录和清单路径正确,再检查该批次是否完整执行、源文件是否在校验期间变化、目标端是否出现磁盘或权限错误。对于确认未完整传输的文件,可针对其所在目录重跑同步,再重新生成或校验清单。若源文件已更新,应以冻结后的最终数据重新生成清单,并重新传输,不要通过手工改写校验结果来标记通过。

目标端出现不需要的旧文件

普通 rsync 默认不会自动删除目标端多余文件,这有助于降低误删风险,但可能留下旧文件。确认目标目录是专用迁移目录、备份已准备、删除范围明确后,才考虑使用 --delete;该选项会删除目标端中源目录不存在的内容,路径写错可能造成数据损失。初次检查可使用 --dry-run 观察计划变更:

rsync -a --delete --dry-run \
  -e ssh \
  /srv/archive/images/2024/ \
  ops@hk-host:/data/archive/images/2024/

确认输出仅包含预期范围后,才执行去掉 --dry-run 的命令。若误删且仍需恢复,应从事先制作的目标端备份或原源端副本恢复;不要把未经核对的反向同步当作恢复手段。

必要恢复:保留源端并分阶段切换

迁移和校验期间不要删除或覆盖源端数据,也不要过早把唯一的业务入口切到新服务器。建议在切换前保留源环境和相关配置备份,并记录目标端目录、权限、服务配置及迁移清单。若切换后发现文件缺失、权限不符或业务读取异常,应先将流量或任务恢复到原环境,必要时暂停新环境写入,再核对两端新增数据,明确数据权威来源后执行补传或恢复。

若切换期间新旧环境均产生写入,回退并非简单地把入口切回即可:新环境新增的数据可能尚未回到源端。此时应先停止相关写入、备份新环境新增数据,并按业务一致性要求完成增量回传或人工对账,避免回退造成数据丢失或重复处理。不要在未确认同步方向和删除范围时使用反向 --delete。

上线或验收前逐项检查:

  • [ ] 每个批次的源目录、目标目录和传输结果均有记录。
  • [ ] 中断批次已用相同参数重跑,命令退出码正常。
  • [ ] 文件数量和总容量差异已解释或修复。
  • [ ] 关键批次的 SHA-256 校验通过,失败项已重新处理并复核。
  • [ ] 目标端权限、属主、ACL 或扩展属性符合应用读取要求。
  • [ ] 迁移期间变化的文件已通过停写、快照或最终增量同步纳入。
  • [ ] 业务在香港目标端完成读取、写入及关键功能验证。
  • [ ] 源端数据和恢复方案仍可用,切换后的新增数据有明确处理办法。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3960.html

相关推荐