Linux上用rsync传输大文件中断后,怎样续传并校验文件?

发布人:A5数据发布时间:2026-11-13 10:42阅读量:49

大文件传输中断后,通常用相同的 rsync 源路径、目标路径和传输参数重新执行命令即可继续。关键是第一次传输时保留未完成数据:通用场景可使用 --partial-dir,rsync 会把未完成文件放在目标端的临时目录中,后续传输时再利用它;传完后,再用 SHA-256 等方式核对源文件和目标文件。

大文件传输与校验不仅依赖 rsync 参数,也需要稳定的服务器存储和网络资源作为基础。A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,涵盖 NVMe、SSD 与大容量 HDD 等存储方案,并有不同线路和带宽配置,可用于部署文件归档、备份及跨地区业务传输所需的服务器环境。

现状与条件

以下操作适用于通过 SSH 在 Linux 主机间传输文件,也适用于本机与远程主机之间传输。操作前先确认:

  • 源文件在续传期间没有被修改、替换或截断。
  • 目标目录有足够空间,且当前账号对目标目录有写入权限。
  • 本机和远端安装了 rsync;可分别执行 rsync --version 查看版本。若需要使用较新的进度显示选项而报错,可改用 --progress。
  • 传输方向和路径已确认。rsync 中源路径末尾的 / 会影响目录内容的层级,续传时应保持源路径、目标路径和相关参数一致。

rsync 不是靠网络连接本身“记住进度”,而是通过目标端保留的未完成数据,在下一次运行时继续比较和传输。若未使用保留部分文件的参数,中断后目标端可能没有可供续传的数据,需要重新传输。

日常操作:保留部分文件并续传

传输单个大文件

例如,将本机 /data/archive.tar 传到远端的 /backup/:

rsync -a --partial-dir=.rsync-partial --info=progress2 \
  /data/archive.tar user@192.0.2.10:/backup/

这里的 192.0.2.10 和路径是示例值,需要替换成实际主机地址和目录。-a 用于保留常用文件属性,--partial-dir=.rsync-partial 将未完成文件放在目标目录下的隐藏临时目录中,--info=progress2 显示整体传输进度。

如果 SSH 使用非默认端口,例如 2222,可这样指定:

rsync -a --partial-dir=.rsync-partial --info=progress2 \
  -e 'ssh -p 2222' \
  /data/archive.tar user@192.0.2.10:/backup/

若传输中断,确认源文件未变化后,原样重新执行同一条命令。不要改动源文件名、目标路径或临时目录参数。rsync 会检查目标端已保留的部分文件,并继续传输尚未完成的数据。

也可以从远端拉取到本机:

rsync -a --partial-dir=.rsync-partial --info=progress2 \
  user@192.0.2.10:/backup/archive.tar /data/restore/

续传时同样应重新执行相同方向、相同路径的命令。推送和拉取的源与目标位置不同,操作前应特别确认冒号前后的主机和路径,避免把文件传向错误位置。

传输目录

传输目录时,源路径末尾的 / 会影响目标端的目录层级:

rsync -a --partial-dir=.rsync-partial --info=progress2 \
  /data/archive/ user@192.0.2.10:/backup/archive/

上例传输的是 /data/archive/ 中的内容。若写成 /data/archive,通常会把 archive 目录本身放到目标目录下。中断后续传时应保持这一写法不变。

如需处理文件名含空格的路径,建议将本机路径加引号;远端路径也应按远端 shell 的规则妥善引用。例如:

rsync -a --partial-dir=.rsync-partial \
  "/data/monthly archive.tar" \
  'user@192.0.2.10:/backup/monthly archive.tar'

不同 shell 对引号和空格的处理可能不同。执行前可先检查路径是否正确,并在首次传输时使用明确的目标目录,避免误把文件写到意外位置。

--partial 与 --partial-dir 的区别

两者都与保留未完成文件有关,但目标端的文件状态不同:

参数中断后的部分文件位置适用提示
--partial通常以目标文件名留在目标目录使用方可能把尚未传完的文件误当成完整文件
--partial-dir=.rsync-partial留在目标目录下的临时目录日常续传更容易区分未完成文件和正式文件

如果确实使用 --partial,应确认目标端不会有程序在传输期间读取该文件。对生产目录中的正式文件,优先采用单独的临时目录或暂存目录,传输完成并校验后再让业务使用。

--partial-dir 主要适合临时文件和目标端缓存。不要把临时目录当作备份:其中的内容可能因文件已完成、命令参数变化或人工清理而不再可用。

结果检查:先看文件,再核对内容

命令退出后,先确认 rsync 是否成功结束。退出码为 0 通常表示本次任务完成;非零退出码表示需要根据报错检查连接、权限、磁盘空间或文件变化等问题。仅看到进度达到 100% 不等于已经完成完整性验收。

结果检查:先看文件,再核对内容配图

核对文件大小

在源端和目标端分别查看字节数:

wc -c < /data/archive.tar
ssh user@192.0.2.10 'wc -c < /backup/archive.tar'

两端输出应一致。wc -c 显示的是字节数;文件大小一致只能作为初步检查,不能证明内容完全相同。

使用 SHA-256 核对内容

对重要文件,分别计算源文件和目标文件的 SHA-256:

sha256sum -- /data/archive.tar
ssh user@192.0.2.10 'sha256sum -- /backup/archive.tar'

比较两条输出中的哈希值:一致表示两端文件内容一致;不一致则不能验收,应检查源文件是否在传输期间发生变化、目标文件是否对应同一份数据,并重新传输或进一步排查。该方式需要读取两端完整文件,文件很大时会产生额外磁盘读取和处理时间,宜在业务允许的时段执行。

如果系统没有 sha256sum,先检查可用工具,例如 command -v sha256sum。不要因为某个命令不存在就直接假定其他工具的参数完全相同。

用 rsync 做内容比较

也可以使用校验和模式进行一次只读的差异检查:

rsync -acn --itemize-changes \
  /data/archive.tar user@192.0.2.10:/backup/

其中 -c 会按文件内容校验和比较,-n 表示仅演练、不实际传输。若有输出,说明 rsync 发现需要处理的差异;无输出通常表示按当前比较条件未发现差异。该检查会读取文件内容,可能耗费较多 I/O 和时间。rsync 的校验和比较适合检查传输差异,但对重要文件做独立验收时,仍可使用 SHA-256。

异常处理

中断后没有继续利用已有进度

先检查续传命令是否与第一次一致,尤其是源文件、目标路径、传输方向和 --partial-dir 的值。使用了不同的临时目录,或第一次没有保留部分文件,rsync 就可能找不到可利用的未完成数据。

如果第一次只用了普通 rsync -a,中断时目标端可能已删除未完成文件。此时重新执行完整命令即可,但可能需要重新传输较多数据。无法仅凭进度条恢复已经丢失的临时数据。

源文件在中断后发生变化

续传前确认源文件是否被重新生成、覆盖或修改。若源文件已变化,不要把旧的部分文件直接当作新文件的可靠续传基础。最稳妥的做法是使用新的目标文件名或暂存目录重新传输,并完成校验后再替换正式文件。

避免在业务正在写入的文件上做续传。若文件由程序持续生成,先通过应用自身的快照、导出或停写流程获得稳定副本,再传输该副本。

权限不足、空间不足或连接中断

依据错误信息检查目标目录和空间:

ssh user@192.0.2.10 'df -h /backup; ls -ld /backup'

如果提示权限不足,应确认远端登录账号对目标目录有写入权限。不要为了让命令通过而直接对整个目录递归放宽权限;权限调整会影响目录下其他文件,且可能破坏原有访问控制。需要变更时,应先记录原有权限,只调整目标目录所需的权限,并在操作后按记录恢复。

如果目标文件系统空间不足,先确认哪些文件可以清理以及清理范围;不要直接对目标目录执行批量删除。释放空间后重新运行同一条 rsync 命令,并再次做完整性检查。

何时考虑 --append-verify

--append-verify 可用于明确符合条件的追加型文件:目标端已有文件是源文件的正确前缀,文件内容只在末尾增加,且中断后源文件没有被改写。在这种场景下,它可以减少重新比较或传输已有部分的成本:

rsync -a --append-verify --info=progress2 \
  /data/growing.log user@192.0.2.10:/backup/

它不适合当作所有大文件续传的通用替代方案。如果源文件和目标端部分文件并非前缀关系,校验可能导致文件重新传输;若用了不安全的追加方式,错误内容还可能保留在目标文件中。普通大文件的日常续传优先使用 --partial-dir,只有能够确认追加型文件条件时才考虑此参数。

必要恢复:处理过期或不可信的部分文件

如果源文件已变更、目标端部分文件来源不明,或校验结果不一致,先暂停继续传输,并确认正式目标文件是否正在被业务使用。不要直接覆盖正在被读取的正式文件。

需要放弃某个目标目录中的续传缓存时,先确认 --partial-dir 的实际位置及其中包含的文件。以下示例会把指定目录改名为备份目录,影响范围仅限 /backup/.rsync-partial;执行前应确认目标路径无误且磁盘空间足以保留这份缓存:

ssh user@192.0.2.10 \
  'mv -- /backup/.rsync-partial /backup/.rsync-partial.saved'

改名后,rsync 将无法利用原缓存继续续传,但缓存仍保留,便于人工检查或恢复。确认不再需要后,再按运维流程清理。不要对不确定的路径使用递归删除命令,也不要把临时文件手动改名为正式目标文件;手工操作可能让不完整内容被业务误读。

如果正式文件已被错误覆盖,先停止后续写入和发布,依据已有备份或上游副本恢复;恢复后重新校验哈希,再开放给业务使用。没有可用副本时,不应把校验失败的文件标记为已完成。

上线或验收检查清单

  • 源文件在续传期间保持不变,源路径和目标路径已复核。
  • 续传命令保留了 --partial-dir,中断后使用相同参数重新执行。
  • rsync 正常退出,目标端文件大小与源端一致。
  • 重要文件已比较 SHA-256;大文件校验所需的 I/O 和处理时间已纳入安排。
  • 校验通过后,才将文件移入正式目录或交由业务读取。
  • 临时目录中的旧缓存已按保留策略处理,没有误删其他文件或覆盖正式数据。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9169.html

相关推荐