Restic仓库被锁定无法备份怎么办?如何判断锁是否仍被任务持有
Restic 报告“仓库已被锁定”时,先不要直接删除 locks 目录中的文件。这个提示可能表示另一个备份、清理或检查任务仍在运行,也可能只是上一次任务异常退出后留下了过期锁。两种情况的处理方向完全不同:前者需要等待或终止实际任务,后者才适合使用 restic unlock 清理。
判断锁是否仍被任务持有,不能只看锁的创建时间。应同时核对三类信息:restic list locks 显示的锁元数据、锁所属主机上的 Restic 进程,以及实际调度配置是否仍会启动另一个任务。只有确认没有任何任务正在访问该仓库,才可以清理锁并验证恢复。

先确认确实是仓库锁问题
先在与备份任务相同的用户、环境变量和软件版本下执行检查。不要只在当前登录会话中临时设置一套可能不同的仓库路径。
restic version
printf 'repository=%s\n' "$RESTIC_REPOSITORY"
printf 'password_file=%s\n' "$RESTIC_PASSWORD_FILE"
restic list locks
如果服务器没有使用环境变量,也可以显式指定仓库路径,但密码不建议直接写在命令行中,以免进入 Shell 历史记录:
restic -r /srv/restic/repository list locks
常见的锁相关报错可能类似于:
Fatal: repository is already locked by PID 18420 on backup-node-01
或者:
Fatal: unable to create lock in repository
第一类通常可以继续调查锁的拥有者;第二类不一定是“已有任务占用”,也可能是仓库不可写、远程后端连接失败、权限不足或磁盘空间耗尽。
可以先按下面的关系判断:
| 观察结果 | 更可能的原因 | 下一步 |
|---|---|---|
list locks 能列出锁,且对应主机上有匹配的 Restic 进程 | 任务仍在运行 | 检查任务进度、资源和日志,不要解锁 |
| 锁时间较早,但对应主机仍有同一仓库任务 | 长时间运行任务,或任务卡在 I/O、网络、密码输入 | 先判断任务是否仍有进展 |
| 锁时间较早,所属主机没有对应进程,调度器也没有正在启动任务 | 异常退出后的过期锁 | 暂停调度后使用 restic unlock |
| 检查的仓库没有锁,但原任务仍报锁定 | 检查的仓库路径、账号或环境与任务实际使用的不一致 | 回到服务配置和启动参数核对 |
list locks 本身无法访问仓库 | 网络、挂载、权限、认证或后端故障 | 先处理仓库访问问题,不能据此判断锁状态 |
list locks 的输出格式会随 Restic 版本变化。有些版本会显示锁 ID、创建时间、主机名和进程信息,有些字段可能不完整。锁文件中的时间通常是创建时间,而不是持续更新的心跳,因此“时间很旧”只能作为线索,不能单独证明任务已经结束。
建立原因树:锁问题通常来自四个层级
网络或仓库存储层
如果仓库位于本地磁盘、挂载目录、SFTP、对象存储或其他远程后端,先确认命令访问的是同一个仓库,并且仓库当前可读写。
本地目录可以检查路径、挂载和空间:
realpath "$RESTIC_REPOSITORY"
findmnt -T "$RESTIC_REPOSITORY"
df -h "$RESTIC_REPOSITORY"
df -i "$RESTIC_REPOSITORY"
这些检查分别用于判断:
realpath是否解析到了预期目录,避免软链接或相对路径指向了另一份仓库;findmnt是否显示了预期的文件系统,避免挂载未恢复时实际访问了空目录;df -h是否有足够容量;df -i是否耗尽 inode。小文件较多的仓库可能先耗尽 inode,而不是容量。
如果仓库在远程后端,先看原始报错属于哪一类:
- DNS 解析失败、连接超时、TLS 错误:优先检查网络路径、端点和证书;
- 认证失败或权限拒绝:检查服务使用的密钥、账号和权限;
- 已经成功读取仓库并明确返回“already locked”:网络通常不是当前锁判断的第一根因,但此前的网络中断可能造成了遗留锁。
远程仓库尤其要注意:当前服务器能访问,并不代表产生锁的另一台服务器也能访问。锁属于仓库,不属于某个本地目录;只要多个主机指向同一个仓库,就必须调查所有可能的任务来源。

对于需要由多台主机共同执行备份任务的场景,A5数据提供中国香港、日本、美国等地区的物理服务器资源,并覆盖常规计算、存储型配置及不同网络线路。香港存储系列配备企业级大容量机械硬盘,日本部分方案提供多块HDD或SSD,可为Restic仓库所在的备份、归档与持续访问环境提供相应的硬件和地域部署基础。
操作系统与进程层
在报错主机上搜索 Restic 进程:
pgrep -af restic
ps -eo user,pid,ppid,lstart,etime,args | grep '[r]estic'
重点核对以下字段:
- 进程 PID 是否与锁信息一致;
- 启动时间是否早于锁创建时间;
- 命令行中的仓库路径是否一致;
- 当前执行的是
backup、prune、check、forget还是其他操作; - 进程运行时间是否已经超过该服务器平时的备份时长。
PID 不能单独作为证据。进程结束后,操作系统可能重新分配相同的 PID;容器内 PID 与宿主机 PID 也可能不同。因此,如果锁记录的是容器内 PID,应进入对应容器或查看容器运行时信息,不能直接用宿主机的同一个数字判断。
对于本地文件系统,可以把打开文件信息作为辅助证据:
sudo lsof +D "$RESTIC_REPOSITORY/locks"
但没有 lsof 记录并不等于没有活动任务。Restic 可能创建锁文件后并不持续保持该文件描述符打开,尤其是远程仓库场景,所以这个命令只能辅助判断,不能替代进程和调度检查。
服务与调度层
服务器上经常存在多个调度来源:系统级 Cron、用户 Cron、systemd timer、控制面板计划任务、容器定时任务或自定义守护脚本。两个任务即使名称不同,只要最终使用同一个 RESTIC_REPOSITORY,就可能互相争抢仓库锁。
先查看 systemd 相关单元:
systemctl list-timers --all | grep -Ei 'restic|backup'
systemctl list-units --type=service --all | grep -Ei 'restic|backup'
找到实际单元名后,再查看服务和定时器配置:
systemctl cat <backup-service>.service
systemctl cat <backup-service>.timer
systemctl show <backup-service>.service -p ExecStart -p EnvironmentFiles
重点检查:
ExecStart是否指向预期的 Restic 二进制和脚本;EnvironmentFile是否与手动执行时使用的文件一致;- 服务运行用户是否有权访问密码文件、数据目录和仓库;
- timer 是否可能在上一次任务未结束时再次触发;
- 是否存在多个 service 使用同一仓库但不同脚本参数。
Cron 任务则分别检查当前用户和系统用户:
crontab -l
sudo crontab -l
sudo grep -Rni --include='*' 'restic' /etc/cron.d /etc/cron.daily /etc/cron.hourly 2>/dev/null
如果任务由面板或容器启动,还要在对应位置核对任务配置。不要只检查当前宿主机的 Cron,因为面板计划任务和容器内部的 Cron 可能完全不出现在宿主机列表中。
Restic 应用层
Restic 任务本身也可能长时间持有锁,常见场景包括:
- 大量小文件导致备份时间远超平时;
prune、forget --prune或check正在执行;- 仓库后端响应缓慢,进程仍在等待 I/O;
- 服务环境中密码文件不可读,任务停在等待认证或重试阶段;
- 任务被终止后,仓库留下了过期锁;
- 同一个仓库同时运行备份、清理和检查任务。
查询服务日志时,使用与实际服务名对应的单元:
journalctl -u <backup-service>.service --since "2 hours ago" --no-pager
也可以结合进程的运行时间查看任务是否仍在推进。下面的日志只是判断格式的示例,不代表任何特定服务器的实际输出:
2025-03-08T02:00:01 backup started
2025-03-08T02:00:04 repository locked
2025-03-08T02:47:12 uploading pack files
2025-03-08T03:10:22 backup finished
如果日志显示任务仍在上传、扫描或校验,锁是正常的;如果长时间只有重试、超时或等待输出,则应先处理后端和资源问题,而不是直接移除锁。
如何判断锁仍被任务持有
可以按照“锁信息—进程—调度—主机连通性”的顺序核对。
第一步:记录锁信息
restic list locks
记录以下内容:
- 锁 ID;
- 创建时间;
- 主机名;
- PID、用户或其他版本提供的标识;
- 使用的仓库地址和执行身份。
如果命令输出中没有 PID,也不要自行猜测锁文件内容的字段含义。优先使用 Restic 命令提供的信息,并用进程列表和日志做交叉验证。
第二步:到锁所属主机核对进程
如果锁显示的主机名不是当前服务器,应登录该主机,或通过已有的运维通道执行:
hostname
pgrep -af restic
ps -eo user,pid,lstart,etime,args | grep '[r]estic'
将锁中的主机名、PID、启动时间和仓库路径放在一起比较。下面几种结果的含义不同:
- 主机和 PID 都匹配,命令行也使用同一仓库:基本可视为活动任务;
- 主机匹配但 PID 不存在:可能是任务已退出,也可能是锁信息来自旧版本或容器命名空间,需要继续查日志和调度器;
- PID 存在但命令行不是 Restic,或使用的是另一仓库:不能把这个 PID 当成锁的拥有者;
- 主机无法访问:状态未知,不应直接解锁;
- 主机名看起来异常或无法解析:先检查主机名、DNS、时钟和任务配置,不能仅凭异常字符串判断锁无效。
可以同时查看时间同步状态:
date -Is
timedatectl status
多台服务器时钟偏差会让锁时间看起来“来自未来”或比实际任务早很多。时间异常会干扰判断,也可能影响任务日志排序。
第三步:确认调度器不会立即重新创建锁
即使当前没有 Restic 进程,计划任务也可能在几十秒后再次启动。处理前先暂停对应的触发源,例如在维护窗口中停止 timer:
sudo systemctl stop <backup-service>.timer
这只针对确认过名称的 timer。它会阻止后续触发,但不一定会停止已经运行的 service,因此仍要检查:
systemctl is-active <backup-service>.service
pgrep -af restic
如果是 Cron、面板或容器任务,应在对应系统中暂停,而不是只停止 systemd timer。暂停是临时措施,完成恢复验证后再恢复:
sudo systemctl start <backup-service>.timer
如果锁来自另一台服务器,必须在那台服务器上确认任务已经结束。只暂停当前服务器的任务,不能消除跨主机并发。
根据判断结果选择处理方式
结果一:确认任务仍在运行
不要执行 restic unlock。先检查:
ps -p <PID> -o pid,lstart,etime,stat,%cpu,%mem,args
结合日志和磁盘、网络状态判断任务是否在推进。一个运行时间较长的 prune 或大规模备份不一定异常。
如果任务确实卡死,需要先确认影响范围:
- 停止任务会中断当前备份或清理;
- 中断后可能仍需再次检查仓库;
- 不要对不确定的 PID 直接发送强制终止信号;
- 先停止调度器,避免任务被自动重启;
- 优先使用服务管理器的正常停止方式,并等待进程退出。
如果进程退出后仍有锁,再重新执行 restic list locks,确认锁状态已变化。
结果二:确认没有任务,但锁疑似过期
先保存检查结果,至少记录仓库路径、锁列表、服务配置位置和相关日志:
restic list locks
restic version
确认所有相关主机、容器和调度器都不会继续访问仓库后,使用 Restic 自带命令清理:
restic unlock
清理后再次检查:
restic list locks
如果没有锁输出,或输出显示不存在可清理的过期锁,说明锁元数据层面已经恢复。不同 Restic 版本对过期锁的判断和命令选项可能不同,应先查看本机帮助:
restic unlock --help
restic list locks --help
某些版本提供强制移除全部锁的选项。只有在已确认所有任务停止、所有主机不会访问该仓库,并且确实需要处理非过期锁时,才考虑使用该选项。不要把“命令能执行”当成“可以安全执行”。
restic unlock 的目标是移除锁元数据,不是删除快照或备份数据;但如果仍有活动任务,移除锁会允许其他任务并发写入,反而增加仓库一致性风险。因此不要使用下面这种方式绕过判断:
rm -f /path/to/repository/locks/*
直接删除锁文件会绕过 Restic 的版本兼容和状态判断,也无法区分活动锁与遗留锁。即使仓库位于本地目录,也不建议用文件删除替代 restic unlock。
结果三:锁检查正常,但任务仍然报错
这通常说明检查命令和实际任务的运行环境不一致。重点核对:
systemctl cat <backup-service>.service
systemctl show <backup-service>.service -p ExecStart -p EnvironmentFiles
以及服务实际运行用户、仓库路径和密码文件。常见差异包括:

- 手动执行使用
/srv/restic/repo,服务使用了另一条挂载路径; - 当前 Shell 设置了
RESTIC_REPOSITORY,systemd 服务没有设置; - 服务运行在容器内,容器中的路径与宿主机路径不同;
- 手动检查使用管理员账号,服务使用普通账号;
- 多份配置文件分别指向不同仓库;
- 脚本中对仓库地址进行了拼接或覆盖。
可以让服务使用与人工检查相同的配置来源,但不要把密码明文写进 unit、Cron 命令或脚本参数。修改服务配置后,应先执行配置重载,再检查实际生效的 ExecStart 和环境文件路径。
恢复后的验证顺序
清理过期锁后,不要马上恢复所有并发任务。建议按低风险到高风险的顺序验证。

1. 再次确认锁状态
restic list locks
此时不应有仍在运行任务对应的锁。
2. 执行仓库基本检查
restic check
restic check 可能耗时较长,运行期间也可能需要访问仓库。确认没有其他备份、清理或检查任务后再执行。需要读取全部数据内容时,可以根据维护窗口和仓库规模考虑更重的完整检查,但不应在业务高峰期盲目启动。
3. 执行一次小范围备份验证
先选择一个可控的数据目录,确认命令使用的是服务实际使用的仓库和凭据:
restic backup /path/to/test-data
备份结束后查看快照:
restic snapshots
应同时确认:
- 命令退出码为成功;
- 新快照的时间、主机和路径符合预期;
restic list locks没有遗留异常锁;- 服务日志没有持续出现认证、写入或网络错误。
4. 恢复调度并观察下一次任务
恢复 timer、Cron、面板或容器任务时,一次只恢复一个触发源。观察下一次执行是否只产生一个 Restic 进程,避免多个重复任务同时启动。
如果本机有多个任务需要使用同一仓库,可以在调度脚本外层增加本机互斥。例如,以下示例只用于防止同一服务器上的重复启动,不能替代跨主机的仓库锁:
/usr/bin/flock -n /run/lock/restic-backup.lock \
/usr/bin/restic backup /data
使用前要确认服务运行用户对 /run/lock/restic-backup.lock 的目录有适当权限,并为不同仓库使用不同锁文件。flock 只能解决同一操作系统内的重复调度;如果还有其他服务器访问同一仓库,仍需依靠 Restic 仓库锁和统一调度管理。
防止锁问题再次出现
恢复后应持续关注以下指标,而不是只在报错时手动解锁:
- 每次任务的开始时间、结束时间和退出码;
- 同一仓库同时运行的 Restic 进程数量;
- 锁的创建时间、所属主机和持续时间;
- 备份、清理、检查任务是否发生时间重叠;
- 远程后端的超时、认证失败和连接重试;
- 本地文件系统容量、inode、挂载状态和时间同步;
- 服务实际生效的仓库路径与密码文件配置。
锁持续时间应以该服务器历史任务时长为基准。例如,若正常备份大多在20至40分钟内结束,可以将“明显高于历史常态”的持续时间设为告警条件,而不是机械使用一个适用于所有仓库的固定分钟数。清理任务和完整检查通常比普通备份更久,应分别设置判断阈值。
最重要的监控分支是:锁存在时,能否找到仍在运行且指向同一仓库的任务。能找到,就按活动任务处理;找不到,则继续核对主机、调度器、容器和配置环境,确认无人访问后再清理。这样可以避免把正常任务误判为死锁,也能减少异常退出后锁长期阻塞备份的情况。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5377.html
