美国服务器备份任务如何配置执行周期、保留策略与失败告警?
在已经运行的美国 Linux 服务器上,备份任务不应只设置一个“每天执行”的定时器,而应分别处理数据库、应用文件和系统配置:数据库按照可接受的数据丢失时间执行小时级或更高频率备份,应用文件通常按天执行,配置与证书则随应用发布或按固定周期保存。
执行周期、保留策略和失败告警需要共同设计。周期决定 RPO(最多能接受丢失多少数据),保留策略决定可回溯到多久以前,告警机制则负责发现“任务没有执行”“执行失败但没人处理”和“备份存在但无法恢复”这三类问题。以下示例以已有 systemd、restic 和 PostgreSQL 环境为例,路径、标签和时间可以按现有系统调整。
现状与条件:先划清备份范围
配置前先确认现有服务器的系统时间、数据位置、备份目标和恢复要求。美国服务器不一定要使用美国本地时间执行任务,生产环境更适合统一使用 UTC,避免夏令时切换造成任务重复或漏跑。
timedatectl status
timedatectl show -p NTPSynchronized --value
systemctl is-system-running
command -v restic
command -v pg_dump
如果时间同步结果不是 yes,应先处理时间同步问题。备份快照的时间、日志时间和监控时间不一致,会增加恢复时的判断成本。
按数据类型确定范围
不要直接复制整个文件系统,也不要在数据库运行期间直接复制数据库数据目录。建议先建立一张与恢复用途对应的备份清单。
| 数据对象 | 推荐范围 | 一致性方式 | 参考周期 | 典型保留 |
|---|---|---|---|---|
| PostgreSQL、MySQL 等数据库 | 业务库、角色、存储过程、事件、关键扩展配置 | 使用数据库导出工具或原生日志归档 | 1小时或更短 | 小时级保留2天,日级保留14天以上 |
| 应用代码与上传文件 | /srv/app、上传目录、静态资源 | 应用低峰期执行,必要时短暂停写 | 每天1次;上传量大时每4至6小时 | 日级30天、周级8周 |
| 系统配置 | /etc 中与服务相关的配置、定时任务、证书 | 文件备份即可,敏感文件需控制权限 | 每天1次,发布前额外执行 | 日级14至30天 |
| 日志与缓存 | 按审计和故障定位需求选择 | 通常不作为完整恢复源 | 视需求而定 | 只保留必要周期 |
| 密钥与密码文件 | 密钥文件、应用凭据、数据库连接配置 | 加密存储,限制读取权限 | 变更后立即备份 | 与密钥轮换周期匹配 |
/proc、/sys、/run、缓存、临时文件和可重新生成的依赖包通常不纳入完整备份。数据库的原始数据目录也不应与普通文件混在一起复制,除非已经使用数据库或文件系统提供的一致性快照机制。
用 RPO 和 RTO反推周期
先回答两个问题:
- 服务器故障后,最多允许丢失多长时间的数据?
- 故障发生后,要求多长时间恢复服务?
例如,订单状态最多允许丢失1小时,那么数据库至少需要小时级备份;如果只能接受几分钟的数据丢失,单纯的每小时导出并不够,需要进一步配置 PostgreSQL WAL 或 MySQL binlog 归档,并验证日志链是否完整。
应用文件变化较少时,每日备份可能已经足够;如果上传文件每小时持续增加,仅做每日备份就会产生接近一天的数据丢失窗口。
还要估算执行窗口。以十进制单位计算,首次需要上传120 GB数据,出口带宽为200 Mbps,理论传输时间为:
120 × 8 × 1000 ÷ 200 = 4800秒,约80分钟
实际时间还会受到加密、压缩、磁盘读取、网络抖动和备份端处理速度影响。增量备份后,上传量通常低于首次全量,但不能直接把理论时间当成验收结果。
准备独立的备份目标
备份目标不应与源服务器使用同一块磁盘。更稳妥的边界包括:
备份任务的稳定执行离不开服务器本身的计算、存储与网络资源。A5数据提供美国物理服务器,涵盖常规Xeon、AMD EPYC等系列,并有CN2 GIA线路方案;部分AMD配置搭配较大内存与NVMe存储,可承载数据库、业务文件及多任务运行。香港、日本等地区也提供不同的服务器与存储方案,为跨区域业务的数据保存和备份目标部署提供资源选择。
- 使用独立的对象存储仓库或另一台备份服务器;
- 备份凭据与业务服务器登录凭据分离;
- 只给日常任务写入权限,删除和清理权限交给单独的维护任务;
- 对象存储启用版本保护、保留锁定或其他防误删措施时,先验证恢复流程;
- 备份仓库至少进行一次独立恢复测试,确认凭据、网络和工具版本均可用。
日常操作:配置数据库、文件和定时器
以下示例使用 restic 保存加密备份,仓库地址仅为示例。已有环境如果使用其他备份工具,可以沿用相同的范围、周期、标签和验收思路。
先准备一个权限为 600 的环境文件,不要把密码直接写进命令行或脚本参数中。
# /etc/restic/app.env
RESTIC_REPOSITORY=s3:https://object.example.com/backup/app-server
RESTIC_PASSWORD_FILE=/etc/restic/repo-password
AWS_ACCESS_KEY_ID=backup-writer
AWS_SECRET_ACCESS_KEY=replace-with-real-secret
ALERT_WEBHOOK_URL=https://alert.example.com/hooks/replace-with-real-token
PGDATABASE=appdb
PGHOST=/var/run/postgresql
PGUSER=backup
install -d -m 700 /etc/restic /var/backups/appdb
chmod 600 /etc/restic/app.env /etc/restic/repo-password
PGPASSWORD不建议放在环境文件中。可以使用数据库客户端的密码文件,并将权限限制为只有执行备份的账号可读。数据库账号至少应具备执行导出所需的权限,不要为了方便直接复用应用的超级用户。
使用脚本区分数据库任务和文件任务
下面的脚本通过参数区分 db 和 files 两类任务。脚本中的应用路径、数据库名和排除目录必须替换成当前环境真实路径。
数据库导出先写入临时文件,导出成功后再原子替换正式文件。这样可以避免 pg_dump 中途失败时覆盖上一份可用导出文件。
#!/usr/bin/env bash
# /usr/local/sbin/backup-dispatcher
set -Eeuo pipefail
umask 077
JOB="${1:-}"
if [[ "$JOB" != "db" && "$JOB" != "files" ]]; then
echo "usage: $0 {db|files}" >&2
exit 2
fi
source /etc/restic/app.env
HOST_NAME="$(hostname -s)"
STAMP="$(date -u +%Y%m%dT%H%M%SZ)"
DUMP_DIR="/var/backups/appdb"
DUMP_FILE="${DUMP_DIR}/app.dump"
TEMP_DUMP="${DUMP_FILE}.tmp"
LOCK_FILE="/run/lock/app-backup-${JOB}.lock"
mkdir -p "$DUMP_DIR"
exec 9>"$LOCK_FILE"
if ! flock -n 9; then
echo "another ${JOB} backup is running" >&2
exit 75
fi
alert() {
local message="$1"
if [[ -z "${ALERT_WEBHOOK_URL:-}" ]]; then
return 0
fi
if command -v jq >/dev/null 2>&1; then
local payload
payload="$(jq -n --arg text "$message" '{text: $text}')"
curl --fail --silent --show-error --max-time 15 \
-H 'Content-Type: application/json' \
--data "$payload" \
"$ALERT_WEBHOOK_URL" >/dev/null || true
else
echo "jq is not installed; alert was not sent" >&2
fi
}
on_error() {
local rc=$?
alert "backup failed: host=${HOST_NAME}, job=${JOB}, time=${STAMP}, rc=${rc}"
exit "$rc"
}
cleanup() {
if [[ -f "$TEMP_DUMP" ]]; then
rm -f -- "$TEMP_DUMP"
fi
}
trap on_error ERR
trap cleanup EXIT
case "$JOB" in
db)
/usr/bin/pg_dump \
--format=custom \
--file="$TEMP_DUMP" \
"$PGDATABASE"
mv -f -- "$TEMP_DUMP" "$DUMP_FILE"
/usr/bin/restic backup \
"$DUMP_FILE" \
--tag db-hourly \
--host "$HOST_NAME"
echo "database backup completed: ${STAMP}"
;;
files)
/usr/bin/restic backup \
/etc \
/srv/app \
"$DUMP_DIR" \
--exclude /srv/app/cache \
--exclude /srv/app/tmp \
--exclude /var/log \
--tag files-daily \
--host "$HOST_NAME"
echo "file backup completed: ${STAMP}"
;;
esac
脚本中的 rm -f 只用于清理脚本自己生成的临时导出文件,不能把变量改成未经确认的目录。正式上线前,应检查脚本权限,并确认执行账号确实能读取 /etc、应用目录和数据库导出所需的文件。
chmod 750 /usr/local/sbin/backup-dispatcher
chown root:root /usr/local/sbin/backup-dispatcher
PostgreSQL 的 pg_dump 可以生成事务一致的逻辑导出,但它不等于连续时间点恢复。数据库规模较大或 RPO 小于1小时,应增加 WAL 归档,并对“基础备份加 WAL”进行独立恢复测试。
如果现有环境是 MySQL,InnoDB 表可以参考以下方向,密码应通过客户端配置文件提供:
mysqldump \
--single-transaction \
--routines \
--events \
--triggers \
--databases appdb \
> /var/backups/appdb/app.sql
--single-transaction主要适用于事务型表。存在非事务型表、DDL频繁执行或跨库写入时,需要结合业务停写、锁表或数据库原生备份能力验证一致性,不能直接套用这个参数。
为两个周期创建 systemd 任务
数据库任务设置为每小时第10分钟执行,文件任务设置为每天02:30 UTC执行。RandomizedDelaySec用于避免大量服务器在同一秒同时发起备份;如果有严格的维护窗口,应根据实际情况调整。
# /etc/systemd/system/app-backup-db.service
[Unit]
Description=Application database backup
After=network-online.target
Wants=network-online.target
[Service]
Type=oneshot
User=root
EnvironmentFile=/etc/restic/app.env
ExecStart=/usr/local/sbin/backup-dispatcher db
# /etc/systemd/system/app-backup-db.timer
[Unit]
Description=Run application database backup hourly
[Timer]
OnCalendar=*-*-* *:10:00 UTC
RandomizedDelaySec=5m
Persistent=true
Unit=app-backup-db.service
[Install]
WantedBy=timers.target
# /etc/systemd/system/app-backup-files.service
[Unit]
Description=Application files backup
After=network-online.target
Wants=network-online.target
[Service]
Type=oneshot
User=root
EnvironmentFile=/etc/restic/app.env
ExecStart=/usr/local/sbin/backup-dispatcher files
# /etc/systemd/system/app-backup-files.timer
[Unit]
Description=Run application files backup daily
[Timer]
OnCalendar=*-*-* 02:30:00 UTC
RandomizedDelaySec=10m
Persistent=true
Unit=app-backup-files.service
[Install]
WantedBy=timers.target
应用配置发生变更、数据库结构升级或大批量导入前,可以手动触发一次对应任务:
systemctl daemon-reload
systemctl enable --now app-backup-db.timer app-backup-files.timer
systemd-analyze calendar '*-*-* *:10:00 UTC'
systemd-analyze calendar '*-*-* 02:30:00 UTC'
systemctl start app-backup-db.service
systemctl start app-backup-files.service
Persistent=true表示服务器关机期间错过任务后,服务恢复时会补执行一次,并不是把所有错过的小时任务逐个补齐。备份任务执行时间较长时,flock会阻止同一类型任务重叠运行;如果任务经常重叠,应减少备份范围、调整周期或增加备份窗口。
保留策略:让快照数量服从恢复需求
保留策略不能只写“保留30天”。需要同时说明小时、日、周和月级快照,否则清理后可能只剩最近几天,无法回溯到月初或发布前状态。
一个适合中小型应用的参考方案如下:
| 标签 | 周期 | 保留规则 | 适用目的 |
|---|---|---|---|
db-hourly | 每小时 | 小时级48份、日级14份、周级8份、月级12份 | 处理误删、程序错误和短期数据回退 |
files-daily | 每天 | 日级30份、周级12份、月级12份 | 恢复应用文件和配置历史 |
| 发布前快照 | 发布或迁移前 | 至少保留到验收完成 | 在变更失败时回退 |
先执行预览,确认标签、仓库地址和待删除快照都正确,再执行真正清理。
restic forget \
--tag db-hourly \
--keep-hourly 48 \
--keep-daily 14 \
--keep-weekly 8 \
--keep-monthly 12 \
--dry-run
确认输出无误后再执行清理:
restic forget \
--tag db-hourly \
--keep-hourly 48 \
--keep-daily 14 \
--keep-weekly 8 \
--keep-monthly 12 \
--prune
文件备份使用独立标签和独立策略:
restic forget \
--tag files-daily \
--keep-daily 30 \
--keep-weekly 12 \
--keep-monthly 12 \
--dry-run
--prune会删除不再被保留快照引用的数据块,属于有影响范围的清理操作。执行前必须确认 RESTIC_REPOSITORY没有指向测试仓库或错误项目,并保留预览输出。清理完成后,原仓库中被删除的快照通常不能通过同一仓库直接回滚,因此应在独立副本、对象存储版本保护或离线介质中保留一份恢复路径。
结果检查:不要只看任务是否退出
任务显示成功,只能说明命令返回了成功状态,不能证明快照可读或业务数据能够恢复。每次周期执行后应检查调度器、日志、快照和仓库状态。
检查调度与执行结果
systemctl list-timers --all | grep app-backup
systemctl status app-backup-db.service --no-pager
systemctl status app-backup-files.service --no-pager
journalctl -u app-backup-db.service -n 100 --no-pager
journalctl -u app-backup-files.service -n 100 --no-pager
重点确认以下结果:
NEXT时间符合预期,且使用的是UTC;LAST时间没有超过允许的RPO;- 服务结果为
status=0/SUCCESS; - 日志中没有认证失败、仓库锁、磁盘不足或超时;
- 数据库导出文件大小没有突然变为0或异常缩小。
检查快照和仓库
restic snapshots --tag db-hourly
restic snapshots --tag files-daily
restic check
restic check主要检查仓库结构。可以在低峰期定期读取部分数据进行校验,或者安排每周一次完整数据校验。校验任务不能与清理任务并发运行,避免增加网络和存储压力。
restic check --read-data-subset=1/20
恢复抽样比单纯查看快照更有价值。选择一个小文件恢复到临时目录,不要直接覆盖生产路径:
restore_dir="$(mktemp -d /var/tmp/backup-restore-check.XXXXXX)"
restic restore latest \
--target "$restore_dir" \
--include /etc/hostname \
--verify
test -s "$restore_dir/etc/hostname"
rm -rf -- "$restore_dir"
这里的删除仅针对刚刚创建的临时目录。执行前应确认变量内容,避免把清理命令指向生产目录。
异常处理:按现象定位,不直接重跑和清理
常见异常与处理方向
| 现象 | 常见原因 | 先做什么 | 不应直接做什么 |
|---|---|---|---|
| 定时器没有下一次执行时间 | 单元文件语法错误、未启用定时器、时间配置错误 | 查看 systemctl cat、systemctl list-timers、systemd-analyze calendar | 不要连续手工启动多个任务 |
pg_dump失败 | 权限不足、数据库不可连接、磁盘空间不足、DDL冲突 | 查看数据库连接、磁盘和导出账号权限 | 不要删除上一份可用导出 |
| 仓库认证失败 | 密钥过期、环境文件权限或仓库地址错误 | 核对 EnvironmentFile 和目标仓库 | 不要把密码打印到日志 |
| 上传超时或带宽打满 | 首次全量过大、网络抖动、窗口过短 | 查看任务耗时和增量大小,调整窗口 | 不要在失败后立即并发重试 |
| 仓库被锁定 | 上一任务异常中断或多个任务重叠 | 确认没有运行中的备份进程后再处理锁 | 不要未经确认直接执行强制解锁 |
| 任务成功但没有告警 | 告警地址错误、告警服务拒绝请求、脚本未捕获失败 | 手工测试告警通道并查看日志 | 不要把告警失败当成备份成功 |
| 仓库空间快速增长 | 保留周期过长、日志或缓存误纳入、清理未执行 | 查看快照范围和清理预览 | 不要直接删除仓库目录 |
如果只是网络短暂中断,可以在确认没有旧任务运行后手动重试;如果数据库导出失败,应先保留上一份成功导出,再处理权限、连接或锁冲突。不要为了让任务变成绿色状态而跳过一致性检查。
失败告警最好包含主机名、任务类型、UTC时间、退出码和简短错误摘要,但不要包含数据库密码、对象存储密钥、完整连接字符串或备份仓库密码。
此外,还需要处理“任务完全没有启动”的情况。脚本内部的失败告警无法覆盖服务器宕机、定时器被禁用或脚本被删除等问题,应由独立监控检查最近快照时间。例如:

- 数据库任务超过2个周期没有新快照,触发高优先级告警;
- 文件任务超过26小时没有新快照,触发告警;
- 仓库容量超过80%时预警,超过90%时升级;
- 连续两次
restic check失败时暂停清理任务,先保留现有快照。
必要恢复:先恢复到隔离位置,再替换生产数据
恢复操作涉及覆盖文件、导入数据库和服务停机,不能把测试恢复命令直接指向生产目录。正式恢复前至少保留当前配置和当前数据库的应急副本,并记录需要恢复的快照ID。
文件恢复
先列出可用快照,选择故障发生前的版本:
restic snapshots --tag files-daily
恢复到临时目录并验证内容:
restore_dir="$(mktemp -d /var/tmp/app-restore.XXXXXX)"
restic restore SNAPSHOT_ID \
--target "$restore_dir" \
--include /srv/app \
--verify
find "$restore_dir/srv/app" -maxdepth 2 -type f | head
确认文件版本、属主和权限后,再安排维护窗口替换生产目录。替换前应停止会写入这些文件的应用服务,并将当前生产目录改名或复制到独立位置作为回滚依据。直接使用 rsync 覆盖生产目录会修改或删除现有文件,属于高影响操作,必须先确认源目录、目标目录和排除规则。
PostgreSQL 数据库恢复
先将数据库导出文件恢复到隔离目录:
restore_dir="$(mktemp -d /var/tmp/db-restore.XXXXXX)"
restic restore DB_SNAPSHOT_ID \
--target "$restore_dir" \
--include /var/backups/appdb/app.dump \
--verify
ls -lh "$restore_dir/var/backups/appdb/app.dump"
然后恢复到独立的测试数据库,验证表数量、关键记录和应用读写逻辑:
createdb appdb_restore
pg_restore \
--exit-on-error \
--dbname=appdb_restore \
"$restore_dir/var/backups/appdb/app.dump"
不要在生产库上直接使用带有清理和覆盖效果的参数,例如未经审核的 --clean。如果必须回退生产数据库,应先停止应用写入、导出当前生产库、确认目标快照和变更窗口,再执行恢复。DROP DATABASE、删除表或覆盖生产数据都会造成现有数据不可逆丢失,必须有经过验证的当前备份和明确的回滚方案。
恢复验证至少包括:
- 数据库能够正常启动并连接;
- 关键表和关键时间点的数据存在;
- 应用能够完成登录、查询和一条非破坏性测试流程;
- 文件属主、权限和证书路径正确;
- 恢复耗时符合RTO;
- 恢复完成后重新启用定时备份,并确认新快照能够生成。
上线或验收检查清单
- [ ] 已确认数据库、应用文件、配置、证书和必要密钥的备份范围。
- [ ] 已排除缓存、临时目录和不应直接复制的数据库原始数据目录。
- [ ] 已确认服务器时间同步正常,定时器使用的时区明确。
- [ ] 数据库任务和文件任务使用不同周期,并配置了防重入锁。
- [ ] 备份目标不与源服务器共用同一故障域。
- [ ] 仓库密码、对象存储密钥和数据库凭据未写入命令行或普通日志。
- [ ] 已配置小时级、日级、周级和月级保留规则。
- [ ]
restic forget --dry-run输出已人工核对,清理任务未误指向其他仓库。 - [ ] 数据库、文件任务均能手工成功执行,并能在快照列表中看到对应标签。
- [ ] 已验证仓库结构,且至少恢复过一个文件。
- [ ] 已将数据库导出恢复到隔离数据库,并检查关键业务数据。
- [ ] 失败告警能够收到,告警内容不包含敏感凭据。
- [ ] 已配置“没有新快照”的外部监控,而不是只依赖脚本失败告警。
- [ ] 已记录文件恢复、数据库恢复和整机恢复的操作步骤、负责人及回滚路径。
- [ ] 已安排定期恢复演练,并在每次演练后更新RPO、RTO和备份周期。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4277.html