美国服务器备份任务如何配置执行周期、保留策略与失败告警?

发布人:A5数据发布时间:2026-10-17 15:54阅读量:107

在已经运行的美国 Linux 服务器上,备份任务不应只设置一个“每天执行”的定时器,而应分别处理数据库、应用文件和系统配置:数据库按照可接受的数据丢失时间执行小时级或更高频率备份,应用文件通常按天执行,配置与证书则随应用发布或按固定周期保存。

执行周期、保留策略和失败告警需要共同设计。周期决定 RPO(最多能接受丢失多少数据),保留策略决定可回溯到多久以前,告警机制则负责发现“任务没有执行”“执行失败但没人处理”和“备份存在但无法恢复”这三类问题。以下示例以已有 systemd、restic 和 PostgreSQL 环境为例,路径、标签和时间可以按现有系统调整。

现状与条件:先划清备份范围

配置前先确认现有服务器的系统时间、数据位置、备份目标和恢复要求。美国服务器不一定要使用美国本地时间执行任务,生产环境更适合统一使用 UTC,避免夏令时切换造成任务重复或漏跑。

timedatectl status
timedatectl show -p NTPSynchronized --value
systemctl is-system-running
command -v restic
command -v pg_dump

如果时间同步结果不是 yes,应先处理时间同步问题。备份快照的时间、日志时间和监控时间不一致,会增加恢复时的判断成本。

按数据类型确定范围

不要直接复制整个文件系统,也不要在数据库运行期间直接复制数据库数据目录。建议先建立一张与恢复用途对应的备份清单。

数据对象推荐范围一致性方式参考周期典型保留
PostgreSQL、MySQL 等数据库业务库、角色、存储过程、事件、关键扩展配置使用数据库导出工具或原生日志归档1小时或更短小时级保留2天,日级保留14天以上
应用代码与上传文件/srv/app、上传目录、静态资源应用低峰期执行,必要时短暂停写每天1次;上传量大时每4至6小时日级30天、周级8周
系统配置/etc 中与服务相关的配置、定时任务、证书文件备份即可,敏感文件需控制权限每天1次,发布前额外执行日级14至30天
日志与缓存按审计和故障定位需求选择通常不作为完整恢复源视需求而定只保留必要周期
密钥与密码文件密钥文件、应用凭据、数据库连接配置加密存储,限制读取权限变更后立即备份与密钥轮换周期匹配

/proc、/sys、/run、缓存、临时文件和可重新生成的依赖包通常不纳入完整备份。数据库的原始数据目录也不应与普通文件混在一起复制,除非已经使用数据库或文件系统提供的一致性快照机制。

用 RPO 和 RTO反推周期

先回答两个问题:

  • 服务器故障后,最多允许丢失多长时间的数据?
  • 故障发生后,要求多长时间恢复服务?

例如,订单状态最多允许丢失1小时,那么数据库至少需要小时级备份;如果只能接受几分钟的数据丢失,单纯的每小时导出并不够,需要进一步配置 PostgreSQL WAL 或 MySQL binlog 归档,并验证日志链是否完整。

应用文件变化较少时,每日备份可能已经足够;如果上传文件每小时持续增加,仅做每日备份就会产生接近一天的数据丢失窗口。

还要估算执行窗口。以十进制单位计算,首次需要上传120 GB数据,出口带宽为200 Mbps,理论传输时间为:

120 × 8 × 1000 ÷ 200 = 4800秒,约80分钟

实际时间还会受到加密、压缩、磁盘读取、网络抖动和备份端处理速度影响。增量备份后,上传量通常低于首次全量,但不能直接把理论时间当成验收结果。

准备独立的备份目标

备份目标不应与源服务器使用同一块磁盘。更稳妥的边界包括:

备份任务的稳定执行离不开服务器本身的计算、存储与网络资源。A5数据提供美国物理服务器,涵盖常规Xeon、AMD EPYC等系列,并有CN2 GIA线路方案;部分AMD配置搭配较大内存与NVMe存储,可承载数据库、业务文件及多任务运行。香港、日本等地区也提供不同的服务器与存储方案,为跨区域业务的数据保存和备份目标部署提供资源选择。

  • 使用独立的对象存储仓库或另一台备份服务器;
  • 备份凭据与业务服务器登录凭据分离;
  • 只给日常任务写入权限,删除和清理权限交给单独的维护任务;
  • 对象存储启用版本保护、保留锁定或其他防误删措施时,先验证恢复流程;
  • 备份仓库至少进行一次独立恢复测试,确认凭据、网络和工具版本均可用。

日常操作:配置数据库、文件和定时器

以下示例使用 restic 保存加密备份,仓库地址仅为示例。已有环境如果使用其他备份工具,可以沿用相同的范围、周期、标签和验收思路。

先准备一个权限为 600 的环境文件,不要把密码直接写进命令行或脚本参数中。

# /etc/restic/app.env
RESTIC_REPOSITORY=s3:https://object.example.com/backup/app-server
RESTIC_PASSWORD_FILE=/etc/restic/repo-password
AWS_ACCESS_KEY_ID=backup-writer
AWS_SECRET_ACCESS_KEY=replace-with-real-secret
ALERT_WEBHOOK_URL=https://alert.example.com/hooks/replace-with-real-token
PGDATABASE=appdb
PGHOST=/var/run/postgresql
PGUSER=backup
install -d -m 700 /etc/restic /var/backups/appdb
chmod 600 /etc/restic/app.env /etc/restic/repo-password

PGPASSWORD不建议放在环境文件中。可以使用数据库客户端的密码文件,并将权限限制为只有执行备份的账号可读。数据库账号至少应具备执行导出所需的权限,不要为了方便直接复用应用的超级用户。

使用脚本区分数据库任务和文件任务

下面的脚本通过参数区分 db 和 files 两类任务。脚本中的应用路径、数据库名和排除目录必须替换成当前环境真实路径。

数据库导出先写入临时文件,导出成功后再原子替换正式文件。这样可以避免 pg_dump 中途失败时覆盖上一份可用导出文件。

#!/usr/bin/env bash
# /usr/local/sbin/backup-dispatcher

set -Eeuo pipefail
umask 077

JOB="${1:-}"
if [[ "$JOB" != "db" && "$JOB" != "files" ]]; then
    echo "usage: $0 {db|files}" >&2
    exit 2
fi

source /etc/restic/app.env

HOST_NAME="$(hostname -s)"
STAMP="$(date -u +%Y%m%dT%H%M%SZ)"
DUMP_DIR="/var/backups/appdb"
DUMP_FILE="${DUMP_DIR}/app.dump"
TEMP_DUMP="${DUMP_FILE}.tmp"
LOCK_FILE="/run/lock/app-backup-${JOB}.lock"

mkdir -p "$DUMP_DIR"
exec 9>"$LOCK_FILE"

if ! flock -n 9; then
    echo "another ${JOB} backup is running" >&2
    exit 75
fi

alert() {
    local message="$1"
    if [[ -z "${ALERT_WEBHOOK_URL:-}" ]]; then
        return 0
    fi

    if command -v jq >/dev/null 2>&1; then
        local payload
        payload="$(jq -n --arg text "$message" '{text: $text}')"
        curl --fail --silent --show-error --max-time 15 \
            -H 'Content-Type: application/json' \
            --data "$payload" \
            "$ALERT_WEBHOOK_URL" >/dev/null || true
    else
        echo "jq is not installed; alert was not sent" >&2
    fi
}

on_error() {
    local rc=$?
    alert "backup failed: host=${HOST_NAME}, job=${JOB}, time=${STAMP}, rc=${rc}"
    exit "$rc"
}

cleanup() {
    if [[ -f "$TEMP_DUMP" ]]; then
        rm -f -- "$TEMP_DUMP"
    fi
}

trap on_error ERR
trap cleanup EXIT

case "$JOB" in
    db)
        /usr/bin/pg_dump \
            --format=custom \
            --file="$TEMP_DUMP" \
            "$PGDATABASE"

        mv -f -- "$TEMP_DUMP" "$DUMP_FILE"

        /usr/bin/restic backup \
            "$DUMP_FILE" \
            --tag db-hourly \
            --host "$HOST_NAME"

        echo "database backup completed: ${STAMP}"
        ;;

    files)
        /usr/bin/restic backup \
            /etc \
            /srv/app \
            "$DUMP_DIR" \
            --exclude /srv/app/cache \
            --exclude /srv/app/tmp \
            --exclude /var/log \
            --tag files-daily \
            --host "$HOST_NAME"

        echo "file backup completed: ${STAMP}"
        ;;
esac

脚本中的 rm -f 只用于清理脚本自己生成的临时导出文件,不能把变量改成未经确认的目录。正式上线前,应检查脚本权限,并确认执行账号确实能读取 /etc、应用目录和数据库导出所需的文件。

chmod 750 /usr/local/sbin/backup-dispatcher
chown root:root /usr/local/sbin/backup-dispatcher

PostgreSQL 的 pg_dump 可以生成事务一致的逻辑导出,但它不等于连续时间点恢复。数据库规模较大或 RPO 小于1小时,应增加 WAL 归档,并对“基础备份加 WAL”进行独立恢复测试。

如果现有环境是 MySQL,InnoDB 表可以参考以下方向,密码应通过客户端配置文件提供:

mysqldump \
  --single-transaction \
  --routines \
  --events \
  --triggers \
  --databases appdb \
  > /var/backups/appdb/app.sql

--single-transaction主要适用于事务型表。存在非事务型表、DDL频繁执行或跨库写入时,需要结合业务停写、锁表或数据库原生备份能力验证一致性,不能直接套用这个参数。

为两个周期创建 systemd 任务

数据库任务设置为每小时第10分钟执行,文件任务设置为每天02:30 UTC执行。RandomizedDelaySec用于避免大量服务器在同一秒同时发起备份;如果有严格的维护窗口,应根据实际情况调整。

# /etc/systemd/system/app-backup-db.service
[Unit]
Description=Application database backup
After=network-online.target
Wants=network-online.target

[Service]
Type=oneshot
User=root
EnvironmentFile=/etc/restic/app.env
ExecStart=/usr/local/sbin/backup-dispatcher db
# /etc/systemd/system/app-backup-db.timer
[Unit]
Description=Run application database backup hourly

[Timer]
OnCalendar=*-*-* *:10:00 UTC
RandomizedDelaySec=5m
Persistent=true
Unit=app-backup-db.service

[Install]
WantedBy=timers.target
# /etc/systemd/system/app-backup-files.service
[Unit]
Description=Application files backup
After=network-online.target
Wants=network-online.target

[Service]
Type=oneshot
User=root
EnvironmentFile=/etc/restic/app.env
ExecStart=/usr/local/sbin/backup-dispatcher files
# /etc/systemd/system/app-backup-files.timer
[Unit]
Description=Run application files backup daily

[Timer]
OnCalendar=*-*-* 02:30:00 UTC
RandomizedDelaySec=10m
Persistent=true
Unit=app-backup-files.service

[Install]
WantedBy=timers.target

应用配置发生变更、数据库结构升级或大批量导入前,可以手动触发一次对应任务:

systemctl daemon-reload
systemctl enable --now app-backup-db.timer app-backup-files.timer

systemd-analyze calendar '*-*-* *:10:00 UTC'
systemd-analyze calendar '*-*-* 02:30:00 UTC'

systemctl start app-backup-db.service
systemctl start app-backup-files.service

Persistent=true表示服务器关机期间错过任务后,服务恢复时会补执行一次,并不是把所有错过的小时任务逐个补齐。备份任务执行时间较长时,flock会阻止同一类型任务重叠运行;如果任务经常重叠,应减少备份范围、调整周期或增加备份窗口。

保留策略:让快照数量服从恢复需求

保留策略不能只写“保留30天”。需要同时说明小时、日、周和月级快照,否则清理后可能只剩最近几天,无法回溯到月初或发布前状态。

一个适合中小型应用的参考方案如下:

标签周期保留规则适用目的
db-hourly每小时小时级48份、日级14份、周级8份、月级12份处理误删、程序错误和短期数据回退
files-daily每天日级30份、周级12份、月级12份恢复应用文件和配置历史
发布前快照发布或迁移前至少保留到验收完成在变更失败时回退

先执行预览,确认标签、仓库地址和待删除快照都正确,再执行真正清理。

restic forget \
  --tag db-hourly \
  --keep-hourly 48 \
  --keep-daily 14 \
  --keep-weekly 8 \
  --keep-monthly 12 \
  --dry-run

确认输出无误后再执行清理:

restic forget \
  --tag db-hourly \
  --keep-hourly 48 \
  --keep-daily 14 \
  --keep-weekly 8 \
  --keep-monthly 12 \
  --prune

文件备份使用独立标签和独立策略:

restic forget \
  --tag files-daily \
  --keep-daily 30 \
  --keep-weekly 12 \
  --keep-monthly 12 \
  --dry-run

--prune会删除不再被保留快照引用的数据块,属于有影响范围的清理操作。执行前必须确认 RESTIC_REPOSITORY没有指向测试仓库或错误项目,并保留预览输出。清理完成后,原仓库中被删除的快照通常不能通过同一仓库直接回滚,因此应在独立副本、对象存储版本保护或离线介质中保留一份恢复路径。

结果检查:不要只看任务是否退出

任务显示成功,只能说明命令返回了成功状态,不能证明快照可读或业务数据能够恢复。每次周期执行后应检查调度器、日志、快照和仓库状态。

检查调度与执行结果

systemctl list-timers --all | grep app-backup
systemctl status app-backup-db.service --no-pager
systemctl status app-backup-files.service --no-pager

journalctl -u app-backup-db.service -n 100 --no-pager
journalctl -u app-backup-files.service -n 100 --no-pager

重点确认以下结果:

  • NEXT时间符合预期,且使用的是UTC;
  • LAST时间没有超过允许的RPO;
  • 服务结果为 status=0/SUCCESS;
  • 日志中没有认证失败、仓库锁、磁盘不足或超时;
  • 数据库导出文件大小没有突然变为0或异常缩小。

检查快照和仓库

restic snapshots --tag db-hourly
restic snapshots --tag files-daily
restic check

restic check主要检查仓库结构。可以在低峰期定期读取部分数据进行校验,或者安排每周一次完整数据校验。校验任务不能与清理任务并发运行,避免增加网络和存储压力。

restic check --read-data-subset=1/20

恢复抽样比单纯查看快照更有价值。选择一个小文件恢复到临时目录,不要直接覆盖生产路径:

restore_dir="$(mktemp -d /var/tmp/backup-restore-check.XXXXXX)"

restic restore latest \
  --target "$restore_dir" \
  --include /etc/hostname \
  --verify

test -s "$restore_dir/etc/hostname"
rm -rf -- "$restore_dir"

这里的删除仅针对刚刚创建的临时目录。执行前应确认变量内容,避免把清理命令指向生产目录。

异常处理:按现象定位,不直接重跑和清理

常见异常与处理方向

现象常见原因先做什么不应直接做什么
定时器没有下一次执行时间单元文件语法错误、未启用定时器、时间配置错误查看 systemctl cat、systemctl list-timers、systemd-analyze calendar不要连续手工启动多个任务
pg_dump失败权限不足、数据库不可连接、磁盘空间不足、DDL冲突查看数据库连接、磁盘和导出账号权限不要删除上一份可用导出
仓库认证失败密钥过期、环境文件权限或仓库地址错误核对 EnvironmentFile 和目标仓库不要把密码打印到日志
上传超时或带宽打满首次全量过大、网络抖动、窗口过短查看任务耗时和增量大小,调整窗口不要在失败后立即并发重试
仓库被锁定上一任务异常中断或多个任务重叠确认没有运行中的备份进程后再处理锁不要未经确认直接执行强制解锁
任务成功但没有告警告警地址错误、告警服务拒绝请求、脚本未捕获失败手工测试告警通道并查看日志不要把告警失败当成备份成功
仓库空间快速增长保留周期过长、日志或缓存误纳入、清理未执行查看快照范围和清理预览不要直接删除仓库目录

如果只是网络短暂中断,可以在确认没有旧任务运行后手动重试;如果数据库导出失败,应先保留上一份成功导出,再处理权限、连接或锁冲突。不要为了让任务变成绿色状态而跳过一致性检查。

失败告警最好包含主机名、任务类型、UTC时间、退出码和简短错误摘要,但不要包含数据库密码、对象存储密钥、完整连接字符串或备份仓库密码。

此外,还需要处理“任务完全没有启动”的情况。脚本内部的失败告警无法覆盖服务器宕机、定时器被禁用或脚本被删除等问题,应由独立监控检查最近快照时间。例如:

异常处理:按现象定位,不直接重跑和清理配图

  • 数据库任务超过2个周期没有新快照,触发高优先级告警;
  • 文件任务超过26小时没有新快照,触发告警;
  • 仓库容量超过80%时预警,超过90%时升级;
  • 连续两次 restic check失败时暂停清理任务,先保留现有快照。

必要恢复:先恢复到隔离位置,再替换生产数据

恢复操作涉及覆盖文件、导入数据库和服务停机,不能把测试恢复命令直接指向生产目录。正式恢复前至少保留当前配置和当前数据库的应急副本,并记录需要恢复的快照ID。

文件恢复

先列出可用快照,选择故障发生前的版本:

restic snapshots --tag files-daily

恢复到临时目录并验证内容:

restore_dir="$(mktemp -d /var/tmp/app-restore.XXXXXX)"

restic restore SNAPSHOT_ID \
  --target "$restore_dir" \
  --include /srv/app \
  --verify

find "$restore_dir/srv/app" -maxdepth 2 -type f | head

确认文件版本、属主和权限后,再安排维护窗口替换生产目录。替换前应停止会写入这些文件的应用服务,并将当前生产目录改名或复制到独立位置作为回滚依据。直接使用 rsync 覆盖生产目录会修改或删除现有文件,属于高影响操作,必须先确认源目录、目标目录和排除规则。

PostgreSQL 数据库恢复

先将数据库导出文件恢复到隔离目录:

restore_dir="$(mktemp -d /var/tmp/db-restore.XXXXXX)"

restic restore DB_SNAPSHOT_ID \
  --target "$restore_dir" \
  --include /var/backups/appdb/app.dump \
  --verify

ls -lh "$restore_dir/var/backups/appdb/app.dump"

然后恢复到独立的测试数据库,验证表数量、关键记录和应用读写逻辑:

createdb appdb_restore

pg_restore \
  --exit-on-error \
  --dbname=appdb_restore \
  "$restore_dir/var/backups/appdb/app.dump"

不要在生产库上直接使用带有清理和覆盖效果的参数,例如未经审核的 --clean。如果必须回退生产数据库,应先停止应用写入、导出当前生产库、确认目标快照和变更窗口,再执行恢复。DROP DATABASE、删除表或覆盖生产数据都会造成现有数据不可逆丢失,必须有经过验证的当前备份和明确的回滚方案。

恢复验证至少包括:

  • 数据库能够正常启动并连接;
  • 关键表和关键时间点的数据存在;
  • 应用能够完成登录、查询和一条非破坏性测试流程;
  • 文件属主、权限和证书路径正确;
  • 恢复耗时符合RTO;
  • 恢复完成后重新启用定时备份,并确认新快照能够生成。

上线或验收检查清单

  • [ ] 已确认数据库、应用文件、配置、证书和必要密钥的备份范围。
  • [ ] 已排除缓存、临时目录和不应直接复制的数据库原始数据目录。
  • [ ] 已确认服务器时间同步正常,定时器使用的时区明确。
  • [ ] 数据库任务和文件任务使用不同周期,并配置了防重入锁。
  • [ ] 备份目标不与源服务器共用同一故障域。
  • [ ] 仓库密码、对象存储密钥和数据库凭据未写入命令行或普通日志。
  • [ ] 已配置小时级、日级、周级和月级保留规则。
  • [ ] restic forget --dry-run输出已人工核对,清理任务未误指向其他仓库。
  • [ ] 数据库、文件任务均能手工成功执行,并能在快照列表中看到对应标签。
  • [ ] 已验证仓库结构,且至少恢复过一个文件。
  • [ ] 已将数据库导出恢复到隔离数据库,并检查关键业务数据。
  • [ ] 失败告警能够收到,告警内容不包含敏感凭据。
  • [ ] 已配置“没有新快照”的外部监控,而不是只依赖脚本失败告警。
  • [ ] 已记录文件恢复、数据库恢复和整机恢复的操作步骤、负责人及回滚路径。
  • [ ] 已安排定期恢复演练,并在每次演练后更新RPO、RTO和备份周期。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4277.html