服务器部署脚本并发执行冲突怎么避免?如何用锁与幂等保证任务安全

发布人:A5数据发布时间:2026-10-23 10:36阅读量:99

已有服务器上,部署脚本可能被人工重复执行、定时任务重叠触发,或由多个发布系统同时启动。避免互相覆盖的基本做法是:在修改共享资源前取得互斥锁;把脚本写成重复执行不会扩大变更的幂等操作;发布过程保留可验证的版本记录,并在失败时恢复到已知可用版本。

锁解决“同一时刻谁能执行”,幂等解决“重复执行会发生什么”。两者不能互相替代:有锁但脚本每次都覆盖用户数据,仍有风险;脚本具备幂等性但并发读写同一配置,也可能产生中间状态。下面以常见 Linux 主机上的 Bash 部署脚本为例,说明如何在现有环境中逐步加固。

在需要稳定执行部署脚本、维护业务后台与数据库的场景中,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖Xeon、AMD EPYC、SSD/NVMe存储、多IP及不同带宽线路方案,可为版本化发布、回退保留、日志审计和多任务运行提供相应的计算、存储与网络基础。

先确认并发范围与运行条件

先盘点哪些入口会启动同一项任务:人工命令、cron、systemd timer、CI/CD 发布任务,或监控平台的自动修复。记录它们使用的系统用户、工作目录、锁文件路径、部署目标和日志位置。若任务只运行于一台服务器,主机本地文件锁通常足够;若多个服务器共同修改同一个远端资源,本机锁不能协调不同主机,需要在共享平台或数据库等位置设计跨主机互斥,并处理租约过期与持锁者失联。

先确认并发范围与运行条件配图

同时检查当前是否已有任务运行,以及脚本是否会删除、覆盖或迁移数据。不要在未知状态下直接用新版本同时替换脚本和锁目录。可以先查看进程、计划任务和相关服务:

pgrep -af 'deploy.sh|release-deploy'
crontab -l
systemctl list-timers --all

pgrep 的匹配结果需要人工确认,避免把检查命令本身或无关进程误判为部署任务。服务名和定时器名称以当前主机实际配置为准。若存在多个入口,应先约定唯一的锁路径,并确保它们运行在同一台主机、使用一致的锁文件;不同用户对锁文件目录的权限不一致,也会导致互斥失效或任务无法启动。

日常操作:先加锁,再修改共享状态

单机 Linux 上,flock 通常适合用作进程间互斥。它通过内核管理文件锁,进程退出后锁会释放,不需要自行判断锁文件里记录的 PID 是否仍然有效。以下示例使用非阻塞方式:如果已有部署正在运行,新任务记录日志并以状态码 75 退出,便于调度系统识别为“本次未执行”,而不是误认为部署成功。

#!/usr/bin/env bash
set -Eeuo pipefail

APP_ROOT="/srv/myapp"
LOCK_FILE="/run/lock/myapp-deploy.lock"
LOG_FILE="/var/log/myapp-deploy.log"
RELEASE_ID="${1:?用法: deploy.sh RELEASE_ID}"

log() {
    printf '%s %s\n' "$(date --iso-8601=seconds)" "$*" | tee -a "$LOG_FILE"
}

exec 9>"$LOCK_FILE"
if ! flock -n 9; then
    log "部署未启动:已有任务持有锁,release=${RELEASE_ID}"
    exit 75
fi

log "部署开始:release=${RELEASE_ID} pid=$$"
# 后续部署步骤放在锁保护范围内。

先确认系统安装了提供 flock 的工具,并核实 /run/lock 的存在及运行用户的写权限。/run 通常是运行时目录,重启后内容会清空,这不影响内核锁机制;不要把“锁文件是否存在”当作任务正在运行的判断依据。真正的锁由打开的文件描述符持有,锁文件留在目录中并不代表仍有人持锁。

如果希望等待正在运行的任务结束,可以将 flock -n 9 改为有时限的等待,例如:

if ! flock -w 300 9; then
    log "等待锁超时:release=${RELEASE_ID}"
    exit 75
fi

这里的 300 表示最多等待 300 秒。等待值应结合正常部署时长和调度频率确定:等待过短会频繁跳过任务,等待过长则可能让多个过期任务排队,在旧版本之后继续部署。对只需执行最新配置的任务,可以选择未取得锁就退出,并让下一次计划任务重新读取最新状态;对必须逐项处理的任务,则应使用具备持久化队列和重试策略的调度机制,不能仅靠无限等待锁。

若 flock 只用于包装现有脚本,也可由外层统一加锁:

flock -n /run/lock/myapp-deploy.lock /usr/local/sbin/deploy-myapp

内外两层不要意外使用不同的锁文件;同一路径下的重复加锁还可能因文件描述符传递方式而改变行为,最好明确由脚本或调度入口中的一处负责加锁,并在部署文档中固定约定。锁文件应放在受控目录,避免普通用户可删除或替换;仅设置文件权限也不够,目录权限同样需要检查。

把部署步骤改成可重复执行

幂等不是“每次都重新安装一遍”,而是脚本执行多次后,系统仍收敛到声明的目标状态。可从这些操作开始改造:

  • 配置文件先生成到临时文件,校验通过后再原子替换,避免服务读到写了一半的内容。
  • 目录和权限使用明确目标状态,例如设置期望属主、属组和权限,而不是每次递增修改。
  • 创建资源前先检查目标是否已存在;存在时验证内容或版本,只有不符合目标状态才更新。
  • 数据库迁移、用户创建等有副作用的动作记录版本或迁移编号,确保同一迁移不会重复执行。
  • 对下载、解压和复制操作校验版本或校验和,避免把不完整文件标成当前版本。
  • 不要把“执行命令返回成功”直接等同于“发布完成”,还要检查文件、服务状态和应用健康检查。

配置文件替换可以采用同目录临时文件,再使用 mv 完成原子切换。下面只展示普通配置文件的原子替换方式;临时文件权限、属主和目录权限应按该文件实际用途设置。

CONFIG="/etc/myapp/app.conf"
TMP="${CONFIG}.tmp.$$"

render_config > "$TMP"
chmod 0640 "$TMP"
chown myapp:myapp "$TMP"
myapp --check-config "$TMP"
mv -f "$TMP" "$CONFIG"

同一文件系统内的重命名通常可避免读者看到半份文件,但这不代表整个部署过程具备事务性。若应用配置校验、服务重载或健康检查失败,还需恢复此前版本并再次验证。脚本应设置清理逻辑,避免中途失败留下临时文件:

TMP=""
cleanup() {
    if [[ -n "$TMP" && -e "$TMP" ]]; then
        rm -f -- "$TMP"
    fi
}
trap cleanup EXIT

rm -f 在此仅针对脚本创建的临时文件;不要把临时变量改造成可由外部输入任意指定的路径。涉及删除发布目录或用户数据时,必须先确认路径来源、影响范围和备份情况,再执行清理。

发布目录按版本切换,保留回退点

对应用程序文件,较安全的日常方式是按版本生成独立发布目录,完成校验后再切换 current 符号链接,而不是直接覆盖正在运行的目录。示意如下:

发布目录按版本切换,保留回退点配图

RELEASES="/srv/myapp/releases"
CURRENT="/srv/myapp/current"
NEW_RELEASE="${RELEASES}/${RELEASE_ID}"

test -d "$NEW_RELEASE"
test -f "$NEW_RELEASE/bin/myapp"
"$NEW_RELEASE/bin/myapp" --check

OLD_TARGET=""
if [[ -L "$CURRENT" ]]; then
    OLD_TARGET="$(readlink -f "$CURRENT")"
fi

ln -sfn "$NEW_RELEASE" "${CURRENT}.next"
mv -Tf "${CURRENT}.next" "$CURRENT"

执行前确认 NEW_RELEASE 是已完整生成、经过校验的目录,并确认 CURRENT 是预期的符号链接。mv -Tf 的行为依赖系统工具版本和目标类型;在使用前应查看本机 mv --help,确认支持相关选项,不能将此命令不加核验地套用于其他系统。切换后还要按应用需要执行服务重载或重启,并做健康检查。切换链接不一定能让正在运行的进程自动使用新文件,也不适用于所有应用。

保留上一版本目录,至少覆盖一次完整的验收周期。清理旧版本属于删除操作,应限定到发布目录内、排除当前版本和明确保留的回退版本;先列出候选项并核对,再执行删除。不要用未经检查的通配符拼接用户输入。

结果检查:锁、执行状态和审计记录都要可见

锁只能阻止遵循同一约定的进程。要让并发控制可审计,应在任务开始、取得锁失败、发布步骤完成、健康检查通过和回退时记录时间、主机、运行用户、进程号、发布编号及结果。日志中避免写入密钥、口令和完整敏感配置。多个入口应将同一任务的结果汇总到可查询的位置,至少能够区分“成功”“已被其他任务占用”“执行失败”和“回滚完成”。

部署后检查以下项目:

  1. 查看脚本退出状态和日志,确认本次是否真正取得锁并进入部署步骤。
  2. 确认 current 指向预期发布目录,配置文件内容和权限符合目标。
  3. 检查服务状态及应用健康检查;健康检查应覆盖业务所需的关键依赖,而非只确认进程存在。
  4. 确认定时任务、CI/CD 或人工入口没有因状态码 75 将“跳过”误报为成功,也没有无限重试造成排队。
  5. 检查临时目录、发布目录和审计日志,确认没有遗留不完整版本或未解释的失败记录。

可以用一次受控的并发演练验证锁行为:在测试环境或明确允许的维护窗口中,让一个任务持锁暂停,再启动第二个任务,观察第二个任务是否按预期退出或等待。不要在生产环境通过故意阻塞发布来测试,除非已确认业务影响、监控告警和恢复方案。验证时还应确认所有调度入口引用的是同一锁路径,而不是只测试两个手工命令。

异常处理:先区分锁竞争与任务故障

第二个任务未启动,不一定是锁失效。先查看正在运行的部署进程、日志和调度器记录,再判断属于正常并发、任务卡住还是权限错误。

异常处理:先区分锁竞争与任务故障配图

  • 日志显示已有进程持锁,且进程仍在推进:通常是正常互斥。按计划等待或让本次任务退出,不要删除锁文件,也不要直接启动第二份绕过锁的脚本。
  • 等待超时,但进程仍存在:查看进程状态、子进程、磁盘和网络依赖,确认任务是在正常等待还是已卡死。结束进程前先判断其是否正在写文件、迁移数据或执行不可中断的外部操作。
  • 找不到部署进程,但任务仍认为锁被占用:flock 的锁通常随持有文件描述符的进程退出而释放;还需检查是否有子进程继承了该文件描述符,或其他入口正在运行。可用 lsof 检查锁文件是否仍被打开(若系统已安装该工具),不要只看锁文件是否存在。
  • 提示权限不足或无法创建锁文件:检查运行用户、锁目录属主与权限,以及日志目录和目标路径权限。不要为图省事把脚本整体改为 root 执行;只授予所需目录和命令的最小权限。
  • 两个入口仍同时修改资源:检查它们是否用了不同路径、不同主机,或其中一个入口没有经过锁逻辑。本地文件锁无法协调其他主机;共享存储上的文件锁也需要核实文件系统是否支持所需语义,不能默认与本地文件系统行为一致。

若已有部署长期卡住,优先收集进程状态、日志和当前版本指向,再按业务流程停止任务。不要用删除锁文件的方式“解锁”:已打开的文件被删除后,后续进程可能创建一个新文件并锁住新对象,而旧进程仍持有旧对象,反而造成两个进程各自认为自己独占。kill -9 会跳过应用清理逻辑,只能在评估数据一致性和影响范围后作为最后手段;必要时先备份受影响配置或数据,并准备恢复步骤。

必要恢复:回退应用版本,不覆盖未知状态

如果新版本已切换但健康检查失败,且应用支持旧版本运行,可将 current 切回记录的旧发布目录,再按应用要求重载或重启服务,随后复查健康状态。回退前确认旧目录仍完整、配置兼容,且本次变更没有执行不可逆的数据迁移。若数据库结构已变更,单纯切回代码版本未必安全;应遵循该应用的迁移回退方案,必要时从变更前备份恢复。数据库恢复可能影响最近写入的数据,必须明确恢复时间点、影响范围和业务确认流程。

恢复操作也应持有同一把部署锁,并记录操作人、原因、切换前后版本和检查结果。不要在另一终端绕过锁直接替换链接或覆盖配置。若脚本在切换前失败,清理本次创建的临时文件即可;若切换后失败,则先检查当前指向和服务状态,再决定回退,避免自动清理误删仍在使用的版本。

上线或验收前,逐项确认:

  • 所有人工、定时和发布入口共用一致的互斥规则,锁目录权限符合运行用户要求。
  • 锁竞争、等待超时和部署失败有明确退出码及可查询日志。
  • 重复运行不会重复创建资源、覆盖无关数据或重复执行不可逆迁移。
  • 配置与发布文件经过校验后才切换,旧版本和必要备份在验收期内保留。
  • 成功检查覆盖文件版本、服务状态和应用健康;失败时有明确的停止、回退和数据恢复路径。
  • 删除、数据库迁移、权限变更等高风险步骤已经确认影响范围,并在执行前完成适用的备份与审批。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5270.html

相关推荐