服务器部署脚本如何实现并发互斥,避免重复执行造成状态冲突?

发布人:A5数据发布时间:2026-11-13 09:42阅读量:33

首次部署脚本时,避免重复执行的关键不是在定时器或人工操作入口外包一层判断,而是让部署脚本自身在修改状态前取得同一把互斥锁,并一直持有到切换版本、重启服务和健康检查结束。下面以单台 Linux 服务器、Bash、systemd 服务和本机文件系统为例,用 flock 串行化部署;部署失败时恢复旧版本链接,并保留失败版本供排查。

这套方案适用于多个定时任务、人工命令或自动化入口可能同时调用同一个部署脚本的场景。它依赖所有部署都遵守同一把锁;不能阻止其他脚本绕过锁修改文件,也不适合作为多台服务器之间的分布式锁。

围绕应用部署与持续运行,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖常规建站、Xeon Gold与AMD EPYC等计算配置,并提供SSD或NVMe存储方案。多样的CPU、内存、磁盘及网络资源可用于业务后台、数据库和接口服务,为版本发布、服务重启及并发任务运行提供服务器资源基础。

一、准备条件

示例假定服务器使用支持 GNU 工具的常见 Linux 发行版,应用服务名为 myapp.service,应用从 /srv/myapp/current 读取当前版本,健康检查地址为 http://127.0.0.1:8080/health。部署包是受信任的 gzip 压缩 tar 包,解压后包含可执行文件 bin/myapp。

运行前确认以下条件:

  • 部署脚本以 root 身份运行,并已安装 Bash、flock、GNU tar、GNU coreutils、curl 和 systemd。
  • myapp.service 已经配置好,能够从 /srv/myapp/current 启动应用。健康检查地址应由本机访问,不依赖外部负载均衡器。
  • 部署包由可信构建流程生成。不要直接解压来源不明的归档包;归档内容、路径和文件权限可能影响服务器文件。
  • /srv/myapp 及 /run/lock/myapp 由受信任的管理员账户管理。锁文件目录不应允许普通用户替换文件或创建同名路径。
  • 应用配置和持久化数据的位置已经明确。下面的版本回滚只切换程序目录,不会自动回滚数据库、外部配置或应用写入的数据。

先检查环境:

command -v bash flock tar mv curl systemctl
flock --version
systemctl cat myapp.service

预期结果是依赖命令均能找到,flock 能正常输出版本信息,systemctl cat 能显示服务单元。若服务单元尚未配置,先完成应用服务配置,不要直接运行示例部署脚本。

flock 是协作式文件锁:持锁进程退出或关闭文件描述符后,内核会释放锁。锁文件可以继续留在磁盘上,不能通过删除锁文件来“清理锁”。如果删除后重新创建,两个进程可能分别锁住旧文件和新文件,反而失去互斥效果。

二、创建部署脚本并取得锁

把以下脚本保存为 /usr/local/sbin/deploy-myapp。如果目标路径已经有文件,先检查并备份旧版本,再进行替换。脚本接受两个参数:符合限定格式的版本号,以及部署包的绝对路径。

#!/usr/bin/env bash
set -Eeuo pipefail
umask 027

APP_ROOT=/srv/myapp
RELEASES="$APP_ROOT/releases"
CURRENT="$APP_ROOT/current"
LOCK_DIR=/run/lock/myapp
LOCK_FILE="$LOCK_DIR/deploy.lock"
SERVICE=myapp.service
HEALTH_URL=http://127.0.0.1:8080/health

SWITCHED=0
PREVIOUS=""
STAGE=""

if (( EUID != 0 )); then
    echo "请以 root 身份运行部署脚本" >&2
    exit 1
fi

if (($# != 2)); then
    echo "用法:deploy-myapp <release_id> <绝对路径部署包>" >&2
    exit 2
fi

RELEASE_ID=$1
ARTIFACT=$2

if [[ ! "$RELEASE_ID" =~ ^[A-Za-z0-9][A-Za-z0-9._-]{0,63}$ ]]; then
    echo "版本号格式不符合要求" >&2
    exit 2
fi

if [[ "$ARTIFACT" != /* || ! -f "$ARTIFACT" ]]; then
    echo "部署包必须是存在的绝对路径文件" >&2
    exit 2
fi

for cmd in flock tar mv curl systemctl readlink; do
    if ! command -v "$cmd" >/dev/null 2>&1; then
        echo "缺少依赖命令:$cmd" >&2
        exit 1
    fi
done

install -d -m 0755 "$LOCK_DIR"

exec 9>"$LOCK_FILE"
if flock -n -E 75 9; then
    :
else
    rc=$?
    if (( rc == 75 )); then
        echo "已有部署任务持有锁,本次不执行" >&2
        exit 75
    fi
    echo "无法取得部署锁,flock 退出码:$rc" >&2
    exit "$rc"
fi

switch_current() {
    local target=$1
    local tmp="$APP_ROOT/.current.$$.tmp"

    # 该临时路径只由本脚本在受保护的目录中使用。
    rm -f -- "$tmp"
    ln -s -- "$target" "$tmp"
    mv -Tf -- "$tmp" "$CURRENT"
}

wait_healthy() {
    local attempt

    for ((attempt = 1; attempt <= 20; attempt++)); do
        if curl --fail --silent --max-time 2 "$HEALTH_URL" >/dev/null; then
            return 0
        fi
        sleep 2
    done

    return 1
}

on_exit() {
    local rc=$?
    trap - EXIT INT TERM
    set +e

    if (( rc != 0 )); then
        echo "部署失败,退出码:$rc" >&2

        if (( SWITCHED == 1 )); then
            if [[ -n "$PREVIOUS" ]]; then
                echo "尝试切回旧版本:$PREVIOUS" >&2
                if switch_current "$PREVIOUS" &&
                    systemctl restart "$SERVICE" &&
                    systemctl is-active --quiet "$SERVICE" &&
                    wait_healthy; then
                    echo "旧版本已恢复并通过健康检查" >&2
                else
                    echo "旧版本回滚或健康检查失败,请立即检查服务状态" >&2
                fi
            else
                echo "首次部署没有旧版本,移除当前链接并停止服务" >&2
                rm -f -- "$CURRENT"
                systemctl stop "$SERVICE"
            fi
        fi
    fi

    if [[ -n "$STAGE" && -d "$STAGE" ]]; then
        rm -rf -- "$STAGE"
    fi

    exit "$rc"
}

trap on_exit EXIT
trap 'exit 130' INT
trap 'exit 143' TERM

install -d -m 0755 "$APP_ROOT" "$RELEASES"

if ! systemctl cat "$SERVICE" >/dev/null 2>&1; then
    echo "找不到 systemd 服务:$SERVICE" >&2
    exit 1
fi

RELEASE_DIR="$RELEASES/$RELEASE_ID"

if [[ -e "$RELEASE_DIR" || -L "$RELEASE_DIR" ]]; then
    echo "版本目录已经存在,不覆盖:$RELEASE_DIR" >&2
    exit 1
fi

if [[ -L "$CURRENT" ]]; then
    PREVIOUS=$(readlink -f -- "$CURRENT") || {
        echo "无法解析当前版本链接" >&2
        exit 1
    }

    if [[ "$PREVIOUS" != "$RELEASES/"* || ! -d "$PREVIOUS" ]]; then
        echo "当前链接目标不在 releases 目录中,拒绝自动部署" >&2
        exit 1
    fi
elif [[ -e "$CURRENT" ]]; then
    echo "当前路径存在但不是符号链接,拒绝覆盖:$CURRENT" >&2
    exit 1
fi

STAGE="$RELEASES/.${RELEASE_ID}.tmp.$$"
if [[ -e "$STAGE" || -L "$STAGE" ]]; then
    echo "临时目录已存在,拒绝覆盖:$STAGE" >&2
    exit 1
fi

mkdir -m 0750 -- "$STAGE"
tar --no-same-owner --no-same-permissions -xzf "$ARTIFACT" -C "$STAGE"

if [[ ! -x "$STAGE/bin/myapp" ]]; then
    echo "部署包缺少可执行文件 bin/myapp" >&2
    exit 1
fi

mv -- "$STAGE" "$RELEASE_DIR"
STAGE=""

# 从这里开始出现切换风险;后续失败时由退出处理尝试回滚。
SWITCHED=1
switch_current "$RELEASE_DIR"

systemctl restart "$SERVICE"
systemctl is-active --quiet "$SERVICE"

if ! wait_healthy; then
    echo "新版本未通过健康检查" >&2
    exit 1
fi

echo "部署完成:$RELEASE_ID"

设置执行权限并检查语法。若已有同名脚本,先备份再安装,避免误覆盖正在使用的版本:

sudo install -o root -g root -m 0750 /path/to/deploy-myapp /usr/local/sbin/deploy-myapp
sudo bash -n /usr/local/sbin/deploy-myapp

bash -n 没有输出且退出码为 0,表示通过 Bash 语法检查;它不代表服务配置、部署包内容或健康检查一定正确。

脚本在执行任何版本切换之前打开 /run/lock/myapp/deploy.lock,并通过文件描述符 9 取得非阻塞排他锁。锁会一直持有到进程退出。另一项部署已经持锁时,脚本以状态码 75 退出,不会继续解压、切换链接或重启服务。其他 flock 错误则以不同状态码退出,不能一律当作“有任务在运行”。

三、首次部署与每步验证

1. 准备部署包和版本号

版本号只能使用字母、数字、点、下划线和连字符,且必须以字母或数字开头。每个版本使用一个独立目录,不覆盖已有目录。例如:

sudo /usr/local/sbin/deploy-myapp 20250308-001 /var/tmp/myapp-20250308.tar.gz

执行前确认文件存在、路径为绝对路径,并且归档结构符合约定:

test -f /var/tmp/myapp-20250308.tar.gz
tar -tzf /var/tmp/myapp-20250308.tar.gz | head

列表输出应能反映预期的包内路径;解压后必须有可执行文件 bin/myapp。不要把未经审核的归档包交给以 root 身份运行的脚本。

2. 解压到临时目录

脚本先创建 /srv/myapp/releases/.<版本号>.tmp.<进程号>,再将部署包解压到该目录。临时目录与正式版本目录位于同一文件系统,便于之后通过重命名完成目录发布。

解压成功后,脚本会检查 bin/myapp 是否存在且可执行。若解压失败或文件不符合要求,脚本退出并清理临时目录,旧版本链接不会被切换。已经移动到正式版本目录的版本会保留;脚本不会因后续健康检查失败而自动删除它,便于保留现场。

3. 切换当前版本并重启

验证通过后,脚本将临时目录重命名为 /srv/myapp/releases/<版本号>,再创建指向新版本的临时符号链接,并使用同目录内的 mv -T 替换 /srv/myapp/current。同一文件系统中的重命名可让读取 current 的进程看到旧链接或新链接,而不是一个正在逐步写入的链接。

完成切换后,脚本执行 systemctl restart myapp.service,检查服务处于 active 状态,并最多进行 20 次健康检查,每次请求超时为 2 秒、间隔 2 秒。未通过检查时,脚本以失败状态退出并尝试恢复旧版本链接、重启旧版本服务,再检查健康状态。

三、首次部署与每步验证/3. 切换当前版本并重启配图

首次部署没有旧版本可恢复。如果首次部署失败,脚本会移除刚创建的 current 链接并尝试停止服务。旧版本回滚也可能因服务无法启动、应用配置异常或其他运行环境问题而失败;此时错误信息会提示需要人工检查。

4. 检查部署结果

脚本提示部署完成后,再分别检查当前链接、服务状态、健康接口和日志:

readlink -f /srv/myapp/current
systemctl status myapp.service --no-pager
curl --fail --silent --show-error --max-time 2 http://127.0.0.1:8080/health
journalctl -u myapp.service -n 50 --no-pager

检查结果应满足:当前链接指向刚发布的版本目录;服务处于 active 状态;健康接口返回成功;日志中没有启动失败或配置加载错误。curl 成功只代表该接口在检查时可访问,不等于所有业务功能均已验证。

如果部署输出提示“版本目录已经存在”,不要直接删除目录后重试。先确认该版本是否正在运行、是否需要保留,以及目录是否由此前的失败部署生成;确认可清理后,按备份和回滚方案处理。

四、验证并发互斥是否生效

可以用同一锁文件临时持锁,再启动部署脚本,检查第二次调用是否以状态码 75 退出。该测试会阻止部署脚本执行,但会在持锁命令退出后释放锁:

sudo install -d -m 0755 /run/lock/myapp
sudo flock -n /run/lock/myapp/deploy.lock sleep 30 &
holder=$!

sleep 1
set +e
sudo /usr/local/sbin/deploy-myapp 20250308-002 /var/tmp/myapp-20250308.tar.gz
rc=$?
set -e

sudo kill "$holder" 2>/dev/null || true
wait "$holder" 2>/dev/null || true
printf '部署脚本退出码:%s\n' "$rc"

预期输出包含“已有部署任务持有锁”,退出码为 75。如果脚本继续解压或重启服务,应先确认它实际使用的锁路径、运行身份和文件系统路径是否一致,再进行真实部署。

务必将锁逻辑放在部署脚本内部,而不是只在定时任务的调用命令外部加锁。这样人工执行和不同自动化入口调用同一脚本时,仍会竞争同一把锁。systemd 对同一个服务单元也有自身的启动管理行为,但不能替代脚本级互斥:人工直接运行脚本,或其他单元调用它,都可能绕过某个单元的调度约束。

四、验证并发互斥是否生效配图

五、常见失败与适用边界

退出码为 75:有另一个部署进程持锁。本次调用未开始部署。若由定时任务触发,可根据业务决定跳过本轮,或改成有限等待;不应无限等待,否则任务积压时可能让后续部署长期排队。

提示无法取得锁,但不是 75:通常是目录权限、锁文件路径或文件系统访问问题。检查运行身份和路径权限,不要删除锁文件来处理。内核会在持锁进程结束后释放锁,磁盘上留下的文件本身不代表锁仍被持有。

服务重启成功但健康检查失败:脚本会尝试切回旧版本。检查 journalctl -u myapp.service、应用日志、配置文件和健康接口。若旧版本链接已恢复但健康检查仍失败,可能是共享配置、依赖服务或持久化状态也存在问题。

脚本被强制终止:INT 和 TERM 会触发退出处理;SIGKILL 无法由脚本捕获。进程结束后,文件锁会由内核释放,但临时目录或当前版本链接可能需要人工核对。再次部署前先检查 readlink -f /srv/myapp/current、服务状态和 releases 目录,不要假设上次操作已完整回滚。

多台服务器同时部署:本机 flock 只适用于共享同一内核锁语义的协作进程。在网络文件系统上的表现取决于文件系统及挂载配置,不应未经验证就当作可靠的跨主机锁。多机部署应由统一编排器串行调度,或使用经过设计的集中式租约机制;需要考虑租约过期和旧持有者继续写入等问题。

数据库或共享数据变更:符号链接回滚只恢复程序版本,不会撤销数据库迁移、外部配置修改或应用已经写入的数据。数据库变更应单独制定备份、兼容性和恢复方案;常见做法是先保证新旧程序都能兼容过渡期的数据结构,再安排后续清理。

五、常见失败与适用边界配图

六、验收与回滚检查项

上线前逐项确认:

  • 部署脚本能在目标服务器通过 bash -n 检查,运行身份、锁目录和锁文件路径符合预期。
  • 部署包结构、可执行文件、服务读取路径和本机健康检查地址与脚本中的约定一致。
  • 并发测试中,第二个进程因锁被占用而以状态码 75 退出,没有解压、切换版本或重启服务。
  • 成功部署后,current 指向新版本,服务 active,健康检查通过,日志没有明显启动错误。
  • 失败回滚后,current 指回旧版本,旧服务已经重启并通过健康检查;若未通过,已记录失败现象并准备人工恢复。
  • 旧版本目录和部署包在确认新版本稳定前未被清理。涉及数据库、共享配置或持久化数据时,已经单独确认其备份与回退方式。

回滚时先确认当前版本和目标旧版本目录均存在,再切换链接并重启服务;确认服务和健康检查恢复后,才安排清理失败版本。任何清理操作都应限定到明确的版本目录,避免误删当前版本、旧版本或应用数据。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9112.html

相关推荐