台湾服务器开机后、恢复业务前,应检查哪些磁盘挂载与服务状态?

发布人:A5数据发布时间:2026-11-17 10:51阅读量:2

台湾服务器完成重启、宿主机恢复或异常断电后,系统能够登录并不代表业务已经具备恢复条件。内核可能已经识别到数据盘,但数据目录没有真正挂载;systemd 可能将部分启动失败标记为 degraded;应用服务也可能因为数据库、缓存或文件系统尚未就绪而处于“进程存在但无法提供业务”的状态。恢复入口前,应先确认磁盘来源、挂载参数、业务目录、服务依赖和本地健康状态。

先确认本次启动是否真正完成

检查应从当前启动状态开始,而不是直接执行一组重启命令。先记录本次启动时间、系统运行状态和失败单元,便于把当前异常与上一次启动区分开。

sudo who -b
uptime -s
systemctl is-system-running
sudo systemctl --failed --no-pager
sudo journalctl --list-boots
timedatectl status

systemctl is-system-running 常见结果包括:

  • running:系统启动流程基本完成。
  • degraded:至少有一个单元失败,不能直接认为业务不可用,但必须查看失败原因。
  • starting:启动尚未完成,应等待相关目标单元结束。
  • maintenance 或其他异常状态:应优先检查启动日志和存储状态。

timedatectl status 不是磁盘检查的核心命令,但它能帮助确认日志时间。台湾服务器所在环境使用的系统时区、应用时区和数据库时区可能并不完全一致,排查时应以日志中实际记录的时间为准,不要只根据终端显示时间判断服务启动顺序。

接着查看当前引导周期中的高优先级错误:

sudo journalctl -b -p err..alert --no-pager
sudo journalctl -k -b -p warning..alert --no-pager

如果已经发生过多次重启,journalctl -b 默认只查看当前启动周期;journalctl -b -1 可以查看上一次启动记录,前提是系统保留了持久化日志。此时不要先执行 systemctl reset-failed,否则可能丢失失败状态这一重要线索。

磁盘检查:确认设备存在、挂载正确且业务目录没有落到错误位置

识别块设备与实际挂载关系

先区分“磁盘已经被系统识别”和“磁盘已经挂载到业务目录”这两个状态:

sudo lsblk -o NAME,PATH,SIZE,FSTYPE,UUID,TYPE,MOUNTPOINTS
sudo blkid
findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT
df -ih

这些命令观察的对象不同:

  • lsblk 主要确认设备、分区、逻辑卷和文件系统类型是否存在。
  • blkid 用于核对 UUID、文件系统类型等标识。
  • findmnt 显示内核当前实际生效的挂载关系和挂载参数。
  • df -hT 显示各文件系统的容量、使用量和类型。
  • df -ih 显示 inode 使用情况。小文件很多时,即使磁盘容量尚未用尽,inode 耗尽也会导致无法创建新文件。

不能只看到某个设备出现在 lsblk 中,就认为它已经可以被应用使用。真正需要确认的是:预期的设备是否挂载到了预期目录,文件系统类型是否正确,挂载参数是否满足应用要求。

例如,业务通常可能涉及以下目录,但具体路径必须以本机部署记录为准:

挂载点或路径需要确认的内容未通过时的影响
/根文件系统是否正常、是否有足够空间日志、服务启动和系统命令可能继续失败
/boot 或 /boot/efi启动分区是否存在且可访问后续内核或引导配置维护可能受影响
/var日志、包管理和运行时文件所在分区是否正常服务可能因无法写入日志或运行目录而退出
/data、/srv/app数据盘是否挂载到正确位置应用可能读不到数据,或把新数据错误写入根盘
上传、媒体或备份目录文件系统、权限和剩余空间文件上传、任务处理或备份功能可能失败

对照业务路径确认真实的文件系统

如果应用配置使用的是 /srv/app/uploads,不能只检查 /data 是否挂载,还应确认这个业务路径实际落在哪个文件系统上:

for path in /data /srv/app /srv/app/uploads /var/lib/myapp; do
  if [ -e "$path" ]; then
    echo "===== $path ====="
    findmnt -T "$path"
    df -hT -- "$path"
  fi
done

重点观察 SOURCE 和 TARGET。如果预期的数据目录没有挂载,目录本身仍可能存在于根文件系统中。此时应用启动后可能不会报“目录不存在”,而是直接把上传文件、缓存或新生成的数据写入根盘。结果往往是业务看似恢复,但数据实际写到了错误位置,后续重新挂载数据盘时还可能造成文件被遮蔽。

磁盘检查:确认设备存在、挂载正确且业务目录没有落到错误位置配图

在恢复写入型业务前,应至少确认:

  1. 业务配置中的数据路径确实存在。
  2. findmnt -T 显示的来源与预期数据盘或逻辑卷一致。
  3. 需要写入的路径没有处于只读状态。
  4. 服务运行用户具备必要的读取、写入和进入目录权限。
  5. 目录中的既有数据与本次业务环境相符。

可以先查看目录权限和每一级路径的属主:

namei -om /srv/app/uploads
stat -c '%U:%G %a %n' /srv/app/uploads

如果已经知道服务运行用户,例如 appuser,可以进行不写入数据的权限检查:

sudo -u appuser test -r /srv/app/uploads
echo "read permission: $?"

sudo -u appuser test -w /srv/app/uploads
echo "write permission check: $?"

这里的 test -w 主要反映权限判断,不能完全证明底层文件系统实际能够成功写入。若确实需要验证写入能力,应只在业务指定的临时目录中进行,并在维护窗口内使用可确认清理的测试文件,不能在上传目录或数据库目录中随意创建、删除文件。

检查 /etc/fstab 与启动挂载结果

自动挂载通常由 /etc/fstab、生成的 systemd 挂载单元或云平台提供的设备配置共同决定。先查看配置,再检查当前状态:

sudo cat /etc/fstab
sudo findmnt --verify --verbose
sudo systemctl status local-fs.target --no-pager
sudo systemctl list-dependencies local-fs.target --all

需要重点核对:

  • UUID 是否仍与当前设备一致。
  • 挂载点目录是否存在。
  • 文件系统类型是否正确。
  • 是否误用了 noauto,导致系统启动时不自动挂载。
  • 是否配置了 nofail,使系统在数据盘挂载失败时仍继续启动。
  • 是否使用了按访问触发的自动挂载,导致启动时看不到挂载,但访问业务目录后才触发。
  • 挂载选项是否包含应用所需的读写、权限或执行能力。

findmnt --verify 主要用于校验挂载配置,不能替代实际的业务路径检查。不要为了“测试 fstab”而在生产环境无条件执行:

sudo mount -a

这个命令会尝试挂载所有符合条件的条目,其中可能包含远程文件系统、备份盘或并不希望在当前维护窗口挂载的目录。若需要重新挂载,应先确认具体条目、依赖和影响范围,再针对单个挂载点操作,例如:

sudo mount /data

执行前必须确认 /data 对应的设备和配置无误。若修改了 /etc/fstab,应先保存原文件:

sudo cp -a /etc/fstab "/etc/fstab.before-change.$(date +%F-%H%M%S)"
sudo findmnt --verify --verbose

只有在语法和来源核对无误后,才进入实际挂载和服务验证。不要用“重启后看看是否正常”代替配置检查,因为错误配置可能再次导致启动延迟、挂载到错误设备,甚至覆盖原有运行环境。

检查只读状态、容量和 inode

数据盘能够访问,并不代表它处于适合业务写入的状态。查看挂载参数和资源使用情况:

findmnt -no TARGET,SOURCE,FSTYPE,OPTIONS /data
df -hP
df -ih

如果挂载参数中出现 ro,说明文件系统以只读方式挂载。常见原因包括文件系统检测到错误、底层存储出现 I/O 异常,或管理员此前为了保护数据而主动使用了只读挂载。

同时检查内核日志:

sudo journalctl -k -b --no-pager | \
  grep -Ei 'I/O|error|read-only|mount|fsck|EXT4|XFS'

容量检查应同时看空间和 inode:

  • 数据分区空间接近满载时,应用可能无法保存上传文件、生成临时文件或写入事务日志。
  • inode 接近耗尽时,即使 df -h 仍显示有剩余容量,也可能无法创建新文件。
  • 根分区过满会影响日志、服务状态文件、套接字和系统升级操作。
  • /var 或应用日志目录过满,可能导致服务启动后立即退出。

例如,90% 左右的使用率通常应进入容量复核,接近满载时则不应继续恢复大量写入任务。具体阈值应结合业务文件增长速度、预留空间和监控策略判断,不能把一个固定百分比当成所有服务器的统一标准。

清理空间时不要直接执行针对整个目录的递归删除。应先识别来源:

sudo journalctl --disk-usage
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /data 2>/dev/null | sort -h

日志、临时文件、缓存和业务数据的处理方式不同。只有确认文件属于可清理范围、已有保留策略且不会影响恢复时,才可以进行清理。

对文件系统错误设置恢复边界

如果出现 I/O 错误、反复只读、挂载失败或文件系统检查失败,优先保护数据,不要立即执行强制重新挂载:

sudo mount -o remount,rw /data

这类操作可能掩盖底层问题,扩大写入损坏范围。正确的处理顺序通常是:

对文件系统错误设置恢复边界配图

  1. 保持业务写入暂停,必要时停止依赖该目录的应用和后台任务。
  2. 保存当前内核日志、挂载信息、容量信息和服务状态。
  3. 如果平台支持,先创建存储快照或确认已有可用备份。
  4. 确认没有进程继续使用该挂载点。
  5. 在维护环境或救援环境中卸载文件系统。
  6. 根据实际文件系统类型使用相应的离线检查或修复工具。
  7. 修复后重新挂载,检查目录、权限、文件数量和应用可读性。
  8. 重新执行服务状态和健康检查,确认没有新的错误。

查看占用挂载点的进程可以使用:

sudo fuser -vm /data
sudo lsof +f -- /data

不要对仍处于挂载状态并被业务使用的文件系统直接执行通用文件系统修复命令。根文件系统无法正常卸载时,应使用发行版支持的救援模式或维护环境处理。

服务检查:按依赖关系确认,而不是只看进程是否存在

先列出失败单元和实际服务名称

服务名称会因发行版、安装方式和部署版本不同而变化。不要直接猜测数据库、应用或后台任务的 unit 名称。先观察当前运行和失败的服务:

sudo systemctl list-units --type=service --state=running --no-pager
sudo systemctl list-units --type=service --state=failed --no-pager
sudo systemctl list-unit-files --type=service --no-pager

如果需要从较多服务中筛选候选,可以使用关键词查看,但最终仍应以本机部署记录和服务配置为准:

sudo systemctl list-unit-files --type=service --no-pager | \
  grep -Ei 'nginx|apache|php|postgres|mysql|mariadb|redis|app|worker|queue'

恢复检查不要求所有安装过的服务都处于运行状态。备份服务、一次性初始化服务、手动启动的维护服务或已经明确停用的旧服务,可能本来就不应该自动运行。应建立一份“本次业务必须运行”的服务清单,而不是把 systemctl list-units 中的所有项目都当成恢复目标。

区分 active、enabled、active (exited) 和真正可用

以应用服务为例,可使用下面的方式查看状态:

APP_UNIT=myapp.service

sudo systemctl status "$APP_UNIT" --no-pager -l
sudo systemctl show "$APP_UNIT" \
  -p ActiveState \
  -p SubState \
  -p Result \
  -p ExecMainStatus \
  -p MainPID \
  -p User \
  -p Group \
  -p Restart

sudo systemctl is-enabled "$APP_UNIT"
sudo journalctl -b -u "$APP_UNIT" -n 100 --no-pager

执行前需要将 myapp.service 替换为实际服务名。

几个状态不能混为一谈:

  • active (running) 表示主进程当前存在并处于运行状态,但不保证业务依赖可用。
  • active (exited) 常见于一次性任务或初始化单元,需要结合 unit 类型判断。
  • enabled 表示服务被配置为随系统启动,不代表本次启动已经成功。
  • disabled 不一定是故障,某些服务本来就由发布脚本或人工按需启动。
  • failed 需要先保留日志并分析原因,不要通过不断重启来掩盖失败。

数据库、缓存、应用、Web 服务之间通常存在依赖顺序。一个常见的检查顺序如下,但不应脱离实际架构硬套:

服务检查:按依赖关系确认,而不是只看进程是否存在配图

  1. 本地文件系统和数据目录。
  2. 数据库服务及其就绪状态。
  3. 缓存、队列或其他应用依赖。
  4. 应用 API 或后台服务。
  5. Web 服务和本机入口。
  6. 消费者、定时任务和批处理任务。

如果数据库进程已经显示 active,仍应查看数据库自身的就绪检查、启动日志或应用连接测试。仅凭进程存在无法判断数据库是否完成恢复、是否正在回放日志,或者是否拒绝业务用户连接。

查看服务依赖和启动顺序

对应用服务查看 unit 内容和依赖关系:

sudo systemctl cat "$APP_UNIT"
sudo systemctl list-dependencies "$APP_UNIT" --all
sudo systemctl show "$APP_UNIT" -p FragmentPath -p User -p Group

重点关注:

  • [Unit] 中是否声明了必要的 After=、Requires= 或 Wants=。
  • 应用是否依赖某个挂载点,但配置中没有体现这种依赖。
  • [Service] 中的运行用户和工作目录是否仍然存在。
  • ExecStart 指向的程序、配置文件和数据目录是否位于已正确挂载的文件系统。
  • 服务是否配置了自动重启,导致故障时反复拉起并不断生成日志。

如果业务目录位于独立数据盘,而服务没有等待该挂载点,系统启动时就可能先启动应用,再由应用创建一个同名的普通目录。此时服务状态可能显示正常,但读写的实际位置已经错误。因此,挂载检查必须在服务检查之前完成。

验证监听端口和本地健康接口

服务显示运行后,还要确认它是否监听了预期地址和端口:

sudo ss -lntup

检查时要对照业务实际配置,关注以下差异:

  • 进程是否监听了预期端口。
  • 是否只监听 127.0.0.1,而业务入口需要其他本机服务访问。
  • 是否错误监听到不应开放的地址。
  • 端口是否被旧进程、测试进程或其他服务占用。
  • 应用进程存在但没有监听端口,说明启动流程可能尚未完成或启动后已进入异常状态。

如果应用已经提供本机健康接口,可以在不经过外部入口的情况下检查:

curl -fsS --max-time 5 http://127.0.0.1:8080/health

8080 和 /health 仅为示例,必须替换为现有应用的实际配置。没有健康接口时,不要自行把普通业务页面当成健康检查标准。健康响应还应区分“进程存活”和“业务就绪”:如果健康接口只检查应用进程,不检查数据库、数据目录或队列,那么返回成功仍不能作为完整验收依据。

如果使用 Nginx 作为本机 Web 服务,可以先进行配置语法检查,再查看服务状态:

sudo nginx -t
sudo systemctl status nginx.service --no-pager -l

语法检查通过只代表配置文件能够被解析,不代表后端应用、证书、数据目录和实际页面都已经可用。

恢复启动顺序:只启动必要服务,不要批量重启

确认挂载、容量、权限和依赖后,再进入服务启动阶段。已经正常运行的服务一般不需要执行 restart,避免无意义地扩大中断范围。对处于停止状态的服务,应优先使用 start,并在每一步后确认结果。

下面是启动顺序示例,服务名称需要替换:

DB_UNIT=postgresql.service
APP_UNIT=myapp.service
WEB_UNIT=nginx.service

sudo systemctl start "$DB_UNIT"
sudo systemctl is-active "$DB_UNIT"

sudo systemctl start "$APP_UNIT"
sudo systemctl is-active "$APP_UNIT"

sudo systemctl start "$WEB_UNIT"
sudo systemctl is-active "$WEB_UNIT"

实际操作时,每启动一个服务都应查看对应日志:

sudo journalctl -b -u "$DB_UNIT" -n 80 --no-pager
sudo journalctl -b -u "$APP_UNIT" -n 80 --no-pager
sudo journalctl -b -u "$WEB_UNIT" -n 80 --no-pager

如果某一步失败,应停止继续启动后续依赖,不要直接执行一组循环重启。尤其是数据库和后台消费者,重复启动可能造成锁竞争、重复消费或错误重试。

后台 worker、队列消费者和定时任务应在 API 与数据层确认稳定后再恢复。若业务有维护开关、调度暂停或流量闸门,应继续保持暂停状态,先完成本机验证。恢复消费者前,还要确认:

  • 队列连接正常。
  • 数据库连接正常。
  • 任务不会因为重启重复执行。
  • 文件目录和临时目录可以写入。
  • 任务失败重试不会在恢复瞬间集中放大。

只有本机服务、数据依赖和健康接口都通过后,才可以恢复外部流量或解除维护页面。

业务恢复不仅涉及磁盘和服务,也包括承载应用与数据的运行资源及对外入口。A5idc数据在中国台湾台北提供多种物理服务器方案,涵盖不同处理器、内存及SSD/NVMe存储配置,可用于部署网站、业务后台和数据服务;同时提供域名与SSL证书业务,支持网站和接口使用HTTPS连接,覆盖业务运行环境与访问入口的相关需求。

常见异常与处理边界

现象常见原因处理重点
lsblk 能看到设备,但 findmnt 没有对应挂载UUID 不匹配、fstab 配置错误、挂载单元失败停止依赖该目录的服务,核对 UUID 和挂载点后再处理
业务目录存在,但来源变成根文件系统数据盘未挂载,应用提前创建了目录不要继续写入;先停止应用,确认错误目录中是否已有新数据
挂载参数出现 ro文件系统错误、底层 I/O 异常或人为只读保护保存日志和数据,优先快照或备份,禁止盲目强制改为读写
磁盘空间不足日志、临时文件、缓存或业务数据增长先定位占用来源,再按保留策略清理,不要直接递归删除
inode 用尽但容量仍有剩余大量小文件或异常生成的临时文件找出小文件集中目录,确认业务影响后再清理
服务显示 failed配置错误、依赖未就绪、权限错误或数据目录不可用查看当前启动日志和退出码,不要连续重启
服务显示 active,但没有监听端口主进程未完成初始化、监听配置错误或启动后卡住检查 MainPID、日志、配置和端口占用
端口被其他进程占用旧实例、测试程序或服务重复启动先用 ss 确认进程身份,只停止已确认的进程
系统状态为 degraded某个非核心服务或挂载单元失败查看 systemctl --failed,判断是否影响本次业务,不要简单忽略
本机健康检查成功,但业务入口失败Web 配置、外部流量入口或上游依赖尚未恢复保持维护状态,分别验证本机服务与外部入口,避免把问题归咎于磁盘

数据盘缺失时的处理

如果数据盘设备存在但没有挂载,首先确认应用是否已经启动并写入了错误目录。如果应用已运行,应先停止相关写入服务,保留错误目录,不要立即删除或覆盖。

随后核对:

sudo lsblk -f
sudo blkid
findmnt
sudo cat /etc/fstab

确认设备、UUID、文件系统类型和挂载点一致后,再针对单个挂载点处理。挂载成功后,要重新执行:

findmnt -T /srv/app/uploads
df -hT -- /srv/app/uploads
namei -om /srv/app/uploads

如果错误目录中已经产生了新文件,应先记录目录大小、文件数量和修改时间,再根据业务规则决定是否迁移。不要把错误目录和正确数据目录直接合并,否则可能覆盖旧文件或造成重复数据。

服务失败时的处理

服务失败后,建议先保存状态和日志:

SERVICE=myapp.service

sudo systemctl status "$SERVICE" --no-pager -l
sudo systemctl show "$SERVICE" \
  -p ActiveState \
  -p SubState \
  -p Result \
  -p ExecMainStatus \
  -p MainPID
sudo journalctl -b -u "$SERVICE" --no-pager

如果本次维护之前修改过 unit 文件、环境变量或配置文件,应优先与已确认的备份版本比较。若确实修改过 systemd unit 文件,重新加载配置后再进行一次有控制的启动:

sudo systemctl daemon-reload
sudo systemctl start "$SERVICE"

daemon-reload 只重新读取 unit 配置,不等于修复应用本身。启动后仍要检查服务日志、监听端口、数据目录和健康接口。

修改过挂载或服务配置后的恢复路径

恢复操作本身也可能产生新的变更,因此应保留原始配置和现场证据。建议按以下顺序处理:

  1. 保持外部流量、后台任务或定时任务处于暂停状态。
  2. 保存当前挂载表、失败单元、内核日志和服务日志。
  3. 对照变更前的已知版本,确认是挂载配置、服务配置还是数据状态发生变化。
  4. 只回退已经确认有问题的文件或参数,不要把所有配置一次性替换。
  5. 回退后重新验证配置语法、挂载关系和服务依赖。
  6. 重新启动必要服务,并重新执行业务健康检查。

保存现场信息可以使用本地临时文件,但要注意日志中可能包含路径、用户名、请求信息或其他敏感内容:

STAMP=$(date +%F-%H%M%S)

sudo findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS \
  > "/tmp/findmnt-$STAMP.txt"

sudo systemctl --failed --no-pager \
  > "/tmp/systemd-failed-$STAMP.txt"

sudo journalctl -b -p warning..alert --no-pager \
  > "/tmp/journal-warning-$STAMP.txt"

如果需要恢复 /etc/fstab,只有在备份文件来源明确、内容已核对且当前配置确实是问题来源时才执行。恢复后先验证:

sudo cp -a /etc/fstab "/etc/fstab.before-restore.$(date +%F-%H%M%S)"
# 将已核对的备份文件恢复为 /etc/fstab
sudo findmnt --verify --verbose

不要在没有确认设备映射的情况下,把其他服务器的 fstab、服务 unit 或挂载参数直接复制过来。设备名称、UUID、目录结构和文件系统类型可能不同,错误配置会让下一次启动再次失败。

恢复业务前的验收清单配图

恢复业务前的验收清单

验收项检查方式通过标准
当前启动完成systemctl is-system-running系统不再处于启动中,并已处理异常状态
失败单元systemctl --failed核心挂载和核心服务没有未解释的失败
设备识别lsblk -f、blkid预期设备、UUID 和文件系统类型存在
实际挂载findmnt每个关键挂载点的来源正确
业务路径来源findmnt -T 业务路径上传、数据和运行目录没有落到错误文件系统
挂载参数findmnt -no OPTIONS需要写入的目录不是异常只读状态
空间与 inodedf -hT、df -ih有足够的空间和 inode 余量
服务权限namei、服务用户 test运行用户可以进入并访问必要目录
数据库与依赖服务状态、应用连接或已有健康检查依赖服务已就绪,而不只是进程存在
应用服务systemctl status、启动日志服务状态正常,退出码和日志无新错误
监听状态ss -lntup端口由预期进程监听,绑定地址符合配置
本机健康状态现有健康接口或只读检查返回结果符合业务定义的“就绪”条件
后台任务worker、消费者、定时器状态已确认不会造成重复执行或异常堆积
外部恢复维护开关或流量入口本机验证完成后再逐步恢复流量

最后的判断标准不应是“所有服务都显示运行”,而应是“本次业务所依赖的文件系统、目录、服务和接口都已达到预期状态”。只要关键数据盘来源不明确、业务目录可能落到根盘、文件系统处于异常只读状态,或核心服务的依赖关系尚未验证,就应继续保持维护状态,先完成修复和复核,再恢复业务入口。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9933.html

相关推荐