Linux服务器上的服务启动失败,如何根据systemd状态与日志定位原因?

发布人:A5数据发布时间:2026-10-24 10:12阅读量:147

服务启动失败时,影响可能只限于单个进程,也可能扩展到依赖它的站点、接口或定时任务。systemctl 显示 failed 只能说明 systemd 没能让服务进入预期状态,不能单凭这个状态判断是端口冲突、权限不足、依赖未就绪,还是应用自身配置错误。排查时应先确认故障范围和失败时间,再结合 unit 状态、系统日志及应用日志逐层缩小原因。

先确认故障范围和服务状态

排查前记下服务名称、首次失败的大致时间、最近是否有配置或软件变更,以及受影响的功能。服务名称不一定等于软件名称,例如 Nginx 通常对应 nginx.service,但具体名称应以系统实际安装的 unit 为准。

systemctl list-units --type=service --state=failed
systemctl status nginx.service --no-pager -l

systemctl status 末尾显示的几行日志适合快速查看,但可能被截断,不能代替完整日志。重点记录以下信息:

  • Loaded:unit 是否存在、是否被禁用,配置文件从哪里加载。
  • Active:服务当前状态,以及进入该状态的时间。
  • Main PID:主进程是否创建;若为空,不代表问题一定发生在应用内部。
  • Result、ExecStart 和退出码:systemd 记录的启动结果及启动命令。
  • 状态末尾的日志:是否出现端口占用、文件不存在、权限拒绝、配置解析失败等线索。

常见状态的含义并不相同:

状态或结果表示什么下一步重点
failed启动或运行未达到 unit 预期状态查对应时间段的 journal 和退出码
inactive (dead)当前未运行,不一定是故障查看是否本来就不需要常驻,或服务是否已正常退出
activating仍在启动流程中检查启动超时、依赖等待及启动脚本是否阻塞
active (exited)启动命令已退出,但 unit 认为任务完成核对 Type= 与服务的运行方式是否匹配
start-limit-hit短时间内多次启动失败,触发频率限制先查最初失败原因,不要只清除限制后反复重启

也要区分“服务启动失败”和“服务启动成功但外部不可访问”。如果状态是 active (running),而客户端仍无法连接,问题可能在监听地址、防火墙、路由或应用响应,而不是 systemd 启动阶段。

建立原因树:日志先指向哪一层

可以把原因分成四层:systemd unit 与依赖、主机资源与权限、监听端口与网络、应用配置与运行环境。日志中的错误通常能指向其中一层,但需要结合启动命令和现场状态验证。

建立原因树:日志先指向哪一层配图

读取完整的服务日志

先查看本次启动附近的日志,再按需要扩大时间范围:

sudo journalctl -u nginx.service -b --no-pager -n 200
sudo journalctl -u nginx.service --since "30 minutes ago" --no-pager

-b 表示当前系统启动周期;如果故障发生在上一次系统启动中,可以使用 -b -1,前提是系统保留了持久化日志。时间范围应结合故障时间选择,不要只盯住日志最后一行:真正的错误可能出现在后续的 systemd 汇总信息之前。

查看系统级启动和依赖相关信息时,可按时间筛选:

sudo journalctl -b --since "30 minutes ago" --no-pager

如果 journal 中没有应用的详细报错,还要检查软件自身的日志。应用日志可能写入文件、标准输出、独立日志服务或数据库;具体位置取决于软件配置,不能仅凭软件名称推定路径。

检查 unit 配置和 systemd 执行结果

systemctl cat nginx.service
systemctl show nginx.service \
  -p FragmentPath -p DropInPaths -p Type -p User -p Group \
  -p ExecStart -p ExecStartPre -p ExecStartPost \
  -p Restart -p Result -p ExecMainCode -p ExecMainStatus

systemctl cat 可以看到主 unit 及其覆盖配置;systemctl show 则便于核对 systemd 实际解析出的关键属性。尤其关注 ExecStart、User、Group、Type 和 Restart:

检查unit配置和systemd执行结果配图

  • ExecStart 指向的程序或参数是否有效。
  • User、Group 对文件和目录是否有必要的访问权限。
  • Type 是否符合程序的启动方式。例如,程序在后台自行派生进程,却被配置成需要前台常驻时,systemd 可能无法正确判断启动完成。
  • 是否有 ExecStartPre 等启动前命令失败。主程序未启动,不一定是主程序本身报错。

看到配置变更后,先用 systemd-analyze verify 检查相应 unit 文件是否存在语法问题。只有修改了 unit 或 drop-in 配置,才需要让 systemd 重新读取配置:

sudo systemd-analyze verify /etc/systemd/system/example.service
sudo systemctl daemon-reload

第二条命令会重新加载 systemd 配置,不会自动修复应用配置。不要为了“刷新一下”而随意改写 unit 文件;先确认实际生效的配置文件路径,再针对错误项处理。

逐层排除启动失败原因

1. 先看依赖和启动顺序

如果日志包含 Dependency failed、dependency job failed、After= 相关等待或启动超时,应检查该服务依赖的 unit 是否存在并处于预期状态:

systemctl list-dependencies nginx.service
systemctl status network-online.target --no-pager

After= 主要规定启动顺序,不代表被列出的服务一定会被自动启动;Requires=、Wants= 等关系才涉及依赖拉起行为,但具体效果还受 unit 配置影响。不要因为看到服务依赖网络,就直接认定网络是根因:应继续确认依赖 unit 是否失败,以及应用是否真的必须等待网络就绪。

若依赖服务本身失败,先对依赖服务执行相同的状态和日志检查,沿依赖链找到第一个真实错误。若依赖均正常,而当前服务仍等待或超时,再检查 unit 的启动超时设置和应用的启动流程。

2. 检查端口是否被占用,以及应用是否需要该端口

端口冲突常见于日志出现 Address already in use、bind failed、could not bind 等信息。先确认具体端口和协议,再检查监听进程:

逐层排除启动失败原因:检查端口是否被占用配图

sudo ss -lntup
sudo ss -lxnp

第一条查看 TCP/UDP 监听端口,第二条查看 Unix 域套接字。查到目标端口后,核对监听地址、进程名及进程是否确实属于预期服务。也要检查是否有旧进程仍占用端口,或配置让两个服务监听同一地址和端口。

不要直接终止占用端口的进程。先识别它的归属和用途;如果属于另一个正常服务,应调整其中一个服务的监听配置,或按变更流程停止对应服务。修改配置前保存原文件并确认影响范围,修改后用应用自带的配置检查命令验证,再安排重启;若结果不符,恢复备份配置。

如果服务显示已运行,但外部连接失败,端口监听只是其中一项检查。服务可能只绑定在 127.0.0.1,而客户端连接的是服务器公网地址;也可能受到主机防火墙、云侧访问规则、路由或上游网络限制。此时要区分“本机没有监听”“本机可访问但外部不可访问”和“连接成功但应用返回错误”,不能把网络访问问题一概归为启动失败。

3. 检查权限、路径和系统资源

日志出现 Permission denied、No such file or directory、无法创建 PID 文件或写入日志时,核对路径是否存在,以及运行账户是否有权限访问路径本身及其上级目录。以 unit 中实际的 User=、Group= 为准,不要只检查当前登录账户。

namei -l /var/log/example/app.log
df -h
df -i
free -h

namei -l 可逐层显示路径权限;df -h 检查磁盘空间,df -i 检查 inode 是否耗尽,free -h 粗略查看内存状况。磁盘空间或 inode 用尽时,应用可能无法写日志、创建临时文件或生成运行文件;内存不足则可能导致进程被系统终止。若日志出现 Out of memory 或内核记录的 OOM 信息,应进一步查看内核日志:

sudo journalctl -k -b --no-pager

不要用递归修改所有者或开放全局读写权限来“试着解决”。这类操作可能扩大安全影响,且不能保证修复 systemd 沙箱限制、SELinux/AppArmor 策略或错误路径。确认具体文件、服务运行身份和所需访问方式后,再按最小范围调整,并记录原权限以便回退。

在启用了 SELinux 或 AppArmor 的系统上,传统文件权限看起来正常,访问仍可能被策略拒绝。应核对相应安全审计日志和策略告警;不要为了排障直接长期关闭强制访问控制。不同发行版的工具和日志位置可能不同,应先确认系统实际启用的安全模块。

4. 检查应用配置、环境变量和运行时依赖

如果 systemd 能执行启动命令,但日志出现配置解析错误、模块缺失、密钥或证书无法读取、数据库连接失败等信息,问题多半在应用层或其运行环境。优先使用应用提供的配置校验命令,并与当前生效配置逐项核对。

重点检查:

  • 配置文件语法、引用文件路径和文件权限。
  • Environment=、环境文件及启动脚本依赖的变量。交互式登录环境中的变量通常不会自动传入 systemd 服务。
  • 程序版本、运行时或动态库是否与最近变更相符。
  • 外部数据库、DNS 或其他服务是否可达,以及应用在启动时是否有合理的等待和重试机制。
  • 证书、私钥、日志目录和临时目录是否存在,并能被服务账户读取或写入。

对应用自身报错,不能只靠 systemctl restart 判断是否恢复。若配置检查失败或外部依赖不可用,重启通常只会重复失败,甚至触发启动频率限制。

用日志和状态相互印证根因

下面是一个示例日志,用于说明判断过程,并非对某台服务器的检查结果:

nginx.service: Failed to start A high performance web server.
nginx: [emerg] bind() to 0.0.0.0:443 failed (98: Address already in use)

这组信息提示应用绑定 443 端口失败。下一步应使用 ss 找出监听该端口的进程,再核对它是否为预期服务、是否存在重复实例或监听配置冲突。只有确认占用进程归属后,才决定调整配置或按变更流程处理进程,不能直接据此认定防火墙有问题。

另一个示例:

example.service: Main process exited, code=exited, status=1/FAILURE
example: cannot open configuration file: Permission denied

这表示启动进程退出,应用还报告无法读取配置。应结合 unit 中的 User=、文件权限、路径各级目录权限及安全策略审计记录判断。status=1 只说明进程以状态码 1 退出,不能单独说明具体原因。

较可靠的根因判断通常具备三项证据:状态信息指出失败发生在哪个启动阶段;日志给出明确错误或失败对象;针对该对象的现场检查能够复现或验证问题。例如,日志报端口占用,ss 又确认另一个进程监听同一地址和端口,证据链才较完整。

用日志和状态相互印证根因配图

修复后验证恢复

找到原因并实施最小范围的修复后,再启动服务并检查状态、日志和业务访问:

sudo systemctl start nginx.service
systemctl status nginx.service --no-pager -l
sudo journalctl -u nginx.service --since "5 minutes ago" --no-pager

如果服务此前已处于失败状态,使用 start 启动;若服务正在运行且需要加载新配置,是否使用 reload 或 restart 取决于软件是否支持平滑重载,以及变更是否要求重建进程。重启可能中断现有连接或业务,应先评估影响窗口。只有确认服务可安全中断时再执行。

验证不能只看 active (running)。还应确认:

  • 主进程持续运行,没有很快退出或反复重启。
  • 服务监听了预期地址和端口,且没有新的端口冲突。
  • 应用配置检查通过,日志中没有重复出现原始错误。
  • 从服务器本机及适当的外部网络路径验证业务接口、页面或健康检查。
  • 依赖该服务的任务恢复正常。

systemctl reset-failed 只会清除失败标记和启动频率限制,不会修复根因。只有在修复已经完成、确实需要重新尝试启动时,才考虑使用;若原始错误仍存在,清除标记后反复启动只会制造更多噪声日志。

关注复发信号

服务恢复后,保留故障时间、关键日志、unit 配置变更和处理结果,便于与后续事件对照。对关键服务,可监控 systemd 失败状态、进程重启次数、端口监听变化、磁盘空间与 inode、内存压力,以及应用健康检查结果。出现 start-limit-hit、同一错误短时间重复、磁盘持续接近满载或依赖服务频繁失败时,应在影响扩大前检查,而不是等到服务完全不可用后再从头排查。

服务能否持续运行,也与承载它的计算、存储和网络资源有关。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖常规建站、AMD计算、存储和多IP等产品方向,并提供不同CPU、内存、磁盘及线路配置,可为网站、业务后台、数据库和接口服务提供相应的部署资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5426.html

相关推荐