Linux systemd启动耗时怎么分析?如何找出拖慢启动的服务

发布人:A5数据发布时间:2026-11-05 17:50阅读量:75

一台服务器从按下重启到能够处理请求,可能经历固件、内核、systemd 启动服务和应用预热等阶段。看到 systemd-analyze blame 中某个服务耗时最长,不能立即认定它拖慢了启动:服务可能与其他任务并行运行,也可能虽然完成得很快,却在等待一个迟迟未就绪的依赖。

分析 systemd 启动耗时,先确定要缩短的是“到达系统目标”的时间,还是“业务开始正常响应”的时间;再用 systemd-analyze time 确定慢在哪个阶段,用 critical-chain 找出阻塞目标的依赖链,最后结合日志及 CPU、内存、I/O 指标解释等待原因。只有服务位于关键路径、耗时稳定复现,而且缩短它确实能改善目标时间,才值得优先调整。

先定义测试终点:开机完成不等于业务可用

性能分析需要一个可重复的终点。对于通用计算节点,可以观察 multi-user.target 的到达时间;对于 Web 服务,更有意义的终点通常是健康检查首次成功、能够完成一次真实请求,或者后台任务开始正常消费。

这几个时间不能混用:

测试终点回答的问题主要验证方式
systemd 启动完成systemd 启动事务何时到达预定目标systemd-analyze time
指定服务完成启动该服务及其依赖何时完成 systemd 定义的启动过程systemd-analyze critical-chain 服务名、服务日志
业务可用应用何时能按预期处理请求外部健康检查与应用日志

例如,机器在重启后约 20 秒到达 multi-user.target,但应用到第 35 秒才通过健康检查,那么优化前 20 秒的 systemd 路径未必能解决主要问题。数据库连接建立、缓存加载、应用自身的异步初始化,都可能发生在服务被 systemd 视为“已启动”之后。

开始排查前,至少记录重启起点、systemd 目标到达时间和业务首次可用时间。对外提供服务的机器,最好由另一台监测机器定时发起健康检查;登录服务器后再手工执行一次 curl,只能得到当时的请求耗时,不能还原开机以来等待了多久。

先定义测试终点:开机完成不等于业务可用配图

三个命令分别看什么

先在已启动的系统上读取本次开机的时间分布。以下命令适用于使用 systemd 的 Linux 系统;示例中的 app.service 应替换为实际服务名。

systemd-analyze time
systemd-analyze blame
systemd-analyze critical-chain multi-user.target
systemd-analyze critical-chain app.service

systemd-analyze time 给出内核阶段、用户空间阶段等时间;固件、引导加载器、initrd 等字段是否出现,取决于启动环境和可获取的时间信息。它适合先判断问题主要在进入 systemd 之前,还是在用户空间阶段。若主要时间花在固件或内核阶段,继续对 systemd 服务排序通常不会找到主要原因。

systemd-analyze blame 按单元的启动耗时排序,适合寻找值得核查的对象,但排序第一不等于对总启动时间贡献第一。它显示的是单元自身的启动时间,不是“关掉它后可以节省的时间”。并行启动的两个服务,即使各耗时 8 秒,也不能简单相加为 16 秒。部分服务的启动动作还可能很快被 systemd 视为完成,实际应用准备时间不会完整反映在这里。

systemd-analyze critical-chain 展示到达指定单元所经过的时间关键链。输出中的 @ 表示单元开始启动的相对时间,+ 表示其启动耗时。沿链查看,可以判断是服务本身执行得慢,还是它开始得晚、被前置依赖挡住。关键链反映 systemd 的依赖与启动顺序;它并不自动证明某个服务内部为什么慢。

用时间线判断谁真正拖慢了启动

下面是一组用于说明判断方法的示例数据:用户空间启动耗时约 18.6 秒,multi-user.target 在用户空间启动后约 18.3 秒到达。关键链简化如下:

multi-user.target @18.3s
└─app.service @12.0s +6.3s
  └─mnt-data.mount @8.0s +4.0s
    └─network-online.target @7.9s
      └─systemd-networkd-wait-online.service @0.2s +7.7s

这条链给出三个不同的判断,而不是一个“最慢服务”名单:

  1. app.service 从第 12.0 秒开始,约耗时 6.3 秒,直接影响此例中目标的到达时间,应核查应用启动过程。
  2. 挂载单元耗时约 4.0 秒,并位于应用之前。如果应用必须先访问该目录,挂载就是实际前置条件;如果只是非核心数据目录,则需要核查是否有必要让它阻塞应用。
  3. 网络在线等待耗时约 7.7 秒,位于链的更前面。但不能仅凭这个数字禁用等待:要先确认挂载及应用是否必须在网络达到相应状态后启动。

反过来,假设 blame 中另一个日志处理服务耗时 10 秒,却与这条链并行,而且既不阻塞 multi-user.target,也不影响业务健康检查,那么优化它可能改善该服务自身的可用时间,却未必缩短当前关注的启动时间。

用时间线判断谁真正拖慢了启动配图

可用一个实用的优先级标准筛选对象:同时满足位于目标关键链、耗时在多次启动中反复出现、与业务可用时间相关。例如启动目标是 20 秒以内,某项等待稳定占去约 8 秒,就值得先查;若它偶尔出现一次,或不在目标路径上,应先补足证据,而不是改配置。

把等待时间与 CPU、内存、I/O 联系起来

关键链说明“时间花在哪里”,资源指标和日志才帮助回答“为什么花在那里”。先查看本次启动的单元日志和系统日志:

journalctl -b -u app.service -o short-monotonic
journalctl -b -u systemd-networkd-wait-online.service -o short-monotonic
journalctl -b -o short-monotonic

short-monotonic 便于按本次开机后的相对时间对齐事件。示例使用 systemd-networkd-wait-online.service,仅适用于实际采用该服务的系统;若使用其他网络管理组件,应先确认本机的单元名称。查看上一次启动可尝试 journalctl -b -1,但前提是此前的日志已被保留,不能把查询不到旧日志解释为当时没有报错。

判断资源瓶颈时,重点看启动慢的那段时间,而非登录后空闲时的瞬时状态:

同时观察到的现象更值得核查的方向不宜直接得出的结论
服务启动期间 CPU 持续繁忙,应用日志显示编译、扫描或大量初始化应用启动工作量、进程并发与 CPU 竞争CPU 占用高就一定需要增加 CPU
I/O 等待较高,磁盘读写延迟上升,挂载或数据加载耗时同步增加存储响应、随机读写、启动时集中加载blame 中显示挂载慢,就一定是磁盘故障
可用内存紧张,并出现频繁换页或内存回收内存容量、启动时并发拉起的进程仅凭某一刻内存使用率高判定内存不足
网络等待时间长,日志显示接口、地址获取或链路就绪较晚网络配置、网络管理服务与远程资源依赖network-online.target 到达就代表远端服务可访问

vmstat 1 可辅助观察 CPU、运行队列、内存换页及 I/O 等待;安装了 sysstat 的环境可用 iostat -xz 1 观察设备读写与延迟。但这些命令若在登录后才运行,往往错过启动初期的峰值。对于偶发问题,应提前安排启动期间的监测或利用已有监控记录,再与 journal 时间线对齐。

尤其要区分“服务启动慢”和“服务在等别人”。如果 app.service 直到第 12 秒才开始,而自身只运行了 1 秒,应优先查它的前置依赖;如果它第 2 秒就开始、到第 18 秒才完成,则应重点查服务内部初始化及其资源消耗。必要时可核对依赖声明:

systemctl show app.service -p Type -p After -p Wants -p Requires
systemctl cat app.service

After= 主要规定顺序,本身不意味着一定会拉起对方;Wants= 和 Requires= 涉及依赖关系。判断时要结合实际单元内容与关键链,而不是只看到一个依赖名称就认为它阻塞了启动。

结果怎么解释,何时才值得改动

常见的误判是把 network-online.target 当成“互联网或数据库已可访问”。它主要表示网络管理侧达到其定义的在线状态,不替代对具体远端服务的连接检查。远程挂载、启动时必须连接外部服务的应用,可能确实需要相关等待;纯本地任务则未必需要被这条路径阻塞。是否调整依赖,应由实际访问要求决定。

另一个边界是服务的启动类型。对于某些服务,systemd 认为启动命令已经执行,并不代表应用已完成预热或能处理请求。因此,当 critical-chain 显示 app.service 很快完成,而外部健康检查仍持续失败,应转看应用日志、健康检查结果及服务的就绪通知机制,不能据此宣布“systemd 启动已优化完成”。

决定优化顺序时,可以把候选项分成三类:

  • 目标关键链上的稳定长耗时:先查日志和资源竞争,再判断能否缩短自身工作或解除不必要的前置等待。
  • 不在关键链、但影响业务首次可用的任务:以业务健康检查为终点分析,而不是强行追求更短的 multi-user.target 时间。
  • 仅在 blame 中排名靠前、两类终点都不受影响的任务:暂不作为启动时间优化重点。

对生产服务器,不宜为了让数字变小就直接禁用网络等待、远程挂载或应用依赖。任何依赖调整都可能让启动“更快”,同时让请求更早遇到数据目录不可用、连接失败或初始化未完成。涉及单元文件修改时,先保存原配置并确认影响的服务;变更后同时验收启动时间和业务功能,若出现依赖失效,恢复原配置并重新加载 systemd 配置。

按相同条件复测,而不是只比较两次数字

一次重启只能说明一次启动过程。复测时保持内核版本、服务配置、数据规模和业务负载尽量一致,分别记录 systemd-analyze time、目标关键链及业务首次健康检查成功时间。至少比较多次启动中的中位数和较慢的一次,并单独标记首次启动、更新后的启动、缓存较热的重启,避免把不同条件混成一组。

例如,调整后 multi-user.target 从约 18 秒降到 12 秒,但业务健康检查仍在约 35 秒才成功,那么系统目标的改善是真实的,业务启动瓶颈却尚未消除。相反,目标时间几乎不变而业务可用时间明显提前,说明改动影响的是目标之外的应用准备过程。

最终的容量判断也应落在业务终点上:当启动期间 CPU 或 I/O 已持续饱和,且数据规模或同时启动的进程数量增加会拉长健康检查时间时,需要评估资源余量与启动并发;若资源并未饱和,时间主要消耗在固定超时、依赖等待或远端响应上,单纯增加 CPU 和内存通常不是优先解法。

A5idc数据提供中国香港、美国、日本等地区的物理服务器,涵盖不同档位的Xeon、AMD EPYC处理器,以及内存、SSD和NVMe存储配置,可为数据库加载、应用初始化和多服务并行启动提供计算与I/O资源基础。面向跨地区访问的Web服务和业务接口,也有不同部署地区、线路与带宽的产品选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7751.html

相关推荐