Linux启动耗时集中在systemd阶段,怎样定位拖慢启动的服务?

发布人:A5数据发布时间:2026-11-05 10:40阅读量:112

systemd阶段耗时较长,并不等于systemd本身处理缓慢。systemd-analyze time显示的是用户空间启动总时长,其中包含服务启动、挂载、设备等待、网络初始化、数据库恢复以及应用自身的就绪过程。定位拖慢启动的服务,不能只看耗时最长的列表,而要把 blame、依赖链、日志时间戳和CPU、内存、磁盘、网络指标放在同一条证据链中判断。

通常先用 systemd-analyze blame找出候选服务,再用 systemd-analyze critical-chain确认它是否位于目标启动路径上。如果一个服务启动用了20秒,但与登录、业务服务并行执行,且不在关键链路中,它未必是启动变慢的原因;反过来,一个只耗时3秒、但位于多个关键服务之前的网络或挂载单元,可能更值得优先处理。

先确定要测量的启动目标

“启动完成”需要先定义。服务器可能有几种不同的目标:

  • SSH可以连接;
  • 网络地址已经配置;
  • network-online.target完成;
  • 数据库可以接受连接;
  • 应用端口开始监听;
  • 应用健康检查返回成功;
  • 默认target或图形界面完全进入工作状态。

如果目标是“机器可以登录”,就不应把某个不影响登录的后台服务耗时直接视为故障。如果目标是“应用可以接收请求”,则需要把数据库、挂载目录、网络连接和应用健康检查纳入启动路径。

先确认系统版本和默认启动目标:

systemd-analyze --version
systemctl get-default

随后查看本次启动的整体耗时:

systemd-analyze time

示例输出如下,数据为便于说明构造的参考值:

Startup finished in 3.214s (firmware) + 1.086s (loader) + 2.478s (kernel) + 18.732s (userspace) = 25.510s

这里的 userspace 才是systemd及其管理服务的主要耗时范围。固件、引导加载器和内核耗时较高时,单纯调整systemd服务不会解决问题。

建议把测试目标和指标对应起来:

测试目标主要指标判断重点
进入可管理状态userspace总时长、SSH服务就绪时间网络、认证、磁盘挂载
应用开始监听应用服务Active时间、端口监听时间应用启动、依赖服务
数据库可用数据库就绪日志、连接成功时间恢复、日志回放、磁盘I/O
启动稳定性多次启动的平均值、P95、最大值是否存在超时、重试、资源争用
容量判断启动时CPU、内存、I/O峰值及持续时间是否需要扩容或调整启动并发

单次启动只能说明一次状态。磁盘缓存、数据库恢复、DHCP响应和后台任务都会造成波动,正式判断应至少采集数次冷启动或重启数据,并保持内核、服务配置和业务负载基本一致。

关键指标分别表示什么

blame反映服务激活耗时

查看服务启动耗时:

systemd-analyze blame --no-pager

示例:

10.021s systemd-networkd-wait-online.service
 8.744s cloud-init.service
 6.218s docker.service
 4.806s database.service
 1.392s systemd-udev-settle.service

这类列表适合发现候选对象,但不能直接等同于“对启动总时长的贡献”。原因有三个:

  1. systemd会并行启动许多服务,多个服务的耗时可能重叠;
  2. 某个服务可能没有被默认target依赖,耗时很长但不阻塞目标;
  3. 服务的“激活完成”不一定等于应用真正可用,具体还取决于Type=、就绪通知和应用自身行为。

例如,两个服务分别耗时10秒和8秒。如果它们并行且互不依赖,理论上对关键路径的贡献可能接近10秒,而不是18秒。如果第二个服务必须等待第一个服务完成,则关键路径才可能接近18秒。

critical-chain反映依赖链上的等待

查看默认启动目标的关键链:

systemd-analyze critical-chain default.target

如果重点是网络完成,可以查看:

systemd-analyze critical-chain network-online.target

示例:

default.target @18.732s
└─application.service @17.945s +0.787s
  └─database.service @13.106s +4.839s
    └─network-online.target @12.980s
      └─systemd-networkd-wait-online.service @2.920s +10.021s

这里需要关注两类时间:

  • @表示该单元在本次启动中的时间位置;
  • +表示该单元自身激活所占用的时间。

如果systemd-networkd-wait-online.service位于关键链,并且占用了10秒,它比一个不在关键链上的20秒后台服务更值得优先分析。

关键指标分别表示什么/critical-chain反映依赖链上的等待配图

userspace总时长不能简单相加

systemd启动属于并行调度过程,可以用下面的关系理解:

启动总时长 ≈ 关键依赖链上的串行耗时 + 关键节点之间无法重叠的等待时间

因此:

  • systemd-analyze time用于观察总体结果;
  • systemd-analyze blame用于筛选耗时服务;
  • systemd-analyze critical-chain用于确认真正的阻塞路径;
  • 日志和资源监控用于解释服务为什么耗时。

只有三者指向同一个服务或依赖环节,才适合把它认定为主要瓶颈。

影响systemd启动时间的变量

依赖关系和并行度

查看一个服务的依赖和启动顺序:

systemctl show example.service \
  -p Type \
  -p After \
  -p Before \
  -p Wants \
  -p Requires \
  -p TimeoutStartUSec

查看实际单元文件和覆盖配置:

systemctl cat example.service

重点核对以下内容:

  • After=只控制顺序,不代表一定会拉起另一个服务;
  • Requires=或Wants=可能导致额外服务被启动;
  • network-online.target可能引入网络等待;
  • RequiresMountsFor=可能等待磁盘、远程文件系统或设备;
  • TimeoutStartSec=过大时,故障服务可能长时间占用启动路径;
  • Type=forking、Type=notify和Type=simple决定systemd何时认为服务已经启动。

特别是Type=simple的服务,进程成功执行后systemd可能很快将其视为已启动,但应用还没有完成端口监听或数据库连接。此时blame显示的时间可能与用户真正等待的“应用可用时间”不一致。

启动时的资源争用

服务启动会同时消耗CPU、内存、磁盘和网络资源。多个服务并行启动时,资源总量不足会把原本较短的任务放大。

常见影响变量包括:

  • CPU核心数、虚拟机CPU调度和启动时进程并发量;
  • 可用内存、交换分区是否启用、页面回收和大内存缓存恢复;
  • 系统盘类型、随机读写延迟、文件系统检查和日志回放;
  • DNS响应、DHCP、路由、远端挂载和内部服务连接;
  • 应用是否执行迁移、缓存预热、密钥加载或配置解析;
  • 数据库是否需要恢复WAL、redo、事务日志或重建缓存。

因此,“systemd阶段变慢”只是结果表现,真正瓶颈可能在数据库磁盘恢复,也可能在网络服务等待DNS。

一套可执行的定位步骤

第一步:记录总体耗时和候选服务

先保存当前启动的关键结果:

systemd-analyze time
systemd-analyze blame --no-pager
systemd-analyze critical-chain default.target

如果系统使用图形目标,也可以查看:

systemd-analyze critical-chain graphical.target

不要只记录前几名服务。建议至少保留前10到20项,并记录它们是否出现在关键链中。

如果需要查看可视化启动关系,可以生成SVG文件:

systemd-analyze plot > /tmp/systemd-boot.svg

该文件可以复制到管理终端查看。输出主要用于观察服务的并行区间、依赖关系和等待空洞,不建议仅凭图形面积判断瓶颈。

第二步:确认服务是否真的阻塞目标

查看默认目标包含哪些依赖:

systemctl list-dependencies --all default.target

查看某个服务的当前状态:

systemctl status example.service --no-pager

查看启动任务队列。该命令在启动尚未完成时更有价值:

systemctl list-jobs

如果blame中某服务耗时很高,但它不在默认target的依赖树和关键链中,应将其归类为“后台启动耗时”,而不是“登录或业务启动阻塞”。

第三步:使用日志时间戳解释等待原因

查看本次启动中服务的日志:

journalctl -b 0 -u example.service -o short-monotonic --no-pager

查看本次启动的警告和错误:

journalctl -b 0 -p warning..alert -o short-monotonic --no-pager

如果服务名称不确定,可以先列出启动失败或异常单元:

systemctl --failed --no-pager

重点寻找以下日志特征:

  • start operation timed out:启动动作达到超时边界;
  • waiting for network、waiting for device:等待外部条件;
  • retrying、connection refused:连接失败后重试;
  • DNS timeout、Could not resolve:名称解析问题;
  • recovery、replay、redo、fsync:数据库或文件系统恢复;
  • permission denied、no such file:配置、挂载或权限问题;
  • 服务进程已经启动,但迟迟没有ready或端口监听日志:应用初始化慢。

如果某次耗时接近服务的启动超时值,应先调查失败和重试原因,不要直接通过缩短超时来掩盖问题。可以查看具体超时配置:

systemctl show example.service -p TimeoutStartUSec -p Result

第四步:在相同时间窗口采集资源指标

CPU和内存:

vmstat 1 5
free -h

如果系统安装了sysstat,还可以查看每个CPU的利用率:

mpstat -P ALL 1 5

磁盘I/O:

iostat -xz 1 5

这些指标的含义需要结合启动时间解释:

  • vmstat中的r长期高于可用CPU逻辑核心数,说明运行队列积压;
  • si和so持续非零,说明发生交换进出,内存压力可能拖慢服务;
  • wa较高,说明CPU时间大量等待I/O,但它本身不能证明磁盘是唯一瓶颈;
  • iostat中的await反映I/O平均等待时间,%util接近100%表示设备处于高占用;
  • free -h中的available比单纯的free更适合判断可分配内存。

如果已经确定具体进程,可以进一步观察其CPU、内存和I/O:

pidstat -dur -p <PID> 1 5

网络和DNS应使用与业务相同的内部域名或地址进行测试,不要用外部站点替代真实依赖。例如:

time getent hosts <内部服务域名>
ss -s

如果系统使用systemd-resolved,可以查看解析器状态:

resolvectl status
resolvectl statistics

这些命令需要在目标服务启动期间或复现问题时采集。启动完成后再运行,往往只能看到平稳状态,无法解释启动阶段的等待。

按瓶颈类型解释结果

CPU瓶颈:看运行队列和进程实际占用

CPU是主要瓶颈时,通常能同时观察到:

  • 关键服务启动期间进程CPU占用持续较高;
  • vmstat的r值长期高于可用核心数;
  • 多个服务同时进入计算密集阶段;
  • 日志没有明显网络超时、磁盘错误或重试;
  • 降低启动并发后,服务启动时间明显下降。

短暂的CPU峰值不一定构成瓶颈。比如4核服务器在启动时出现几秒钟接近100%的CPU利用率,只要运行队列没有明显堆积,且关键服务没有延迟,通常无需把CPU列为首要问题。

如果CPU确实受限,应先确认是哪一个进程消耗资源,再决定是减少启动并发、延后非关键任务,还是增加CPU配额。不能仅凭systemd服务名判断CPU归属,因为服务可能启动多个子进程。

内存瓶颈:看交换和回收,而不是只看已用比例

内存问题的典型证据包括:

  • available在服务启动期间快速下降;
  • si/so出现持续交换;
  • 日志出现OOM、进程被杀或分配失败;
  • 数据库、容器运行时或应用启动后频繁回收缓存;
  • 服务耗时与并发启动数量明显相关。

Linux把空闲内存用于缓存,因此“已用内存很高”不等于内存不足。更可靠的判断是可用内存、交换活动和主要进程的RSS变化是否与启动延迟同时出现。

如果服务启动只是读取大量文件,缓存预热可能短时间占用内存,但不一定需要扩容。只有当交换、回收或OOM与关键链延迟同时发生时,内存才应作为主要决策依据。

磁盘I/O瓶颈:区分带宽不足和单次延迟高

磁盘瓶颈在启动阶段常表现为:

  • iostat中的await升高;
  • %util长时间接近设备饱和;
  • vmstat中的wa同步升高;
  • 数据库恢复、日志回放、挂载检查或大量小文件读取集中出现;
  • 服务日志显示在读取配置、扫描目录或执行同步写入时停顿。

启动通常包含大量小文件和同步操作,即使总数据量不大,也可能受随机I/O延迟影响。不能用“读取了多少GB”单独判断启动性能,还要关注I/O请求大小、队列深度和等待时间。

如果数据库恢复期间磁盘延迟高,应先确认恢复是否由异常关机、日志积压或数据量增长引起,再考虑磁盘类型和容量。直接删除日志、数据库文件或恢复目录属于高风险操作,必须先完成备份、确认软件恢复机制,并准备可验证的回滚方案。

网络瓶颈:重点是等待和超时,不是吞吐量

启动期间网络瓶颈通常不是带宽不足,而是以下等待:

  • DHCP或地址配置未完成;
  • DNS解析超时;
  • 默认路由尚未建立;
  • 远程挂载等待;
  • 应用连接数据库、注册中心或配置中心失败后重试;
  • systemd-networkd-wait-online.service或其他wait-online服务等待网络状态。

network-online.target只表达“网络初始化达到某个实现定义的状态”,不保证远端应用、DNS服务器或数据库已经可用。某些场景中,wait-online服务等待的是网卡状态或地址,而应用随后仍会继续等待远端连接。

如果日志明确显示10秒、30秒或接近某个超时时间的重复等待,应优先检查DNS、路由、防火墙策略、远程依赖和服务重试间隔,而不是先增加CPU或调整systemd并发。

应用瓶颈:systemd只是等待应用报告就绪

应用自身可能在启动阶段执行:

  • 配置文件解析和环境变量检查;
  • 密钥、证书或远端配置加载;
  • 数据目录扫描;
  • 缓存构建;
  • 插件加载;
  • 数据库连接池创建;
  • 数据迁移和版本检查;
  • 监听端口前的预热任务。

这类问题的特征是系统总体资源并不饱和,但服务日志中的两个关键时间点相距较远,例如进程启动后很久才输出ready,或者端口监听时间明显晚于ExecStart执行时间。

应将服务日志、端口监听时间和systemd状态结合起来看:

journalctl -b 0 -u example.service -o short-precise --no-pager
ss -lntp
systemctl status example.service --no-pager

如果应用没有提供明确的就绪日志,建议在测试环境增加启动阶段的时间记录,而不是仅以systemd的Active状态作为业务可用时间。

数据库瓶颈:先区分恢复、锁等待和资源不足

数据库服务启动慢时,常见原因并不相同:

  • 异常关机后执行事务日志恢复;
  • redo或WAL回放量较大;
  • 数据文件和日志文件所在磁盘延迟高;
  • 启动时执行迁移或索引检查;
  • 数据库需要等待文件系统、密钥服务或远端存储;
  • 内存不足导致缓存重建或交换;
  • 应用连接过早建立,造成锁或初始化竞争。

数据库服务名因发行版和安装方式而异,可以先确认实际单元:

systemctl list-unit-files --type=service | \
  grep -Ei 'postgres|mysql|mariadb|redis'

再针对实际服务查看日志:

journalctl -b 0 -u <数据库服务名> -o short-monotonic --no-pager

如果日志显示数据库已经完成恢复,但应用仍无法使用,瓶颈可能在应用连接池、迁移脚本或健康检查,而不是数据库启动本身。数据库容量判断应同时看数据量增长、日志回放时间、磁盘延迟和可接受的恢复时间目标。

如何形成可执行的判断结论

可以使用下面的决策表避免把现象误判为原因:

观察结果更可能的原因下一步判断
blame耗时高,但不在关键链后台服务并行启动不作为登录或业务启动首要优化对象
关键链出现固定10秒、30秒或接近超时的等待网络、设备、DNS或依赖失败重试查日志中的等待和重试原因
CPU运行队列高,进程CPU持续满载CPU竞争或启动并发过高定位具体进程,再评估并发和CPU容量
wa、await、%util同步升高磁盘I/O瓶颈分析设备、文件系统、数据库恢复和小文件访问
可用内存下降且发生交换内存压力查主要进程、缓存策略和启动并发
系统资源平稳,但应用ready时间晚应用初始化慢检查配置、迁移、插件和远端依赖
数据库日志出现recovery、replay或fsync等待数据库恢复或存储瓶颈结合日志量、数据量和磁盘延迟判断
多次启动耗时差异很大超时、重试、缓存或外部依赖不稳定统计P50、P95和最大值,不只看平均值

需要特别注意两个决策边界。

第一,不能因为某服务在blame中排名靠前,就直接执行disable或mask。这可能导致依赖服务启动失败、应用缺少功能或下次重启无法恢复。如果确实要调整服务启用状态,应先记录当前状态和单元配置,确认该服务不是业务硬依赖,并在维护窗口执行。配置变更应保留回滚方式,例如恢复原有启用状态、删除临时override并执行必要的daemon-reload。生产环境不应把“缩短超时”作为第一种修复方法。

第二,不能因为userspace总时长较高,就笼统增加服务器配置。若证据指向DNS超时,增加CPU不会改善;若证据指向数据库磁盘恢复,增加内存也未必能缩短一次性恢复时间。扩容决策应建立在资源指标和业务目标上:例如启动时CPU持续排队、磁盘延迟超过业务可接受范围,或内存压力导致交换,并且这些指标与关键链延迟在多次复测中稳定相关。

针对启动阶段的计算、内存和磁盘资源需求,A5idc数据提供覆盖中国香港、美国、日本等地区的物理服务器,配有不同档位的CPU、内存及SSD、NVMe存储,可为应用初始化、数据库恢复和多服务并行运行提供硬件基础。各地区的线路与带宽方案,也为面向不同访问区域的业务部署提供网络资源选择。

用复测确认优化是否有效

完成调整后,应在相同条件下重新采集:

systemd-analyze time
systemd-analyze blame --no-pager
systemd-analyze critical-chain default.target
journalctl -b 0 -p warning..alert -o short-monotonic --no-pager

复测时尽量保持以下条件一致:

  • 相同的系统版本、内核和服务配置;
  • 相同的默认target和业务启动清单;
  • 相同的磁盘、挂载和网络环境;
  • 相同的数据库数据量和恢复状态;
  • 相同的冷启动或重启方式;
  • 相同的CPU、内存和虚拟化配额。

建议记录至少5次启动的userspace总时长、关键链时长、应用可用时间和主要资源峰值。平均值用于了解总体水平,P95用于观察大多数偏慢场景,最大值用于发现超时和依赖故障。若优化后平均时间下降,但P95仍接近原值,说明固定耗时可能改善了,偶发的网络、I/O或重试问题仍未解决。

容量判断可以使用一个简单边界:当启动高峰期某项资源持续排队,并且该资源的等待区间与关键链时间重合,就应优先处理该资源;当资源指标平稳而关键链仍然很长,则应继续检查服务依赖、超时、应用初始化和数据库恢复逻辑。最终验收时间也应以实际目标为准,例如“SSH可登录”与“应用健康检查成功”不能使用同一个启动完成时间。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7660.html

相关推荐