Linux启动耗时集中在systemd阶段,怎样定位拖慢启动的服务?
systemd阶段耗时较长,并不等于systemd本身处理缓慢。systemd-analyze time显示的是用户空间启动总时长,其中包含服务启动、挂载、设备等待、网络初始化、数据库恢复以及应用自身的就绪过程。定位拖慢启动的服务,不能只看耗时最长的列表,而要把 blame、依赖链、日志时间戳和CPU、内存、磁盘、网络指标放在同一条证据链中判断。
通常先用 systemd-analyze blame找出候选服务,再用 systemd-analyze critical-chain确认它是否位于目标启动路径上。如果一个服务启动用了20秒,但与登录、业务服务并行执行,且不在关键链路中,它未必是启动变慢的原因;反过来,一个只耗时3秒、但位于多个关键服务之前的网络或挂载单元,可能更值得优先处理。
先确定要测量的启动目标
“启动完成”需要先定义。服务器可能有几种不同的目标:
- SSH可以连接;
- 网络地址已经配置;
network-online.target完成;- 数据库可以接受连接;
- 应用端口开始监听;
- 应用健康检查返回成功;
- 默认target或图形界面完全进入工作状态。
如果目标是“机器可以登录”,就不应把某个不影响登录的后台服务耗时直接视为故障。如果目标是“应用可以接收请求”,则需要把数据库、挂载目录、网络连接和应用健康检查纳入启动路径。
先确认系统版本和默认启动目标:
systemd-analyze --version
systemctl get-default
随后查看本次启动的整体耗时:
systemd-analyze time
示例输出如下,数据为便于说明构造的参考值:
Startup finished in 3.214s (firmware) + 1.086s (loader) + 2.478s (kernel) + 18.732s (userspace) = 25.510s
这里的 userspace 才是systemd及其管理服务的主要耗时范围。固件、引导加载器和内核耗时较高时,单纯调整systemd服务不会解决问题。
建议把测试目标和指标对应起来:
| 测试目标 | 主要指标 | 判断重点 |
|---|---|---|
| 进入可管理状态 | userspace总时长、SSH服务就绪时间 | 网络、认证、磁盘挂载 |
| 应用开始监听 | 应用服务Active时间、端口监听时间 | 应用启动、依赖服务 |
| 数据库可用 | 数据库就绪日志、连接成功时间 | 恢复、日志回放、磁盘I/O |
| 启动稳定性 | 多次启动的平均值、P95、最大值 | 是否存在超时、重试、资源争用 |
| 容量判断 | 启动时CPU、内存、I/O峰值及持续时间 | 是否需要扩容或调整启动并发 |
单次启动只能说明一次状态。磁盘缓存、数据库恢复、DHCP响应和后台任务都会造成波动,正式判断应至少采集数次冷启动或重启数据,并保持内核、服务配置和业务负载基本一致。
关键指标分别表示什么
blame反映服务激活耗时
查看服务启动耗时:
systemd-analyze blame --no-pager
示例:
10.021s systemd-networkd-wait-online.service
8.744s cloud-init.service
6.218s docker.service
4.806s database.service
1.392s systemd-udev-settle.service
这类列表适合发现候选对象,但不能直接等同于“对启动总时长的贡献”。原因有三个:
- systemd会并行启动许多服务,多个服务的耗时可能重叠;
- 某个服务可能没有被默认target依赖,耗时很长但不阻塞目标;
- 服务的“激活完成”不一定等于应用真正可用,具体还取决于
Type=、就绪通知和应用自身行为。
例如,两个服务分别耗时10秒和8秒。如果它们并行且互不依赖,理论上对关键路径的贡献可能接近10秒,而不是18秒。如果第二个服务必须等待第一个服务完成,则关键路径才可能接近18秒。
critical-chain反映依赖链上的等待
查看默认启动目标的关键链:
systemd-analyze critical-chain default.target
如果重点是网络完成,可以查看:
systemd-analyze critical-chain network-online.target
示例:
default.target @18.732s
└─application.service @17.945s +0.787s
└─database.service @13.106s +4.839s
└─network-online.target @12.980s
└─systemd-networkd-wait-online.service @2.920s +10.021s
这里需要关注两类时间:
@表示该单元在本次启动中的时间位置;+表示该单元自身激活所占用的时间。
如果systemd-networkd-wait-online.service位于关键链,并且占用了10秒,它比一个不在关键链上的20秒后台服务更值得优先分析。

userspace总时长不能简单相加
systemd启动属于并行调度过程,可以用下面的关系理解:
启动总时长 ≈ 关键依赖链上的串行耗时 + 关键节点之间无法重叠的等待时间
因此:
systemd-analyze time用于观察总体结果;systemd-analyze blame用于筛选耗时服务;systemd-analyze critical-chain用于确认真正的阻塞路径;- 日志和资源监控用于解释服务为什么耗时。
只有三者指向同一个服务或依赖环节,才适合把它认定为主要瓶颈。
影响systemd启动时间的变量
依赖关系和并行度
查看一个服务的依赖和启动顺序:
systemctl show example.service \
-p Type \
-p After \
-p Before \
-p Wants \
-p Requires \
-p TimeoutStartUSec
查看实际单元文件和覆盖配置:
systemctl cat example.service
重点核对以下内容:
After=只控制顺序,不代表一定会拉起另一个服务;Requires=或Wants=可能导致额外服务被启动;network-online.target可能引入网络等待;RequiresMountsFor=可能等待磁盘、远程文件系统或设备;TimeoutStartSec=过大时,故障服务可能长时间占用启动路径;Type=forking、Type=notify和Type=simple决定systemd何时认为服务已经启动。
特别是Type=simple的服务,进程成功执行后systemd可能很快将其视为已启动,但应用还没有完成端口监听或数据库连接。此时blame显示的时间可能与用户真正等待的“应用可用时间”不一致。
启动时的资源争用
服务启动会同时消耗CPU、内存、磁盘和网络资源。多个服务并行启动时,资源总量不足会把原本较短的任务放大。
常见影响变量包括:
- CPU核心数、虚拟机CPU调度和启动时进程并发量;
- 可用内存、交换分区是否启用、页面回收和大内存缓存恢复;
- 系统盘类型、随机读写延迟、文件系统检查和日志回放;
- DNS响应、DHCP、路由、远端挂载和内部服务连接;
- 应用是否执行迁移、缓存预热、密钥加载或配置解析;
- 数据库是否需要恢复WAL、redo、事务日志或重建缓存。
因此,“systemd阶段变慢”只是结果表现,真正瓶颈可能在数据库磁盘恢复,也可能在网络服务等待DNS。
一套可执行的定位步骤
第一步:记录总体耗时和候选服务
先保存当前启动的关键结果:
systemd-analyze time
systemd-analyze blame --no-pager
systemd-analyze critical-chain default.target
如果系统使用图形目标,也可以查看:
systemd-analyze critical-chain graphical.target
不要只记录前几名服务。建议至少保留前10到20项,并记录它们是否出现在关键链中。
如果需要查看可视化启动关系,可以生成SVG文件:
systemd-analyze plot > /tmp/systemd-boot.svg
该文件可以复制到管理终端查看。输出主要用于观察服务的并行区间、依赖关系和等待空洞,不建议仅凭图形面积判断瓶颈。
第二步:确认服务是否真的阻塞目标
查看默认目标包含哪些依赖:
systemctl list-dependencies --all default.target
查看某个服务的当前状态:
systemctl status example.service --no-pager
查看启动任务队列。该命令在启动尚未完成时更有价值:
systemctl list-jobs
如果blame中某服务耗时很高,但它不在默认target的依赖树和关键链中,应将其归类为“后台启动耗时”,而不是“登录或业务启动阻塞”。
第三步:使用日志时间戳解释等待原因
查看本次启动中服务的日志:
journalctl -b 0 -u example.service -o short-monotonic --no-pager
查看本次启动的警告和错误:
journalctl -b 0 -p warning..alert -o short-monotonic --no-pager
如果服务名称不确定,可以先列出启动失败或异常单元:
systemctl --failed --no-pager
重点寻找以下日志特征:
start operation timed out:启动动作达到超时边界;waiting for network、waiting for device:等待外部条件;retrying、connection refused:连接失败后重试;DNS timeout、Could not resolve:名称解析问题;recovery、replay、redo、fsync:数据库或文件系统恢复;permission denied、no such file:配置、挂载或权限问题;- 服务进程已经启动,但迟迟没有
ready或端口监听日志:应用初始化慢。
如果某次耗时接近服务的启动超时值,应先调查失败和重试原因,不要直接通过缩短超时来掩盖问题。可以查看具体超时配置:
systemctl show example.service -p TimeoutStartUSec -p Result
第四步:在相同时间窗口采集资源指标
CPU和内存:
vmstat 1 5
free -h
如果系统安装了sysstat,还可以查看每个CPU的利用率:
mpstat -P ALL 1 5
磁盘I/O:
iostat -xz 1 5
这些指标的含义需要结合启动时间解释:
vmstat中的r长期高于可用CPU逻辑核心数,说明运行队列积压;si和so持续非零,说明发生交换进出,内存压力可能拖慢服务;wa较高,说明CPU时间大量等待I/O,但它本身不能证明磁盘是唯一瓶颈;iostat中的await反映I/O平均等待时间,%util接近100%表示设备处于高占用;free -h中的available比单纯的free更适合判断可分配内存。
如果已经确定具体进程,可以进一步观察其CPU、内存和I/O:
pidstat -dur -p <PID> 1 5
网络和DNS应使用与业务相同的内部域名或地址进行测试,不要用外部站点替代真实依赖。例如:
time getent hosts <内部服务域名>
ss -s
如果系统使用systemd-resolved,可以查看解析器状态:
resolvectl status
resolvectl statistics
这些命令需要在目标服务启动期间或复现问题时采集。启动完成后再运行,往往只能看到平稳状态,无法解释启动阶段的等待。
按瓶颈类型解释结果
CPU瓶颈:看运行队列和进程实际占用
CPU是主要瓶颈时,通常能同时观察到:
- 关键服务启动期间进程CPU占用持续较高;
vmstat的r值长期高于可用核心数;- 多个服务同时进入计算密集阶段;
- 日志没有明显网络超时、磁盘错误或重试;
- 降低启动并发后,服务启动时间明显下降。
短暂的CPU峰值不一定构成瓶颈。比如4核服务器在启动时出现几秒钟接近100%的CPU利用率,只要运行队列没有明显堆积,且关键服务没有延迟,通常无需把CPU列为首要问题。
如果CPU确实受限,应先确认是哪一个进程消耗资源,再决定是减少启动并发、延后非关键任务,还是增加CPU配额。不能仅凭systemd服务名判断CPU归属,因为服务可能启动多个子进程。
内存瓶颈:看交换和回收,而不是只看已用比例
内存问题的典型证据包括:
available在服务启动期间快速下降;si/so出现持续交换;- 日志出现OOM、进程被杀或分配失败;
- 数据库、容器运行时或应用启动后频繁回收缓存;
- 服务耗时与并发启动数量明显相关。
Linux把空闲内存用于缓存,因此“已用内存很高”不等于内存不足。更可靠的判断是可用内存、交换活动和主要进程的RSS变化是否与启动延迟同时出现。
如果服务启动只是读取大量文件,缓存预热可能短时间占用内存,但不一定需要扩容。只有当交换、回收或OOM与关键链延迟同时发生时,内存才应作为主要决策依据。
磁盘I/O瓶颈:区分带宽不足和单次延迟高
磁盘瓶颈在启动阶段常表现为:
iostat中的await升高;%util长时间接近设备饱和;vmstat中的wa同步升高;- 数据库恢复、日志回放、挂载检查或大量小文件读取集中出现;
- 服务日志显示在读取配置、扫描目录或执行同步写入时停顿。
启动通常包含大量小文件和同步操作,即使总数据量不大,也可能受随机I/O延迟影响。不能用“读取了多少GB”单独判断启动性能,还要关注I/O请求大小、队列深度和等待时间。
如果数据库恢复期间磁盘延迟高,应先确认恢复是否由异常关机、日志积压或数据量增长引起,再考虑磁盘类型和容量。直接删除日志、数据库文件或恢复目录属于高风险操作,必须先完成备份、确认软件恢复机制,并准备可验证的回滚方案。
网络瓶颈:重点是等待和超时,不是吞吐量
启动期间网络瓶颈通常不是带宽不足,而是以下等待:
- DHCP或地址配置未完成;
- DNS解析超时;
- 默认路由尚未建立;
- 远程挂载等待;
- 应用连接数据库、注册中心或配置中心失败后重试;
systemd-networkd-wait-online.service或其他wait-online服务等待网络状态。
network-online.target只表达“网络初始化达到某个实现定义的状态”,不保证远端应用、DNS服务器或数据库已经可用。某些场景中,wait-online服务等待的是网卡状态或地址,而应用随后仍会继续等待远端连接。
如果日志明确显示10秒、30秒或接近某个超时时间的重复等待,应优先检查DNS、路由、防火墙策略、远程依赖和服务重试间隔,而不是先增加CPU或调整systemd并发。
应用瓶颈:systemd只是等待应用报告就绪
应用自身可能在启动阶段执行:
- 配置文件解析和环境变量检查;
- 密钥、证书或远端配置加载;
- 数据目录扫描;
- 缓存构建;
- 插件加载;
- 数据库连接池创建;
- 数据迁移和版本检查;
- 监听端口前的预热任务。
这类问题的特征是系统总体资源并不饱和,但服务日志中的两个关键时间点相距较远,例如进程启动后很久才输出ready,或者端口监听时间明显晚于ExecStart执行时间。
应将服务日志、端口监听时间和systemd状态结合起来看:
journalctl -b 0 -u example.service -o short-precise --no-pager
ss -lntp
systemctl status example.service --no-pager
如果应用没有提供明确的就绪日志,建议在测试环境增加启动阶段的时间记录,而不是仅以systemd的Active状态作为业务可用时间。
数据库瓶颈:先区分恢复、锁等待和资源不足
数据库服务启动慢时,常见原因并不相同:
- 异常关机后执行事务日志恢复;
- redo或WAL回放量较大;
- 数据文件和日志文件所在磁盘延迟高;
- 启动时执行迁移或索引检查;
- 数据库需要等待文件系统、密钥服务或远端存储;
- 内存不足导致缓存重建或交换;
- 应用连接过早建立,造成锁或初始化竞争。
数据库服务名因发行版和安装方式而异,可以先确认实际单元:
systemctl list-unit-files --type=service | \
grep -Ei 'postgres|mysql|mariadb|redis'
再针对实际服务查看日志:
journalctl -b 0 -u <数据库服务名> -o short-monotonic --no-pager
如果日志显示数据库已经完成恢复,但应用仍无法使用,瓶颈可能在应用连接池、迁移脚本或健康检查,而不是数据库启动本身。数据库容量判断应同时看数据量增长、日志回放时间、磁盘延迟和可接受的恢复时间目标。
如何形成可执行的判断结论
可以使用下面的决策表避免把现象误判为原因:
| 观察结果 | 更可能的原因 | 下一步判断 |
|---|---|---|
blame耗时高,但不在关键链 | 后台服务并行启动 | 不作为登录或业务启动首要优化对象 |
| 关键链出现固定10秒、30秒或接近超时的等待 | 网络、设备、DNS或依赖失败重试 | 查日志中的等待和重试原因 |
| CPU运行队列高,进程CPU持续满载 | CPU竞争或启动并发过高 | 定位具体进程,再评估并发和CPU容量 |
wa、await、%util同步升高 | 磁盘I/O瓶颈 | 分析设备、文件系统、数据库恢复和小文件访问 |
| 可用内存下降且发生交换 | 内存压力 | 查主要进程、缓存策略和启动并发 |
| 系统资源平稳,但应用ready时间晚 | 应用初始化慢 | 检查配置、迁移、插件和远端依赖 |
| 数据库日志出现recovery、replay或fsync等待 | 数据库恢复或存储瓶颈 | 结合日志量、数据量和磁盘延迟判断 |
| 多次启动耗时差异很大 | 超时、重试、缓存或外部依赖不稳定 | 统计P50、P95和最大值,不只看平均值 |
需要特别注意两个决策边界。
第一,不能因为某服务在blame中排名靠前,就直接执行disable或mask。这可能导致依赖服务启动失败、应用缺少功能或下次重启无法恢复。如果确实要调整服务启用状态,应先记录当前状态和单元配置,确认该服务不是业务硬依赖,并在维护窗口执行。配置变更应保留回滚方式,例如恢复原有启用状态、删除临时override并执行必要的daemon-reload。生产环境不应把“缩短超时”作为第一种修复方法。
第二,不能因为userspace总时长较高,就笼统增加服务器配置。若证据指向DNS超时,增加CPU不会改善;若证据指向数据库磁盘恢复,增加内存也未必能缩短一次性恢复时间。扩容决策应建立在资源指标和业务目标上:例如启动时CPU持续排队、磁盘延迟超过业务可接受范围,或内存压力导致交换,并且这些指标与关键链延迟在多次复测中稳定相关。
针对启动阶段的计算、内存和磁盘资源需求,A5idc数据提供覆盖中国香港、美国、日本等地区的物理服务器,配有不同档位的CPU、内存及SSD、NVMe存储,可为应用初始化、数据库恢复和多服务并行运行提供硬件基础。各地区的线路与带宽方案,也为面向不同访问区域的业务部署提供网络资源选择。
用复测确认优化是否有效
完成调整后,应在相同条件下重新采集:
systemd-analyze time
systemd-analyze blame --no-pager
systemd-analyze critical-chain default.target
journalctl -b 0 -p warning..alert -o short-monotonic --no-pager
复测时尽量保持以下条件一致:
- 相同的系统版本、内核和服务配置;
- 相同的默认target和业务启动清单;
- 相同的磁盘、挂载和网络环境;
- 相同的数据库数据量和恢复状态;
- 相同的冷启动或重启方式;
- 相同的CPU、内存和虚拟化配额。
建议记录至少5次启动的userspace总时长、关键链时长、应用可用时间和主要资源峰值。平均值用于了解总体水平,P95用于观察大多数偏慢场景,最大值用于发现超时和依赖故障。若优化后平均时间下降,但P95仍接近原值,说明固定耗时可能改善了,偶发的网络、I/O或重试问题仍未解决。
容量判断可以使用一个简单边界:当启动高峰期某项资源持续排队,并且该资源的等待区间与关键链时间重合,就应优先处理该资源;当资源指标平稳而关键链仍然很长,则应继续检查服务依赖、超时、应用初始化和数据库恢复逻辑。最终验收时间也应以实际目标为准,例如“SSH可登录”与“应用健康检查成功”不能使用同一个启动完成时间。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7660.html



