Linux服务器服务异常时,如何用journalctl按启动轮次定位错误日志
服务进程突然退出、网站间歇不可用,或重启后才恢复时,先别急着重启服务或修改配置。journalctl 可以按系统启动轮次查看日志:先确定故障发生在哪次启动,再把服务日志、系统日志和内核日志放到同一时间线上,判断问题是在启动前已经出现,还是由服务自身触发。
排查时要注意,-b -1 表示“当前启动之前的一轮”,不是固定日期或固定的某次重启;系统再次重启后,它指向的轮次也会变化。定位后应同时记录启动时间和启动 ID,避免把不同轮次中相同的相对时间误当作同一事件。

先确认现象与启动轮次
先确认故障的大致时间、受影响的服务、服务器是否重启过,以及当前是否仍在故障状态。时间不必一开始就精确到秒,但要明确使用的是服务器本地时间还是其他时区。若监控、应用平台和服务器时间不一致,后面关联日志时要先核对时区和时钟偏差。
查看服务当前状态
下面以 nginx 为例,服务名应替换为实际的 systemd unit 名称。查询命令只读,不会改变服务状态:
systemctl status nginx --no-pager -l
重点看 Active、Main PID、最近的状态变化,以及末尾的错误信息。active (running) 只说明查询时服务处于运行状态,不能证明故障时也正常;failed、反复重启或进程退出码则提示需要回看相应轮次的日志。若提示找不到 unit,先用 systemctl list-units --type=service --all 核对服务名,不要直接猜测日志里的 unit 名称。
列出系统记录到的启动轮次
sudo journalctl --list-boots
输出通常包含轮次索引、启动 ID 和该轮次日志的起止时间。例如:
-2 31a2... Mon 2025-02-10 08:12:10 UTC—Mon 2025-02-10 11:40:02 UTC
-1 5bc8... Tue 2025-02-11 09:03:17 UTC—Tue 2025-02-11 09:44:51 UTC
0 7d91... Tue 2025-02-11 09:45:20 UTC—Tue 2025-02-11 10:30:00 UTC
这里的日期和 ID 仅用于说明格式。通常 0 是当前启动,-1 是前一轮,-2 是再前一轮。将故障时间与起止时间对照,选出可能的轮次;如果服务故障发生在重启前,就不要只看当前轮次。
启动 ID 比轮次索引更适合记录和交接。索引会随新启动变化,而启动 ID 可以明确标识一轮启动。可将故障对应行中的 ID 记下,后续用它筛选:
sudo journalctl _BOOT_ID=5bc8...
将示例 ID 换成完整的实际启动 ID。也可以按轮次查询:
sudo journalctl -b -1
如果不确定故障发生在哪一轮,分别查看候选轮次的起止时间和日志,不要仅凭“重启前后”口头描述下结论。
从启动摘要缩小时间范围
定位到轮次后,先看这一轮日志的末尾或故障附近的时间段,不建议一上来输出全部日志。大量日志容易淹没关键事件,也可能让终端翻页和复制变得困难。
查看上一轮启动的末尾:
sudo journalctl -b -1 -e --no-pager
查看上一轮启动期间的警告和更高严重级别日志:
sudo journalctl -b -1 -p warning..alert --no-pager
-p 是按日志优先级筛选;该范围会保留 warning、err、crit、alert 和 emerg。它适合快速缩小范围,但不能代替完整时间线:应用可能把有用信息记为 info,某些错误也未必以高优先级写入。若摘要里没有相关记录,再查看该服务在故障前后的完整日志。
按时间截取服务日志
以下命令使用服务器的本地时间,时间范围应替换为故障窗口。示例假定故障约发生在 10:15:

sudo journalctl -b -1 -u nginx \
--since "2025-02-11 10:05:00" \
--until "2025-02-11 10:25:00" \
-o short-iso-precise --no-pager
-u 按 systemd unit 筛选,--since 和 --until 限定时间段,-o short-iso-precise 显示带微秒的时间戳,便于比较先后顺序。若时间戳带有 +00:00 等偏移,按该时区解释;不要把 UTC 时间直接当作服务器本地时间。可用 timedatectl 核对服务器时区和系统时间:
timedatectl
先查询覆盖故障前后的一段窗口。如果日志显示服务在 10:14:58 开始报错、10:15:02 退出,就再缩小到这几秒;如果时间窗口内没有日志,则扩大范围并检查服务是否把日志写入其他位置。某些程序把访问日志或业务错误单独写到文件中,journalctl -u 不会自动读取这些文件。
若已记下启动 ID,也可将轮次筛选写得更明确:
sudo journalctl _BOOT_ID=5bc8... -u nginx \
--since "2025-02-11 10:05:00" \
--until "2025-02-11 10:25:00" \
-o short-iso-precise --no-pager
如果指定了启动轮次,又指定了轮次之外的时间范围,结果可能为空。这通常说明时间、时区或轮次选错,并不一定代表服务没有产生日志。
由外到内关联日志时间线
排查顺序建议从系统可见现象开始,再进入服务和应用细节。以下查询均为只读操作,不会重启服务或修改配置。
先看同一轮次的系统事件
sudo journalctl -b -1 \
--since "2025-02-11 10:05:00" \
--until "2025-02-11 10:25:00" \
-o short-iso-precise --no-pager
与服务日志对照,关注故障前后是否出现启动、停止、资源不足、设备异常或依赖服务变化。筛选 warning 及以上级别可以辅助阅读,但第一次排查最好保留普通级别日志,避免漏掉服务状态变化或依赖提示。
如果怀疑系统层面问题,再看内核日志:
sudo journalctl -k -b -1 \
--since "2025-02-11 10:05:00" \
--until "2025-02-11 10:25:00" \
-o short-iso-precise --no-pager
-k 只看内核消息。若服务退出前出现内存不足、进程被终止、磁盘或网络设备异常等信息,应将其与服务退出时间对照;若内核日志没有对应事件,不能据此排除应用配置、依赖或自身错误。
再看服务启动与退出过程
sudo journalctl -b -1 -u nginx -o short-iso-precise --no-pager
重点观察以下字段或信息:
| 观察项 | 用途 | 判断时的注意点 |
|---|---|---|
| 时间戳 | 排列事件先后 | 核对时区;高并发时仅凭秒级时间可能不够 |
_BOOT_ID | 标识日志属于哪轮启动 | 同一轮内一致;跨轮次比较时不要只看 -1 |
_SYSTEMD_UNIT | 标识 systemd 服务单元 | 确认 unit 名与实际服务一致 |
_PID、_COMM | 标识产生日志的进程 | 进程可能重启,PID 不能单独作为服务身份 |
PRIORITY | 标识消息严重级别 | 低级别日志也可能包含关键上下文 |
MESSAGE | 日志正文 | 区分服务自身错误、systemd 状态提示和依赖程序输出 |
默认输出通常以时间和消息为主,不一定展示所有结构化字段。需要核对字段时,可使用 JSON 输出:
sudo journalctl -b -1 -u nginx -o json-pretty --no-pager
在输出中检查 _BOOT_ID、_SYSTEMD_UNIT、_PID、_COMM、PRIORITY 和 MESSAGE。并非每条日志都具备所有字段;字段缺失不能直接说明日志无效。若需要确认某字段是否存在,可查询该字段的已知取值,例如:
sudo journalctl -F _SYSTEMD_UNIT
以关键事件为锚点补全上下文
看到第一条错误后,不要只复制这一行。向前查看它之前发生了什么,向后查看 systemd 如何处理服务。常见线索包括配置解析失败、端口绑定失败、依赖启动失败、权限拒绝、进程异常退出,以及服务被反复拉起。

例如,下面是一段用于说明判断方法的示例日志,不代表任何实际服务器的结果:
2025-02-11T10:14:58.120000+00:00 server systemd[1]: Starting nginx.service...
2025-02-11T10:14:58.210000+00:00 server nginx[2310]: bind() to 0.0.0.0:80 failed (98: Address already in use)
2025-02-11T10:14:58.215000+00:00 server systemd[1]: nginx.service: Main process exited, code=exited, status=1/FAILURE
2025-02-11T10:14:58.216000+00:00 server systemd[1]: nginx.service: Failed with result 'exit-code'.
这组信息显示:服务启动时绑定端口失败,随后主进程以非零状态退出,systemd 将 unit 标记为失败。下一步应核实端口占用者和服务配置,而不是立即反复重启。可先使用只读查询查看监听情况:
sudo ss -ltnp
若没有端口冲突,而日志指向配置解析错误,就应检查配置文件及其最近变更;若服务日志中没有首要错误,但系统事件显示依赖 unit 失败,则先定位依赖服务的日志。排查目标是找出时间线上最早且能解释后续现象的错误,而不只是最后一条“服务失败”提示。
根据查询结果分支处理
找到故障轮次,但服务日志为空
先确认 unit 名称,再检查同一时间段的系统日志。服务可能以不同 unit 名运行,或应用把日志写入独立文件。如果系统日志有启动和退出记录,但看不到应用输出,需确认程序是否将标准输出、标准错误交给 systemd,或是否另行配置了日志目的地。不要仅凭 journalctl -u 无输出就认定服务当时没有运行。
轮次列表不包含故障发生前的启动
journalctl --list-boots 只列出当前可读取的 journal 记录。若日志使用易失存储,重启后旧记录可能已经不可用;日志也可能因保留策略、空间限制或清理操作而被移除。先检查当前日志存储情况:
journalctl --disk-usage
在常见 systemd 配置中,Storage=auto 会在 /var/log/journal 存在时使用持久存储,否则可能使用易失存储;实际行为仍以发行版和本机配置为准。可查看日志服务配置:
systemd-analyze cat-config systemd/journald.conf
若该命令在系统上不可用,再检查发行版提供的配置文件和 drop-in 目录。此类配置核查只读,不要为了找历史日志直接清理或覆盖 journal 文件。若历史记录已不在本机,转查集中日志平台、监控告警或应用自己的日志文件;在持久化策略调整前,确认磁盘空间、保留周期和组织的日志管理要求。
时间对不上或查询结果为空
先比较监控告警时间、服务器时区和日志时间戳。日志可能以 UTC 显示,而告警平台采用本地时区;系统时钟不同步也会影响时间线。扩大查询窗口后,结合 _BOOT_ID 和服务日志确认轮次。不要仅通过更换 -b 索引来“试出结果”,因为索引在新一轮启动后会变化。
只看到重启后的错误
重启后的日志能说明当前启动期间发生了什么,不能自动解释上一轮为何结束。返回 --list-boots 中对应的旧轮次,查看故障窗口及其前后的系统、内核和服务日志。若旧记录不可用,明确标记证据缺口,不要把推测写成已确认原因。

修复后验证并持续观察
定位原因后,按对应风险实施修复。只读查询阶段不需要回滚;若后续要编辑配置、调整权限、改变日志保留策略或重启生产服务,应先备份原配置并确认影响范围。配置修改前可用服务自身的配置检查命令验证语法;检查命令应以实际服务版本支持的参数为准,不确定时先查看该服务的帮助文档或发行版说明。修改失败时恢复备份,再重新执行配置检查。涉及重启时,应选择维护窗口或确认业务可承受短暂中断。
修复后先检查服务状态,再查看本轮启动的近期日志:
systemctl status nginx --no-pager -l
sudo journalctl -b -u nginx --since "10 minutes ago" \
-o short-iso-precise --no-pager
若服务恢复为运行状态,且观察窗口内没有重复错误,说明修复后的即时状态符合预期;但一次状态正常不能证明故障不会复发。按业务负载观察一段时间,并与监控中的可用性、错误率和重启次数对照。若错误再次出现,记录时间戳和启动 ID,重新按同一流程核对故障前后的系统、内核与服务日志。
对于需要跨重启追踪的服务,应确认历史日志能够按既定策略保留,并定期核查磁盘占用。这样下一次异常出现时,可以从可观察现象出发,按轮次定位,再用统一时间线验证原因,而不是依赖重启后的单条错误提示。
对需要持续运行并保留历史日志的 Linux 业务,A5数据提供中国香港、美国、日本等地区的物理服务器,涵盖配备 NVMe 存储的常规及 AMD 机型,以及香港、日本的大容量硬盘方案。这些计算与存储资源可为网站、接口和数据库服务及其日志留存提供部署基础;不同地区的线路与带宽选项,也能适配业务面向不同访问区域的网络需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5642.html



