我们在日常的香港服务器运维过程中，日志是监控、排查故障及审计安全事件的重要工具。然而，日志记录系统出现故障，可能导致关键的信息丢失，给故障排查和系统维护带来巨大挑战。本文将讨论一个在香港服务器中常见的问题——syslog-ng 与 journald 机制冲突导致内核日志写入失败和日志缺失，并提供相应的解决方案。
1. 故障描述
香港服务器通常部署在虚拟化环境中或高性能的物理服务器上，这些服务器通常运行多种应用程序和服务，需要通过日志记录来监控和排查故障。系统日志（例如，内核日志、应用日志和系统事件日志）在服务器运维中扮演着至关重要的角色。
然而，在某些情况下，系统日志写入可能会失败，导致日志数据丢失。这种情况的发生，通常与日志系统的配置问题或日志收集机制冲突有关。具体来说，在某些Linux服务器环境中，syslog-ng 和 journald 两种日志机制并存时，可能会发生冲突，导致日志数据无法正确写入。
2. 相关技术背景
在 Linux 系统中，日志系统通常包括 syslog 和 journald 两大机制：
2.1 syslog-ng
syslog-ng 是一个强大的日志收集与传输工具，允许从不同来源（如文件、数据库、网络）收集日志，并将日志转发到指定的目标服务器。syslog-ng 支持多种协议（如 TCP、UDP），可以将日志传输到远程服务器进行集中管理和存储。其特点是高度可配置、可扩展性强。
2.2 journald
journald 是 systemd 系统管理工具的一部分，负责本地日志的收集和管理。journald 提供了二进制格式的日志存储，支持结构化日志和高效的日志查询。它与 systemd 的其他组件紧密集成，并且能够直接处理内核日志、服务日志等信息。
这两种日志系统通常都用于收集系统和应用程序的日志数据。然而，当它们同时存在时，可能会因为日志写入的机制不同而发生冲突，导致日志写入失败或日志丢失。
3. 故障表现
在香港服务器的实际运维中，系统管理员可能会发现以下问题：
内核日志丢失：通过 dmesg 或系统日志查看内核日志时，发现日志数据不完整或完全缺失。
syslog-ng 无法正确转发日志：即使 syslog-ng 配置正确，部分日志数据依然无法通过 syslog-ng 转发到远程服务器或日志集中管理系统。
journald 产生日志记录冲突：在 journald 和 syslog-ng 共存的情况下，日志记录行为会出现混乱，导致某些日志无法被正确记录或写入。
4. 故障分析
4.1 syslog-ng 和 journald 的日志写入冲突
syslog-ng 和 journald 各自有不同的日志记录机制。syslog-ng 主要通过文本日志格式进行记录，并可配置将日志转发到多个远程目标，而 journald 使用二进制格式记录日志，并且设计上倾向于集中管理和本地存储。
当这两者同时运行时，可能会发生以下情况：
日志重复写入：syslog-ng 和 journald 都尝试记录相同的日志，这可能导致日志记录冗余，并且由于竞争条件，某些日志信息无法完全被捕获。
日志丢失：当 syslog-ng 配置不当或 journald 的日志策略与 syslog-ng 冲突时，日志可能会被丢失。例如，journald 会自动清理旧日志，如果 syslog-ng 没有及时将日志转发到远程系统，就会导致本地日志丢失。
4.2 内核日志写入失败
内核日志（通过 dmesg 获取）是系统最重要的日志之一，记录了操作系统和硬件的底层信息。当 syslog-ng 和 journald 配置冲突时，可能导致内核日志未被正确捕获，或者捕获后未能及时存储和转发。
5. 故障排查与解决方案
针对以上问题，以下是解决故障的步骤：
5.1 确认 syslog-ng 和 journald 配置
首先需要检查 syslog-ng 和 journald 的配置，确保它们的工作不互相干扰。
检查 journald 配置：
通过编辑 /etc/systemd/journald.conf 文件，检查 Storage 选项。
设置 Storage=volatile 或 Storage=persistent，确保日志不会被过早清理。
确保 journald 配置文件中没有设置冲突的选项，如 ForwardToSyslog，如果启用了该选项，journald 会尝试将日志转发到 syslog，而这可能会导致重复记录。
例如，以下是一个简单的 journald 配置文件示例：
[Journal]
Storage=persistent
ForwardToSyslog=no
检查 syslog-ng 配置：
在 /etc/syslog-ng/syslog-ng.conf 中检查是否正确配置了日志来源和目的地。
确保 syslog-ng 不会从 journald 获取日志（如果不需要的话）。
例如：
source s_local {
system();
internal();
};
destination d_remote {
udp("192.168.1.100" port(514));
};
log {
source(s_local);
destination(d_remote);
};
5.2 禁用冲突的日志机制
如果不需要 journald 的日志功能，可以选择禁用它，只使用 syslog-ng 进行日志记录：
停止并禁用 systemd-journald 服务：
systemctl stop systemd-journald
systemctl disable systemd-journald
确保 syslog-ng 配置正确，并能够转发日志到合适的远程服务器或文件。
5.3 调整内核日志配置
内核日志记录通常通过 dmesg 或 /var/log/kern.log 获取。如果内核日志未能正常记录，可能是因为 syslog-ng 或 journald 配置问题。可以在 /etc/rsyslog.conf 中配置内核日志的转发：
kern.* /var/log/kern.log
6. 验证与监控
解决问题后，务必验证日志机制是否恢复正常：
使用 dmesg 查看内核日志是否已经恢复。
查看 /var/log/syslog 和 /var/log/journal 中的日志是否完整。
测试远程日志收集功能，确保 syslog-ng 能够正常转发日志到远程服务器。
6.1 设置监控
为了避免日志丢失，建议配置日志监控系统，定期检查日志文件的完整性，并设置日志存储阈值。
在香港服务器环境中，当 syslog-ng 和 journald 并存时，由于两者机制的不同，可能会导致日志丢失或冲突。通过合理的配置和故障排查步骤，可以有效地解决日志缺失问题。系统管理员需要根据具体需求，合理配置日志机制，确保日志记录和转发功能正常运行，保障系统稳定性和安全性。
