香港数据中心一台服务器因磁盘空间溢出而导致服务中断。经过初步排查发现，溢出的根本原因是日志轮转配置错误。香港服务器上的日志文件未能及时轮转或清理，导致大量的旧日志占据了磁盘空间，最终引发了磁盘溢出的问题。为了避免类似问题的再次发生，必须对日志轮转机制进行修复，并确保合理配置和定期清理。
一、故障问题分析
1. 磁盘空间溢出的症状
首先，服务器管理员发现系统的磁盘空间使用率不断升高。使用 df -h 命令查看磁盘空间时，某个挂载点的使用率达到了100%。具体情况如下：
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 50G 50G 0 100% /
在 / 根目录下的 50GB 磁盘空间被完全占用，造成系统无法写入新的数据或日志，影响了服务器的正常运行。
2. 查看日志文件
接下来，通过进入 /var/log/ 目录，检查各类日志文件。发现 syslog、messages、nginx 和 apache2 等日志文件异常庞大，单个文件大小已经超过了 10GB，部分日志文件甚至没有进行过任何轮转或归档。
使用 ls -lh 命令可以查看各个日志文件的大小：
-rw-r--r-- 1 root root 12G Apr 6 10:00 syslog
-rw-r--r-- 1 root root 11G Apr 6 10:00 messages
-rw-r--r-- 1 root root 9.8G Apr 6 10:00 nginx/access.log
-rw-r--r-- 1 root root 9.3G Apr 6 10:00 apache2/error.log
日志文件的体积异常，远远超出了正常范围，显然是日志轮转机制未能正常工作导致的。
二、日志轮转机制与常见问题
日志轮转是日志管理的重要一环，主要用于自动化地将旧的日志文件归档并创建新的日志文件，以防止日志文件占用过多磁盘空间。Linux 系统通常使用 logrotate 工具来进行日志轮转。
1. logrotate 配置文件
logrotate 的配置文件位于 /etc/logrotate.conf，具体配置内容包括日志文件的轮转频率、保留的历史日志数、压缩方式等。常见的配置示例如下：
/var/log/syslog {
weekly
rotate 4
compress
delaycompress
notifempty
create 0644 root root
}
/var/log/nginx/*.log {
daily
rotate 7
compress
missingok
notifempty
create 0644 root root
}
在这个示例中，/var/log/syslog 日志文件会每周进行一次轮转，最多保留四个归档文件；而 /var/log/nginx/*.log 文件则是每天轮转一次，并最多保留7个归档文件。
2. 配置错误导致的溢出
通过对故障服务器的日志轮转配置进行检查，发现以下问题：
- 未配置轮转频率：有些日志文件并未设置轮转频率，导致日志文件不断增长。
- 未配置轮转数量：某些日志文件设置的轮转文件数量过少，导致即使日志轮转，也无法清理历史日志。
- 文件权限设置错误：部分日志文件权限配置不当，导致 logrotate 无法正确轮转这些日志文件。
三、故障排查过程
1. 检查日志轮转配置
首先，查看 /etc/logrotate.conf 配置文件及相关目录下的配置文件，确认是否已对所有日志文件进行合理配置。
cat /etc/logrotate.conf
若有单个服务的日志没有配置轮转，需立即添加相关配置项。例如，如果 nginx 的日志文件没有设置轮转，则需要在 /etc/logrotate.d/ 目录下创建相应的配置文件。
2. 手动测试日志轮转
为了验证日志轮转是否能正常工作，可以手动执行 logrotate：
logrotate -f /etc/logrotate.conf
这个命令会强制执行日志轮转，并生成新的日志文件。在执行完后，检查日志目录，确认新的日志文件是否生成，以及旧日志是否被压缩或归档。
3. 磁盘清理
在修改完配置后，必须清理已经占用的磁盘空间。首先，可以删除或压缩不再需要的日志文件，然后使用 du -sh /var/log/* 命令检查 /var/log 目录下的空间使用情况。
du -sh /var/log/*
接下来，可以使用 logrotate 手动轮转已生成的日志文件，释放出占用空间。
4. 自动化监控与报警
为了避免类似故障的再次发生，建议设置日志监控和磁盘空间报警机制。例如，可以使用 monit 或 nagios 来监控日志文件大小，定期触发日志轮转，并在磁盘空间达到某个阈值时发送报警通知。
四、故障解决方案
1. 修改 logrotate 配置
确保所有关键日志文件都有正确的轮转配置。以 syslog 为例，添加如下配置：
/var/log/syslog {
weekly
rotate 4
compress
delaycompress
notifempty
create 0644 root root
}
对于其他日志文件如 nginx 和 apache2，可以类似地进行配置，并确保配置项包括轮转频率、压缩方式、文件权限等。
2. 清理过大的日志文件
执行手动轮转，并清理过大的旧日志文件。可以通过以下步骤完成：
logrotate -f /etc/logrotate.conf
rm -f /var/log/syslog.*
3. 设置定期清理
可以在 cron 中添加定期清理脚本，确保日志不会无限增长，及时进行轮转。例如，创建一个每日执行的 cron 任务：
0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.conf
4. 配置监控与报警
通过安装和配置 monit 或 nagios，可以实时监控磁盘空间和日志大小。一旦发现磁盘空间过低或日志文件过大，立即触发报警，提醒管理员进行处理。
本次故障排查和解决过程表明，日志轮转配置错误是导致服务器磁盘空间溢出的常见原因。通过正确配置 logrotate，定期清理日志文件，并设置自动监控和报警，可以有效避免类似问题的发生。运维人员应定期检查日志轮转配置，确保其合理性，并根据实际需求调整日志策略，以保证系统的稳定性和可靠性。
