韩国服务器日志占满磁盘后如何排查?怎样确认增长来源并安全释放空间
韩国服务器出现磁盘空间告警、网站写日志失败或服务异常时,不要先用 rm 批量删除日志。先确认告警对应的文件系统,再区分容量耗尽、inode 用尽、I/O 延迟升高和文件系统只读等问题;随后沿着网络、操作系统、服务和应用层追查增长来源。日志文件被删除但仍由进程打开时,磁盘空间也不会立即释放,贸然清理还可能造成日志断档或服务故障。
排查时优先使用只读命令记录现状。确认日志归属、写入进程和轮转策略后,再选择清理或调整保留周期。下文的路径、输出和数值是用于说明判断方法的示例,不代表某台韩国服务器的实际状态。执行任何删除、截断或配置变更前,应确认影响范围,并准备可用的备份或回滚方式。
一、先判断是“空间满”还是其他磁盘问题
1. 确认告警对应的文件系统
先查看各挂载点的容量、使用率和文件系统类型:
df -hT
再检查 inode 使用情况:
df -i
两者反映的问题不同:
df -hT中某个挂载点的Use%接近 100%,说明该文件系统可用容量很少。应先确认日志是否确实写在这个挂载点上。df -i中IUse%接近 100%,说明可创建的文件数量可能耗尽。即使还有可用容量,也可能无法新建日志、临时文件或应用文件。- 如果
/、/var、/var/log或单独挂载的日志盘使用率不同,要以实际写入路径所在的挂载点为准,不能只看根分区。 df -hT显示空间尚可,但应用仍报告写入失败时,还要检查 inode、挂载状态、权限和文件系统错误。
可以用 findmnt 核对某个路径落在哪个挂载点。例如:
findmnt -T /var/log
如果服务器使用容器或独立数据盘,也应分别检查容器数据目录、应用日志目录和日志盘,避免把一个目录的占用误判为整个系统的情况。
2. 区分目录占用与文件系统占用
在确认路径后,统计指定文件系统内的目录大小。-x 可避免递归进入其他挂载点:
sudo du -xhd1 /var 2>/dev/null | sort -h
若系统自带的 du 不支持 -h 或 -d,可改用兼容写法:
sudo du -x -k --max-depth=1 /var 2>/dev/null | sort -n
再对占用较大的子目录逐层查看,例如:
sudo du -xhd1 /var/log 2>/dev/null | sort -h
du 统计目录中当前可见文件的占用,df 统计文件系统实际使用的块。两者差距明显时,应检查是否存在已删除但仍被进程打开的文件、快照或文件系统保留空间等情况。不要因 du 没找到大文件就认定磁盘占用是异常或数据丢失。

3. 判断是否伴随 I/O 或文件系统异常
磁盘满可能同时出现 I/O 延迟升高,但二者不是同一问题。先看内核日志中是否有设备超时、文件系统错误或只读挂载提示:
sudo dmesg -T | tail -n 100
再查看挂载状态:
findmnt -no TARGET,FSTYPE,OPTIONS /
若系统安装了 sysstat,可以用 iostat 观察设备负载:
iostat -xz 1 5
关注设备的读写延迟、队列和利用率是否持续偏高,而不是只依据单次采样下结论。不同设备、虚拟化环境和工作负载下,指标含义及合理区间会有差异。若内核日志出现文件系统错误,或挂载参数显示只读,应先保全重要数据并查明存储或文件系统问题,不要通过清日志掩盖故障,也不要在业务运行中贸然执行修复操作。
二、建立原因树:日志为什么会持续增长
确认受影响的挂载点后,可以按“外部请求—系统记录—服务访问日志—应用日志”的顺序排查。相同时间出现多类日志同步增长,通常比单个大文件更有助于定位触发因素。
| 层级 | 常见增长来源 | 观察依据 | 下一步 |
|---|---|---|---|
| 网络与请求 | 访问量增加、错误请求或重复请求 | Nginx、负载均衡或应用访问日志在特定时段快速增加 | 按时间、状态码、请求路径和来源分组,判断是正常流量还是异常请求 |
| 操作系统 | 系统日志、认证日志、内核或任务报错 | journalctl、系统日志在同一时间反复出现错误 | 检查对应进程、定时任务、设备或配置,不只清理记录 |
| 服务 | Web、数据库、容器或任务服务日志 | 某服务目录占用突出,日志持续写入 | 确认服务配置、轮转规则和进程打开的文件 |
| 应用 | 异常堆栈、重试循环、调试输出 | 某一应用日志反复输出相同错误或单条记录异常膨胀 | 对照应用版本、近期变更、错误频率和重试逻辑 |
1. 网络与请求层:流量增加,还是请求异常
如果访问日志在短时间内增长,先观察日志内容和时间分布。对 Nginx 日志,可按常见格式粗略统计状态码:
sudo awk '{print $9}' /var/log/nginx/access.log \
| sort | uniq -c | sort -nr | head
该命令假设状态码位于第九列;如果日志格式自定义,需先核对 log_format,否则统计结果没有参考意义。也可以按时间窗口查看请求量、错误码和重复路径,判断增长是否来自业务活动、爬虫访问、客户端重试或配置错误。
韩国服务器的访问日志还可能受面向用户的业务时段、CDN回源和负载均衡配置影响。若边缘侧流量正常而源站访问日志突然变大,应核对回源策略和请求分布;若多个入口日志同时增长,则应继续追踪请求来源和应用处理情况。不要仅凭海外来源地址或单一状态码就认定为攻击。
2. 系统层:日志服务和内核记录是否异常
使用 systemd 的系统可查看近期日志体积和高频错误:
sudo journalctl --disk-usage
sudo journalctl -p warning --since "2 hours ago"
journalctl --disk-usage 显示的是 systemd 日志占用,和 /var/log 下的普通文本日志并非一回事。若系统没有 systemd,或发行版采用其他日志管理方式,应按实际环境检查相应服务与配置,不要直接套用命令。
如果系统日志反复出现同一设备错误、服务启动失败或认证失败,重点是找出反复产生记录的原因。比如某项定时任务每分钟失败一次,会形成稳定增长;磁盘空间释放后如果根因仍在,日志很快会再次占满。
3. 服务与应用层:确认写入进程及错误模式
先查看大文件,并记录路径和修改时间:
sudo find /var/log -xdev -type f -printf '%s %TY-%Tm-%Td %TH:%TM %p\n' \
2>/dev/null | sort -nr | head -n 20
对疑似快速增长的文件,可以间隔一段时间再次查看大小。示例:某文件从 800 MB 增至 1.1 GB,若间隔 10 分钟,增长速率约为每分钟 30 MB。该估算只用于判断趋势;要进一步分析,应结合日志时间戳、服务状态和实际业务流量,不能把文件大小变化直接等同于请求数量。
若文件看起来很大但目录统计没有对应占用,检查进程是否仍持有已删除文件:
sudo lsof +L1
输出中若出现较大的 deleted 文件,通常意味着文件名已从目录中移除,但进程仍在继续写入旧文件句柄,空间尚未归还。先根据进程名、PID 和文件路径确认所属服务,再查明文件被删除的原因。不要直接结束不明进程;优先采用服务支持的日志重开方式,或在维护窗口按服务流程重启,并在操作前确认影响和恢复方式。
容器环境还要检查容器运行时的日志目录及日志驱动配置。宿主机上的日志轮转规则不一定会管理容器内部或运行时生成的日志文件,应分别确认文件所在挂载点、容器对应关系和保留策略。
三、逐层排除并定位根因
按低风险到高风险执行,可以减少误删重要数据的概率:
- 记录现状。 保存
df -hT、df -i、du、findmnt的输出,并记录告警时间、服务状态和可疑日志的大小。先确认是哪个挂载点接近上限。 - 定位最大目录和文件。 从受影响挂载点开始逐层统计,区分日志、缓存、备份和业务数据。不要只按文件名判断内容是否可删。
- 找出增长来源。 比较文件大小变化,检查日志时间戳、访问日志分布、systemd 日志和进程打开文件,确定是哪个服务或任务持续写入。
- 核对配置和近期变更。 检查日志轮转、保留天数、调试级别、错误重试、定时任务以及服务发布记录。若增长始于某次配置或版本变更,应优先验证该关联。
- 判断能否安全释放。 区分已轮转的旧日志、仍在写入的活动日志、systemd 日志和已删除但仍打开的文件;不同类型使用不同处理方式。
常见的根因组合包括:应用异常进入高频重试,访问日志持续记录同一错误;轮转配置缺失,单个活动日志长期累积;轮转已执行,但旧文件仍被进程持有;systemd 日志保留策略与磁盘容量不匹配;大量小文件耗尽 inode。定位时要把“占用最多的文件”和“导致持续增长的原因”分开看,前者不一定就是根因。
四、安全释放空间:按日志类型处理
1. 优先清理有明确保留策略的旧日志
如果确认某些归档日志超过业务、审计或合规保留要求,可以先列出候选文件,核对日期、路径和大小,再备份或按既定流程清理。不要对 /var/log 使用未经筛选的递归删除命令,也不要假定所有 .gz 文件都可以删除。备份到同一块已满的磁盘可能进一步耗尽空间;需要保留时,应选择有足够空间的独立存储位置,并验证备份可读。
2. 活动日志不要直接删除
删除正在写入的日志文件,可能造成服务继续写入已删除文件句柄,空间不释放;也可能让服务无法按预期重新打开日志。处理前应确认服务支持的日志重开方式,查看对应服务文档或配置。logrotate 的 postrotate 机制常用于通知服务重新打开日志,但具体信号和命令必须与服务及发行版相符,不能通用照抄。
使用 copytruncate 可以在复制后截断活动日志,但复制期间可能丢失少量日志,且复制本身需要额外磁盘空间。只有在服务不能重开日志、已评估数据完整性与空间影响时才考虑。不要把它作为默认轮转方案。
如果确实需要截断文件,必须先确认文件路径、写入进程、业务影响和备份方案。截断会永久丢失该文件已有内容;在磁盘空间紧张时,复制到同一文件系统也可能失败。应先确认关键日志已导出或不再需要,再按对应服务的维护流程操作,并验证服务仍能写入新日志。
3. systemd 日志按保留策略回收
确认 systemd 日志占用过大后,可使用 journalctl 的保留参数回收旧记录,例如按时间或总量设置上限:
sudo journalctl --vacuum-time=14d
或:
sudo journalctl --vacuum-size=1G
这些操作会删除超过指定保留条件的旧日志,不会修复持续产生错误的服务。执行前应确认审计与排障所需的保留期限;需要长期留存的日志应先导出到其他存储。后续可通过 journald 配置设置持久化日志的容量或保留策略,但配置变更应按系统版本核对配置项,并在变更后检查实际占用。
4. 修复轮转策略和日志级别
文本日志的轮转规则应包括周期、轮转数量、压缩策略、文件权限和服务重开方式。检查系统实际加载的规则,而不是只看单个配置文件:
sudo logrotate -d /etc/logrotate.conf
-d 用于调试检查,通常不执行实际轮转。确认规则后,可结合发行版定时任务或服务状态检查执行情况。生产环境不要在未确认配置、权限和空间条件时强制轮转;也不要同时手动删除日志和触发轮转,避免产生竞态或丢失记录。
如果日志增长来自调试级别或重复错误,应修复应用问题并恢复合适的日志级别。仅扩大日志分区或提高轮转容量,能延缓告警,但无法消除持续增长的根因。
五、验证恢复,并设置复发监控点
处理后重新检查容量、inode、服务状态和日志写入:
df -hT
df -i
sudo lsof +L1
同时查看相关服务状态和最近错误。成功恢复不只是 Use% 下降,还应满足:目标挂载点有可用空间;inode 不再接近耗尽;已删除文件不再被进程长期持有;服务可以正常创建并写入新日志;文件系统没有新增只读或 I/O 错误。
如果空间清理后很快再次增长,应回到增长来源判断,而不是重复删除。可在短时间内记录可疑日志文件大小、日志行数或服务错误频率,估算日增长量。比如某日志 10 分钟增长约 300 MB,约为每小时 1.8 GB;该值是按当前增长速率外推的估算,业务流量变化后可能不成立。容量告警应为排查和处置留出余量,而不是等到文件系统写满才触发。
建议持续监控以下项目:
- 各挂载点容量和 inode 使用率,分别设置预警与严重告警阈值。
- 日志目录的增长速率及单文件异常增大,避免只监控磁盘总量。
- 关键服务错误日志的重复频率、进程打开的已删除文件和轮转失败记录。
- I/O 延迟、设备错误和文件系统只读状态,区分容量问题与存储故障。
- 清理、轮转和日志保留策略是否按预期执行,并定期核对实际保留周期。
通过“确认文件系统—定位增长对象—追踪写入进程—修复产生原因—验证空间回收”这条路径,才能避免只释放一次空间,却让同一类日志问题再次占满韩国服务器磁盘。
A5idc数据提供韩国首尔等地区的物理服务器租用资源,涵盖不同CPU、内存、SSD及NVMe存储与网络线路配置,可承载网站、业务后台、数据库和容器等持续写入日志的应用场景。针对日志留存、备份与归档需求,香港存储系列及日本部分大容量硬盘方案也能提供相应的存储资源基础,并支持企业按业务区域和数据规模组合部署。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7259.html


