香港EPYC 4244P日志占满NVMe前,如何设置容量阈值和应急清理?
香港 EPYC 4244P 服务器上的 NVMe 空间持续下降时,先确认增长来自哪个挂载点、目录或日志服务,再设置容量与 inode 双阈值;不要一看到磁盘接近满就批量删除日志。对 960GB NVMe,可把 70% 作为关注线、80% 作为预警线、90% 作为应急线的起始参考,同时为业务峰值、日志保留和系统更新预留空间。阈值应按实际文件系统容量和日志增长速度调整,而不是直接按硬盘标称容量计算。
实际处置按低风险到高风险进行:先检查容量、inode 和 I/O,再定位日志及文件系统状态;能够通过日志轮转或清理已归档文件解决时,不动正在写入的日志。若文件已删除但空间未释放,则查找仍持有文件句柄的进程。只有确认日志可以丢弃、且已接受数据损失时,才考虑清空活动日志;操作后还要复测容量和服务状态。
先确认磁盘是否真的接近耗尽
960GB 是硬盘厂商常用的十进制容量标注,操作系统通常以二进制单位显示容量,经过分区、文件系统元数据和保留空间后,可用容量还会进一步变化。不要根据“960GB”直接推算告警百分比,应以目标挂载点的实际容量为准。
以下命令适用于常见 Linux 发行版。先确认根目录及日志所在目录挂载在哪个文件系统:
df -hT /
df -hT /var/log
df -i /
df -i /var/log
df -hT 显示文件系统类型、总量、已用量、可用量和使用率;df -i 显示 inode 使用情况。若 /var/log 不存在或不属于独立挂载点,可改查实际日志目录。使用率高说明容量紧张;inode 使用率高则表示可创建的文件数量可能耗尽,即使还有不少 GB 空间,也可能出现“无法创建文件”或服务写日志失败。
容量与 inode 应分别设告警,不能只看一个指标:
| 观察项 | 参考关注线 | 参考预警线 | 需要立即核查的情况 |
|---|---|---|---|
| 文件系统容量 | 70% | 80% | 接近 90%,或按当前增长速度将在短时间内耗尽 |
| inode 使用率 | 70% | 80% | 接近 90%,或创建文件、写日志报错 |
| 日志增长速度 | 建立基线 | 高于基线约 2 倍 | 短时间内持续飙升,且无法由业务量解释 |
这些数值是可调整的起始参考,不代表所有服务都适用。需要保留较长审计日志、容器日志或数据库日志的环境,应为相应目录单独核算容量;如果日志挂载在根分区上,还要给系统更新、临时文件和服务运行预留余量。
容量告警还应关注“多久会满”。例如,某文件系统可用 120GB,日志近 6 小时增长 30GB,粗略平均速度约为每小时 5GB;若增长趋势持续,可用空间大约 24 小时后耗尽。此类估算只能用于安排处置优先级,日志量可能随业务峰谷显著变化,不能替代持续监控。
由外到内定位增长来源
先看挂载点和目录占用
确认空间耗尽发生在哪个文件系统,再从对应挂载点向下查目录。du 可能需要一定时间;对繁忙服务器,先从顶层目录查起,不要对整个文件系统同时运行多个深度扫描。
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h
-x 表示不跨越到其他文件系统,避免把独立挂载的目录混在结果中。-h 以易读单位显示,-d1 限制为一层深度;若系统的 du 不支持 -d,可使用该发行版对应的帮助信息核对参数,或先对具体子目录执行 du -sh 路径。
如需定位大文件,可先列出较大的普通文件,检查名称、修改时间和所属服务:
sudo find /var/log -xdev -type f -size +200M -printf '%s %TY-%Tm-%Td %p\n' \
| sort -n | tail -30
输出的文件大小以字节计,便于排序。200MB 只是示例筛选门槛,可按环境调整。某个文件很大并不等于它可以删除:先判断它是活动日志、轮转归档、崩溃转储,还是应用自行维护的数据文件。对不熟悉的文件,不要凭扩展名推断用途。
若目录总量与 df 显示的已用空间差距明显,可检查其他路径是否占用、目录是否有权限导致扫描不完整,以及是否存在已删除但仍被进程打开的文件。du 只统计目录树中当前可见的文件,无法显示已经从目录项删除、但仍由进程持有的文件内容。
再核对 inode 与小文件堆积
当 df -i 接近 100%,优先检查是否产生大量小文件,例如按请求拆分的临时日志、未清理的会话文件或异常重试记录。可查看目录中文件数量:
sudo find /var/log -xdev -type f -printf '%h\n' \
| sort | uniq -c | sort -n | tail -20
结果按目录汇总文件数,有助于发现小文件集中位置。若问题实际发生在 /var/lib 或应用目录,应将路径改为对应位置。文件数量多不一定就是故障,关键是比较平时基线、文件生成速率和业务预期。
inode 紧张时,删除一个很大的日志文件可能只释放少量 inode;反之,删除大量无用小文件可缓解 inode 压力,但仍需确认这些文件不属于队列、数据库或应用运行数据。清理前先核实路径、文件用途及保留要求,避免使用通配符对整个目录做批量删除。

检查已删除但仍被占用的日志
如果 df 显示空间已用较多,但 du 找不到对应占用,可检查持有已删除文件的进程:
sudo lsof +L1
重点看文件大小、进程名、PID 和文件路径。某进程仍打开被删除的日志时,文件目录项虽然消失,磁盘块通常要等进程关闭文件后才会释放。此时反复删除其他文件未必能解决根因。

处置优先考虑让对应服务按自身支持的方式重新打开日志,或在维护窗口重启该服务;具体操作取决于服务的日志机制和可用性要求。重启前核对服务名称、依赖、连接影响和配置状态,并确认有可用的恢复方案。不要仅凭 lsof 输出就直接结束进程:强制终止可能造成请求中断、任务丢失或数据未正常落盘。
查看 I/O 延迟和内核错误
容量增长和磁盘 I/O 异常可能同时出现,但两者并非同一问题。日志写入量骤增可能抬高写入延迟;设备或文件系统异常也可能导致服务阻塞。应结合指标判断,不要只凭 CPU 型号或单个负载值归因。
若系统已安装 sysstat,可查看设备级统计:
iostat -xz 1 5
重点观察目标设备的读写吞吐、await、队列情况和 %util 是否持续升高,并与业务平稳时的基线比较。NVMe 的并行能力较强,%util 接近 100% 本身不能单独证明设备故障;持续升高的等待时间、队列增长、应用响应变慢以及内核错误需要一起判断。若未安装该工具,应先按发行版的软件包管理方式安装,或使用现有监控数据,不要在磁盘已满的情况下进行大规模测试写入。
可查看近期内核信息:
sudo dmesg -T | tail -100
若看到文件系统 I/O 错误、设备重置、超时或只读挂载等信息,应停止清理性猜测,先保护业务数据并评估设备与文件系统状态。不要在已挂载且正在使用的文件系统上直接运行修复型 fsck。文件系统修复通常需要维护窗口、卸载目标文件系统和备份;具体步骤应按文件系统类型及发行版文档确认。
如需检查 NVMe 健康信息,系统安装了 nvme-cli 时可先识别设备,再查看对应设备的健康日志:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL
sudo nvme list
sudo nvme smart-log /dev/nvme0
/dev/nvme0 仅为示例,必须替换为实际设备。健康日志中的介质错误、警告状态和可用备用空间等字段应结合设备型号及系统日志解读;仅凭一个计数值不宜直接判定设备失效。
按结果选择处置方式
日志目录占用明确:建立有边界的轮转策略
先查明日志由谁生成、是否由系统日志服务管理、应用是否支持重新打开日志。Linux 上常见的 logrotate 适合管理普通文件日志,但它不会自动解决所有应用日志问题;日志输出到标准输出、由容器运行时接管的服务,应在对应运行时或平台设置轮转,不能只配置 /var/log 下的文件。
下面是普通应用日志的配置示例,路径、服务名、文件大小和保留周期都要按实际业务修改:
/var/log/myapp/*.log {
daily
size 200M
rotate 14
compress
delaycompress
missingok
notifempty
create 0640 myapp adm
}
该示例表示在轮转调度触发时,对超过示例大小的日志进行轮转,并保留最多 14 个轮转文件;具体执行频率取决于系统的 logrotate 调度。size 200M 不是实时监控,也不代表日志到达 200MB 就会立即切分。若日志一天内能增长数 GB,仅靠每日调度可能来不及,应结合实际增长速度提高调度频率或使用应用自身的日志轮转功能。

配置中的 myapp、adm 和日志路径不是通用值。执行前应确认对应用户、组、服务行为及现有轮转配置;不要把配置直接套用于系统日志、数据库日志或由其他程序管理的文件。create 会在轮转后创建新文件,权限和属组若设置不正确,可能导致应用无法继续写日志。应先检查配置语法和轮转计划:
sudo logrotate -d /etc/logrotate.conf
-d 为调试模式,不执行实际轮转;核对输出确认目标文件、规则和调度均符合预期后,再按维护流程进行实际验证。若应用不支持在轮转后重新打开日志,文件可能仍由进程写入旧文件,需依据该应用文档设置安全的重开信号或重启流程。不要为了让配置生效,未经验证就给所有服务发送信号。
轮转策略至少要同时回答三个问题:单个日志多大时切分、最多保留多久或多少份、归档文件何时压缩。保留期由审计要求、故障追溯需要和可用空间共同决定。日志压缩可减少归档占用,但压缩过程会消耗 CPU 与 I/O;磁盘和服务已处于高负载时,避免同时启动大批量压缩任务。
systemd 日志占用高:按范围清理并调整上限
如果 journalctl 管理的系统日志占用较大,可先查看当前占用:
sudo journalctl --disk-usage
确认空间主要由 systemd journal 使用后,可按容量上限清理旧归档,例如:
sudo journalctl --vacuum-size=2G
这会删除较旧的归档日志,使 journal 总量向示例上限收敛;它不是按单个文件精准截断,也不会保留已被删除的历史内容。执行前应确认审计及排障保留要求。不要把 2G 当成所有服务器的统一值;应按日志产生速度、保留周期和系统盘容量设定。
为避免只清一次后再次涨满,可在 journald 配置中为系统日志设置合理上限。配置文件常见位置为 /etc/systemd/journald.conf,但需核对发行版版本和当前配置。修改前备份现有文件,保留原有设置;例如可在配置中设置:
[Journal]
SystemMaxUse=2G
SystemKeepFree=10G
数值只是示例,且 SystemKeepFree 的含义是尽量为文件系统保留空间,实际效果受文件系统可用空间及配置项共同影响。修改后按系统维护流程重启 systemd-journald 前,先确认该操作在当前发行版中的服务名称及影响,并确保配置语法正确。若出现日志服务异常,可恢复备份配置并重新加载或重启对应服务。只设置上限并不能代替容量告警:日志清理可能使排障历史缩短,仍需确认保留要求。
日志增长异常:先找到写入原因
若日志在短时间内持续暴涨,常见原因包括应用错误循环、上游请求异常、重复重试、调试级别意外开启或某个任务大量失败。仅加大磁盘或缩短保留期会暂时掩盖症状,未必能阻止持续增长。
先检查日志末尾的错误模式和时间戳,注意脱敏,不要把带有令牌、用户数据或连接信息的内容直接公开:
sudo tail -n 100 /var/log/myapp/app.log
对照应用指标、部署变更、错误率和请求量,判断是正常流量增长还是重复错误。若日志内容显示某个任务反复失败,应修复任务或调整有边界的重试策略;若刚启用调试日志,可按变更记录恢复原日志级别。改动应用配置前备份文件、验证语法,并通过该服务支持的方式平滑加载;若验证失败,回滚到备份配置。
如果发现日志来自容器,应在容器运行时查看具体容器与日志驱动配置,不要直接删除运行时的数据目录。删除容器或运行时目录可能影响正在运行的服务,甚至造成不可恢复的数据损失。
空间耗尽但找不到大文件:核对挂载和文件系统状态
df 与 du 差异较大时,可能是已删除文件仍被进程占用、扫描时权限不足、文件系统保留空间或挂载点判断错误。先结合 lsof +L1、df -hT、findmnt 和 lsblk 确认对应关系:
findmnt -T /var/log
lsblk -f
若根文件系统为 ext4,可能存在为系统和特权进程预留的空间;这会导致普通用户可用空间低于表面剩余量。不要在应急时随意调整保留块比例,尤其是根分区;这类变更应先评估系统启动和故障恢复需求,并留存原配置以便回滚。
若文件系统已转为只读,或内核反复报告设备错误,应把问题视为存储或文件系统故障,而非单纯日志清理。优先保护关键数据、确认备份可用,并安排维护窗口检查。在线文件系统修复命令、卸载操作或重建文件系统都可能造成服务中断或数据损失,不应作为常规清理步骤。
应急清理的安全顺序
容量已接近耗尽时,按“明确对象、减少非必要占用、保留活动数据”的顺序处理。每一步执行后都复查 df -hT 和相关服务状态,确认是否释放空间,不要连续运行多条删除命令。
- 先确认目标文件系统、目录及日志归属。检查是否有可删除的旧归档、过期转储或应用明确允许清理的临时文件,并确认这些内容不受审计、备份或恢复要求约束。
- 对 systemd journal,可使用前述
journalctl --vacuum-size按容量清理;清理后重新运行journalctl --disk-usage和df -hT,确认空间是否回收。 - 对普通轮转日志,先列出待清理的具体文件及大小,再逐个核对时间、归档状态和保留要求。不要对活动日志使用宽泛的
rm *.log,也不要对不熟悉的目录运行递归删除。 - 若
lsof +L1显示已删除文件仍被进程持有,应按服务支持的方式安全重开日志或重启进程;确认空间回收后,再决定是否需要进一步清理。 - 如果必须清空仍在写入的单个日志,先确认该日志可以丢弃、已取得必要备份或业务负责人认可,并确认路径与文件所属服务。清空会永久丢失其中内容,且错误路径可能导致业务数据损失。只有在确认文件后才可使用:
sudo truncate -s 0 /var/log/myapp/app.log
这会把指定文件长度设为 0,不会删除文件本身;但应用仍可能继续写入,且该命令不能替代正确的日志轮转。执行前记录准确路径、检查文件归属并备份需要保留的内容;若路径或用途不确定,不要执行。清空后确认服务能继续写日志、文件权限和属组正确,并检查是否需要按应用支持方式重新打开日志。该操作本身无法回滚被清除的内容。
磁盘写满时,系统日志、服务状态文件和临时文件都可能受到影响。不要把“释放了几 GB”当成处置完成:如果根因是错误循环或异常流量,日志会再次增长,应同步处理产生日志的服务。
设置可执行的容量与增长告警
告警建议同时覆盖文件系统容量、inode 使用率、日志目录增长速度和 I/O 延迟。容量阈值关注“还剩多少”,增长速度关注“多久会耗尽”,I/O 指标则用于判断磁盘繁忙或设备异常。对香港服务器而言,机房位置与 CPU 型号不会改变日志轮转原则;EPYC 4244P 的计算能力也不能消除 NVMe 容量、文件系统和日志策略带来的限制。
可按以下思路设定初始策略,再依据业务峰谷调整:
| 级别 | 参考条件 | 建议动作 |
|---|---|---|
| 关注 | 文件系统超过 70%,或日志增长速度高于平时基线 | 核实目录占用与日志来源,检查是否有新变更 |
| 预警 | 文件系统超过 80%,或 inode 超过 80% | 确认轮转调度和保留策略,评估未来 24 小时可用空间 |
| 应急 | 文件系统接近 90%或短时间内将耗尽 | 按应急顺序清理可确认的归档,通知相关服务负责人 |
| 故障处置 | 只读挂载、持续 I/O 错误或服务无法写入 | 保护数据并评估设备、文件系统和业务恢复方案 |
具体百分比需结合文件系统用途、增长峰值、备份窗口和业务恢复时间调整。日志单独挂载时,日志分区告警不应掩盖根分区告警;同样,inode 告警应按挂载点设置,而不是只监控整台主机的一个汇总值。
修复后复测并持续观察
完成轮转、清理或应用修复后,按相同路径复测,避免只检查根目录而漏掉日志所在挂载点:
df -hT /
df -hT /var/log
df -i /
df -i /var/log
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo journalctl --disk-usage
确认容量和 inode 有余量、预期日志目录不再异常增长,且系统日志服务及应用能够继续写入。若释放空间的数值明显小于预期,复查已删除文件句柄、挂载关系和文件系统状态;若空间在短时间内再次被占满,回到日志增长来源排查,而不是重复执行同一清理命令。
建议至少观察一个完整业务峰值周期,比较轮转前后的日志增长速度、保留量和 I/O 延迟。若部署了容量监控,确认告警实际能送达值班渠道,并测试 inode 与文件系统容量告警是否分别触发。只有清理后空间恢复、服务正常、增长原因得到控制且告警链路有效,日志策略才算完成验证。
围绕业务运行与日志留存的资源需求,A5数据提供香港AMD EPYC物理服务器,涵盖EPYC 4244P等平台,配合NVMe存储,为网站、接口服务和数据库提供计算与读写资源。香港存储系列另有搭载四块14TB企业级机械硬盘的方案,可用于集中保存轮转日志、历史归档和备份文件,为业务运行与长期留存分开部署提供资源基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3071.html


