香港服务器运行ELK日志平台,磁盘持续增长应如何排查?

发布人:A5数据发布时间:2026-10-13 09:11阅读量:93

香港服务器上的 ELK 磁盘持续增长,首先要判断增长发生在哪个文件系统、由哪些目录或文件贡献,以及它是否仍在增长。df 显示使用率上升,并不等于 Elasticsearch 索引一定膨胀:也可能是日志文件未轮转、文件已删除但仍被进程占用、inode 耗尽,或磁盘 I/O 变慢导致写入和清理跟不上。

排查时应先确认影响范围,再沿着“数据从哪里来、写到哪里、由谁保留、文件系统如何承载”的链路逐层缩小范围。不要仅凭磁盘接近满载就直接删除 Elasticsearch 数据目录;这类操作可能导致索引损坏、节点无法启动或数据丢失。

先确认故障范围和增长速度

在 Linux 服务器上,先查看挂载点、文件系统类型、容量和 inode。以下命令只读取状态,不会修改数据:

date
hostname
df -hT
df -i
lsblk -f

判断时要区分几个概念:

  • df -hT 中的使用率是文件系统块空间占用;df -i 中的使用率是 inode 占用。空间尚有余量但 inode 用尽时,系统也可能无法创建新文件。
  • df 反映整个文件系统,du 统计可访问目录下的文件。两者结果不完全一致,并不必然代表统计错误。
  • ELK 的数据目录、系统日志、容器可写层、临时目录可能位于不同挂载点。先确认它们的实际位置,避免只看根分区。
  • 磁盘使用率只是瞬时状态。应隔一段时间重复采样,估算每天增长多少,而不是只根据一次检查判断趋势。

例如,某数据盘容量为 1,000 GB,使用量从 700 GB 增至 760 GB,间隔 24 小时,则近似增长速度为 60 GB/天。若计划保留 14 天数据,仅按当前速度估算就需要约 840 GB,还未计入合并、分片、副本、系统预留空间和增长波动。这里的 GB 按十进制计量;实际文件系统显示值可能使用不同换算口径。

先确认故障范围和增长速度配图

可以用以下命令观察目录占用。请把路径替换为实际挂载点;若目录很大,扫描过程会增加磁盘读取,宜在业务低峰执行:

sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/lib 2>/dev/null | sort -h

-x 用于限制在同一文件系统内,避免跨挂载点重复统计。部分发行版的 du 不支持 -d 参数时,可用 du -x -h --max-depth=1。常见数据位置可能包括 /var/lib/elasticsearch、/var/log、/var/lib/docker,但不能仅凭目录名称认定其实际用途。

建立原因树:空间、inode、I/O还是统计不一致

将问题按网络输入、系统和文件系统、ELK 服务、日志保留策略四层拆分,可以减少误删和无效扩容。

建立原因树:空间、inode、I/O还是统计不一致配图

分支典型证据下一步
网络输入增加上游发送量、接收队列或 Logstash 输入量上升对照来源主机、日志类型和时间窗口,确认是否出现重复发送或流量突增
系统文件增长/var/log、容器目录、临时目录占用上升查明具体文件和所属进程,核对轮转、容器日志及系统日志策略
Elasticsearch 数据增长数据路径、索引或数据流占用持续增加查看索引创建速率、保留期限、副本和分片分布
inode 耗尽df -i 接近满载,文件数量很多找出大量小文件的目录和创建者,确认是否为缓存、队列或应用临时文件
I/O 延迟或文件系统异常磁盘等待高、应用写入变慢,容量清理滞后区分设备性能、队列堆积、只读挂载、错误或空间预留问题
df 与 du 不一致df 用量明显大于可见目录总量检查已删除但仍打开的文件、保留块和其他挂载点

香港服务器的地区属性本身不能解释磁盘为何增长,但数据链路可能涉及香港节点与其他地区的采集端。跨地区链路延迟、抖动或短时中断,可能使采集端重试、Logstash 队列积压,或恢复连接后集中补发。因此应把“网络传输变化”作为输入量和队列的排查方向,而不是把网络延迟直接等同于磁盘故障。

逐层排除

1. 先排查采集链路和输入量

如果 Elasticsearch 索引每日新增量突然增加,先确认写入是否真实变多。核对采集端数量、采集配置变更、上游日志级别、重复采集路径,以及网络恢复后是否发生积压回放。

在 Filebeat 或 Logstash 所在主机上,查看服务状态和近期日志。具体服务名可能因部署方式和发行版不同而变化:

systemctl status filebeat
systemctl status logstash
journalctl -u filebeat --since "2 hours ago" --no-pager
journalctl -u logstash --since "2 hours ago" --no-pager

重点寻找连接重试、输出失败、队列满、批量发送重试、解析异常等信息。若使用容器部署,应同时检查容器状态和容器日志,而不应只检查宿主机的 systemd 服务。

如果启用了 Logstash 持久化队列,队列文件也会占据磁盘。查看配置中的 path.queue、queue.max_bytes、队列启用状态,以及队列目录的实际用量。积压可能来自 Elasticsearch 输出变慢,也可能来自网络链路或下游拒绝写入。队列变大说明数据尚未顺利消费,不应在未确认数据价值和恢复方案前直接清空。

如有监控,可比较同一时间段的采集事件数、Logstash 输入与输出事件数、队列长度、Elasticsearch bulk 写入成功率。以下是判断示例,不代表任何实际服务器数据:

  • 采集事件数增加,输出正常:更可能是日志源新增、日志级别变化或重复采集。
  • 输入基本不变,输出失败率升高且队列增长:更可能是下游写入问题,继续检查 Elasticsearch 和磁盘 I/O。
  • 香港节点与采集端连接中断后,恢复时写入短时跃升:需核对采集端是否缓存并补发,以及补发数据是否与已写入数据重复。

2. 区分容量不足与 inode 耗尽

检查 df -hT 后,找到使用率最高的挂载点,再用 du 限定范围定位大目录。不要对整个根目录无差别执行深度扫描,尤其是在生产高峰期。

若 df -i 显示 inode 使用率接近 100%,而容量仍有不少余量,问题更可能是大量小文件。例如短周期临时文件、缓存碎片、容器日志切片或应用生成的独立文件。可以先统计目录中文件数量:

sudo find /var/log -xdev -type f | wc -l
sudo find /var/lib -xdev -type f | wc -l

上述命令会遍历目录,文件数量很大时可能耗时较长。统计完成后,应继续按目录、文件名和修改时间缩小范围,并查明创建程序及清理策略。不要为了释放 inode 而批量删除不明文件。

如果 df -hT 显示空间已满,但 du 汇总远小于 df,可能有文件已经被删除,但仍被进程打开。此时文件名不再出现在目录树中,磁盘块却要等进程关闭文件后才释放。可检查:

逐层排除:区分容量不足与 inode 耗尽配图

sudo lsof +L1

输出中若有大型 deleted 文件,先确认其所属进程和用途。通常需要在评估影响后,通过服务的正常轮转、重开日志或计划内重启释放占用;不要直接操作 /proc 文件描述符来截断文件。若无法确认安全处理方式,应先保留现场并安排维护窗口。

还要检查是否存在文件系统保留块、快照、未挂载目录下被覆盖的旧文件,或其他挂载点占用。df 的使用量不一定全部来自当前可见的普通文件,需结合文件系统类型和主机配置判断。

3. 判断磁盘 I/O 是否拖慢写入或清理

容量增长和 I/O 延迟可能同时发生,但两者因果方向不固定:高写入量会增加设备负载;设备延迟升高也可能让 Elasticsearch 合并、刷新和队列消费变慢,进一步造成积压。

可以使用系统已有工具观察设备状态:

iostat -xz 1 5
vmstat 1 5

若系统未安装 iostat,不要为排障随意安装来源不明的软件;可先查看云平台或主机监控中的磁盘读写吞吐、IOPS、队列深度和延迟。iostat 中的 %util 在不同设备类型和内核环境下解释有限,不能单独作为磁盘“满载”的定论,应与 await、队列长度、吞吐量及应用写入延迟一并看。

同时检查内核和文件系统是否报告错误:

dmesg -T | tail -n 100
journalctl -k --since "2 hours ago" --no-pager

若看到 I/O error、文件系统错误、设备重置或挂载变为只读,应优先保护数据并处理底层设备或文件系统问题。不要在已挂载且仍有写入的文件系统上直接运行修复工具;修复方式要依据文件系统类型、备份状态和维护窗口确定。

4. 检查文件系统和挂载关系

df -hT 可查看文件系统类型及挂载点,lsblk -f 可确认设备、文件系统和挂载关系。确认 Elasticsearch 数据路径确实落在预期数据盘,而非根分区;也检查符号链接、容器卷映射和绑定挂载,避免误把“宿主机数据盘已挂载”当作“服务实际写入数据盘”。

若数据盘未挂载,服务可能仍向挂载点对应的根分区目录写入,造成根分区快速增长。此时先确认服务路径、挂载状态和数据是否已经写入错误位置,不要直接重新挂载覆盖目录内容。挂载、迁移或修复都应在确认备份、服务影响范围和回滚方式后执行。

检查 Elasticsearch 数据与保留策略

对照索引增长和节点磁盘

若主要增长发生在 Elasticsearch 数据目录,应从集群视角核对索引和节点占用。集群启用了认证时,命令需要使用受控凭据;不要把密码明文写入公开终端记录或脚本历史。以下为接口形式示例:

curl -sS "http://localhost:9200/_cat/indices?v&s=store.size:desc"
curl -sS "http://localhost:9200/_cat/allocation?v"
curl -sS "http://localhost:9200/_cluster/health?pretty"

请根据实际环境调整协议、主机名、认证和证书校验方式。不要为了方便关闭生产环境的证书校验。

store.size、主分片大小、副本数与节点磁盘占用的关系需要结合副本和分片分配一起看。索引副本会增加磁盘占用,但副本可能分布在不同节点;比较单节点目录和集群索引统计时,口径并不完全相同。集群健康状态异常时,还应查看未分配分片、节点加入或退出、分片迁移和恢复情况。迁移期间可能出现额外 I/O 与空间压力。

Elasticsearch 的磁盘水位会影响分片分配行为。常见版本默认低、高和 flood-stage 水位大致为 85%、90% 和 95%,但默认值、配置项及计算方式会随版本和配置变化,应以当前版本设置为准。达到 flood-stage 后,相关索引可能被设置只读以保护磁盘。查看到只读状态时,先释放足够空间并确认集群恢复,再按对应版本流程解除限制;不要只清除只读标记而不处理容量根因,否则写入可能再次失败。

核对保留期限、分片和副本

按索引或数据流检查以下内容:

  • 是否设置合理的保留期限,生命周期策略是否实际执行。
  • 是否存在旧索引长期留存、策略名称错误、策略未关联到索引,或数据流滚动后旧 backing index 未清理。
  • 每日索引数量是否过多,是否为每个来源创建过多小索引。
  • 主分片和副本配置是否与数据量、节点数和容灾要求匹配。
  • 是否有重复索引、重放数据、异常高基数日志或字段膨胀,导致文档体积变大。
  • 磁盘增长是否来自索引数据,还是来自快照缓存、临时文件、事务日志或其他数据路径。

不要通过直接删除数据目录中的分片文件来释放空间。需要清理过期索引时,应使用集群支持的索引或生命周期管理机制,并在执行前核对索引名称、时间范围、保留要求和备份可用性。删除操作不可逆时,应先确认是否存在有效快照及恢复测试记录,并明确影响范围和回滚能力;没有快照的删除不能视为可回滚操作。

估算容量是否够用

容量规划可以用每日写入量和保留天数做第一轮估算:

所需容量约等于每日索引存储增长量 × 保留天数 × 安全系数。

例如,主分片数据每天增长约 30 GB,要求保留 14 天,按副本数为 1 粗略估算,副本约使数据量增加一倍,则基础估算为:

30 GB/天 × 14 天 × 2 = 840 GB。

这还未包含文件系统预留、分片合并期间的临时空间、系统日志、队列和其他服务数据,也没有考虑压缩率变化、写入波动及节点分配不均。因此它不是可直接采购或扩容的最终容量值。应根据实际索引统计、保留策略、节点分布和安全余量修正,并避免长期把文件系统维持在接近满载的状态。

围绕香港ELK日志平台的持续写入、检索与历史数据留存,A5数据提供不同档位的香港物理服务器资源:Xeon Gold、AMD EPYC系列搭配大内存及SSD或NVMe存储,为日志处理、索引写入和查询提供硬件基础;香港存储系列配备多块企业级大容量机械硬盘,可承载日志归档与备份数据。计算与存储产品的不同配置,为日志平台划分在线处理和历史留存资源提供了部署空间。

定位根因后处理,并验证恢复

完成目录和服务层面的证据核对后,根因通常落在几类情形:上游日志量增加或重复采集;Logstash 队列因下游不可写而堆积;索引保留策略未生效;系统日志或容器日志未轮转;删除文件仍被进程占用;inode 耗尽;或底层设备和文件系统出现异常。

处理顺序应优先选择风险较低、可验证的措施:

  1. 暂停不必要的重复采集或修正异常日志级别,但保留必要的审计与业务日志。
  2. 修复下游不可写、队列消费停滞或错误的保留策略,确认新数据能够正常进入和过期数据能够按策略处理。
  3. 对系统日志和容器日志核实轮转配置及保留期限,优先通过服务支持的日志轮转机制释放空间。
  4. 对确需扩容、调整挂载或迁移数据路径的情况,先核对备份、目标空间、服务停机要求和回滚步骤,再执行变更。
  5. 对文件系统错误或设备 I/O 错误,停止可能扩大损害的写入操作,并依据备份与维护方案处理。

确认恢复不能只看 df 使用率下降。至少检查以下结果:

  • 文件系统仍以预期类型挂载,容量与 inode 均有余量,且使用率不再持续异常上升。
  • lsof +L1 中不再存在未处理的大型删除文件,或已确认其占用按计划释放。
  • Elasticsearch 集群健康状态、分片分配和写入错误恢复正常;若曾触发只读保护,确认解除后写入持续成功。
  • Filebeat、Logstash 的输出错误和队列长度回到正常范围,输入与输出数据量能够对齐。
  • 磁盘 I/O 延迟回落,系统日志中没有继续出现文件系统或设备错误。
  • 观察至少一个覆盖业务峰值的周期,确认每日增长趋势与保留策略一致,而非短暂下降后再次攀升。

复发监控点

为避免问题在下次日志高峰中重现,建议同时监控容量、增长速度和写入链路,而不是只设置“磁盘使用率超过某值”的单一告警。

  • 每个挂载点的空间使用率、可用空间和 inode 使用率;根分区与 Elasticsearch 数据盘分别告警。
  • 近 1 小时、24 小时的磁盘增长量,以及按当前速度推算的剩余可用天数。
  • Elasticsearch 各节点磁盘占用、分片分配、索引每日增长量和生命周期策略执行状态。
  • Filebeat 发送错误、Logstash 队列长度与持久化队列目录用量、Elasticsearch bulk 写入失败率。
  • 磁盘 I/O 延迟、队列深度,以及文件系统只读、设备错误和日志轮转失败。
  • 已删除但仍被进程打开的大型文件,以及容器日志是否超出设定的轮转与保留范围。

告警阈值应结合文件系统容量、业务增长和扩容周期设置。对增长较快的数据盘,提前按“剩余天数”告警通常比等到接近满盘才处理更有余地;同时保留索引生命周期、日志轮转和备份恢复的检查记录,才能判断磁盘增长是否符合预期。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3409.html