用Netdata监控香港服务器,如何设置磁盘空间告警阈值?
在香港服务器上用 Netdata 设置磁盘空间告警,不建议直接把“剩余空间低于 10%”作为唯一判断条件。更稳妥的起点是:按挂载点分别观察可用空间、inode、写入延迟、I/O 等待、队列长度和业务响应,再用 5 分钟左右的平均窗口过滤瞬时波动。普通系统盘可以先采用“剩余 20%告警、10%严重告警”的参考值,但数据库盘、日志盘和小容量系统盘应根据剩余 GB 数量与增长速度提前调整。
配置层面,Netdata 通常通过 health.d 下的健康检查文件定义阈值。例如,使用 disk.space 图表中的 avail 维度,可以建立“剩余空间低于 20% 和 10%”的告警;但这条规则可能作用于多个文件系统,不能默认理解为只监控 /。配置前要先确认服务器的挂载点、Netdata 图表名称和已有告警,避免重复通知或把数据盘、临时盘套用同一套阈值。
为什么单一磁盘百分比容易误判
“剩余空间 15%”看起来是一个明确的数字,但它在不同服务器上的含义可能完全不同:
- 20 GB 系统盘剩余 15%,约为 3 GB,系统更新、日志写入和临时文件可能很快耗尽空间。
- 1 TB 数据盘剩余 15%,仍有约 150 GB,可用时间可能长达数天或数周。
- 文件系统剩余空间充足,但 inode 已经耗尽,仍然无法创建新文件。
- 空间下降很快,但 I/O 延迟、业务响应和错误率没有变化,可能只是备份任务或大文件传输。
- 空间下降不明显,但写入延迟和队列突然升高,故障前兆可能来自磁盘性能,而不是容量。
因此,磁盘空间告警应回答两个问题:
- 当前剩余空间是否已经接近业务安全边界?
- 按当前消耗速度,距离无法写入还有多长时间?
第一个问题适合用 Netdata 的百分比阈值处理,第二个问题需要结合时间序列、写入速率和业务指标判断。香港服务器所在地区本身不会改变磁盘阈值,真正影响阈值的是磁盘容量、业务类型、日志增长速度、备份周期和故障处理时间。
建立观察窗口:先确定正常基线
设置阈值之前,建议至少观察一个完整业务周期。只在低峰期看一眼磁盘曲线,容易把正常的日志轮转、批处理或备份任务误判为异常。
建议的观察周期
- 有明显日间高峰的 Web 或 API 服务器:观察 24 至 72 小时。
- 有每日备份、周报、批处理任务的服务器:至少观察 7 天。
- 数据库或日志增长变化较大的服务器:尽量覆盖一次备份、归档、日志轮转和业务高峰。
- 新上线服务器:先使用偏保守的阈值,同时记录告警发生时的实际剩余 GB 数和增长速度。
需要将 Netdata 的时间轴与业务时间保持一致。如果服务器使用 UTC,而运维人员按照香港时间查看,需要确认仪表盘展示时区,否则可能把凌晨备份任务误认为香港白天的业务高峰。
可以先使用以下只读命令确认文件系统结构:
df -hT
df -ih
findmnt -t ext4,xfs,btrfs
df -hT 主要查看文件系统类型、容量、已用空间和可用空间,df -ih 查看 inode 使用情况,findmnt 用于确认挂载点关系。不要只观察根目录 /,还要检查 /var、数据库目录、备份目录、容器数据目录和独立挂载的数据盘。
同时确认 Netdata 版本和当前安装方式:
netdata -v
systemctl status netdata --no-pager
如果 Netdata 运行在容器中,应在容器内查看配置和图表,且要确认 /etc/netdata 已经持久化挂载。容器重建后,如果健康配置没有持久化,告警规则可能随容器一起丢失。
同一时间窗口内观察哪些指标
磁盘空间不应单独放在一个时间轴上分析。建议把以下指标放在相同的 1 小时、6 小时或 24 小时窗口中:
| 指标 | 主要含义 | 与磁盘空间的关联 |
|---|---|---|
| 文件系统可用空间 | 当前还能写入多少容量 | 判断容量是否接近边界 |
| inode 可用比例 | 还能创建多少文件 | 判断小文件耗尽问题 |
| 磁盘读写延迟 | I/O 请求完成所需时间 | 判断磁盘是否出现性能压力 |
| I/O 等待率 | CPU 等待磁盘完成的时间比例 | 判断存储是否拖慢业务 |
| I/O 队列长度 | 等待处理的请求数量 | 判断请求是否积压 |
| 写入速率和写入次数 | 空间消耗来源 | 区分大文件写入与大量小文件 |
| 内存和 Swap | 是否存在内存压力 | 避免把 Swap 增长误判为普通文件增长 |
| 网络入站、出站流量 | 是否在传输备份或文件 | 排除备份、上传、同步等替代解释 |
| HTTP 响应时间 | 业务是否已经变慢 | 判断磁盘问题是否影响用户请求 |
| HTTP 错误率 | 是否出现业务失败 | 判断是否已经从容量风险发展为故障 |
Netdata 中可重点查看 disk.space、disk.inodes、系统 CPU 的 iowait、磁盘 I/O、网络流量和业务服务图表。不同采集器、发行版和 Netdata 版本可能使用不同的图表名称,配置前应以当前实例中实际存在的图表和维度为准。
如何选择告警阈值
按挂载点而不是整台服务器设置
不同挂载点承担的任务不同,阈值不能简单地全机统一。
| 挂载点或用途 | 参考告警线 | 参考严重线 | 设置理由 |
|---|---|---|---|
普通系统盘 / | 剩余 20% | 剩余 10% | 为系统更新、临时文件和运维操作保留空间 |
日志盘 /var | 剩余 25% | 剩余 15% | 日志增长通常具有突发性,且写满后可能影响多个服务 |
| 数据库数据盘 | 剩余 20% | 剩余 10% 或更高 | 需要考虑 WAL、临时表、排序空间和快照需求 |
| 备份盘 | 剩余 30% | 剩余 20% | 备份通常以批量方式增长,空间不足会影响下一次任务 |
| 临时文件盘 | 剩余 25% | 剩余 15% | 临时目录可能在单次任务中快速膨胀 |
| 小容量 VPS 系统盘 | 剩余 25% | 剩余 15% | 百分比对应的实际 GB 较少,不能等到 10% 才处理 |
这些数值是初始参考,不是所有服务器都适用的固定标准。比如一台 20 GB 的系统盘,即使剩余 20%,实际也只有约 4 GB;如果系统每周更新、日志每天增长 1 GB,那么 20% 可能还不够提前处理。
相反,一块 2 TB 的数据盘剩余 10% 仍有约 200 GB,但如果数据库每天增长 80 GB,安全时间也只有约 2.5 天。阈值应同时满足百分比边界和处理时间边界。
用消耗速度计算提前量
可以用一个简单的估算判断当前阈值是否足够:
可用时间 = 当前可用空间 ÷ 最近一段时间的平均消耗速度
例如,数据盘当前剩余 18 GB,6 小时前剩余 21 GB,期间消耗了 3 GB:
- 消耗速度 = 3 GB ÷ 6 小时 = 0.5 GB/小时
- 预计可用时间 = 18 GB ÷ 0.5 GB/小时 = 36 小时
如果值班人员、业务负责人和扩容流程至少需要 24 小时,那么 18 GB 已经不应只看作“还有不少空间”,而应进入告警或容量处理阶段。
这个估算只适用于增长相对稳定的场景。备份、日志压缩、数据库归档和批量导入会造成阶梯式增长,最好分别观察低峰期、业务高峰期和计划任务执行时段。
不要忽略 inode
inode 是文件系统用来记录文件和目录的资源。大量小文件可能在磁盘容量尚未耗尽之前,先把 inode 用完。常见来源包括:
- 短周期应用日志;
- 缓存目录中的大量小文件;
- 邮件队列或任务队列;
- 容器临时层;
- PHP、Java、Node.js 等应用生成的临时文件;
- 备份程序产生的分片文件。
因此,容量告警和 inode 告警应分别配置。典型起点可以是 inode 剩余 20% 告警、10%严重告警。如果业务会产生大量小文件,可以提前到 30% 和 15%。
在 Netdata 中配置磁盘空间告警
先检查是否已有默认告警
很多 Netdata 安装方式已经自带磁盘空间健康规则。先查看健康配置目录:
sudo find /etc/netdata -maxdepth 2 -type f \
\( -name '*.conf' -o -name '*.yaml' \) | sort
重点查找名称中包含 disk、space、inode 或 health 的文件。不要在已有规则没有确认的情况下重复添加同类告警,否则同一个挂载点可能产生两条或多条通知。
通常优先使用:
/etc/netdata/health.d/
如果当前安装方式使用了其他配置目录,应以该实例的 Netdata 配置为准。不要直接修改软件包目录中的默认文件,因为升级时可能被覆盖。
配置剩余空间百分比告警
下面是一份适合普通文件系统的示例。它使用 disk.space 图表中的 avail 维度,以 5 分钟平均值作为判断依据:
alarm: hk_disk_free_space
on: disk.space
lookup: average -5m unaligned of avail
units: %
every: 1m
warn: $this < 20
crit: $this < 10
info: filesystem available space is below the configured threshold
将内容保存为自定义健康配置文件,例如:
/etc/netdata/health.d/hk-disk-space.conf
这条规则的含义是:
- 每 1 分钟检查一次;
- 取过去 5 分钟的平均可用空间;
- 剩余空间低于 20%时触发警告;
- 剩余空间低于 10%时触发严重告警;
- 对
disk.space上匹配的文件系统图表生效。
需要注意,on: disk.space 通常代表磁盘空间图表上下文,可能覆盖多个挂载点。它不等于“只监控 /”。配置完成后,应在 Netdata 图表和告警列表中确认实际产生告警的挂载点。

如果系统中已有同等功能的默认规则,应选择修改已有规则或停用重复规则,而不是同时保留两套相同阈值。不同 Netdata 版本对默认告警文件名称和图表筛选方式可能存在差异,不能仅凭文件名推断作用范围。
配置 inode 告警
可以为 inode 建立独立规则:
alarm: hk_disk_free_inodes
on: disk.inodes
lookup: average -5m unaligned of avail
units: %
every: 1m
warn: $this < 20
crit: $this < 10
info: filesystem available inodes are below the configured threshold
如果当前 Netdata 实例中没有 disk.inodes 图表,先在仪表盘中确认采集器是否启用,或者检查实际图表上下文名称。不要在未确认图表存在的情况下反复修改配置,因为规则可能处于未匹配状态,看起来像“配置成功”,实际上没有产生任何告警。
重新加载并确认配置
保存配置后,优先使用 Netdata 自带的健康规则重新加载命令:
sudo netdatacli reload-health
然后查看服务状态和近期日志:
sudo systemctl status netdata --no-pager
sudo journalctl -u netdata -n 50 --no-pager
如果 netdatacli 在当前安装方式中不可用,应先确认 Netdata 的服务管理方式和版本,再按照该版本支持的 reload 方法执行。直接重启监控服务可能造成短暂的监控空窗,不应把重启作为第一种配置验证方式。
在 Netdata 界面中依次检查:
disk.space图表是否存在;avail维度是否显示为百分比;- 告警列表中是否出现新的
hk_disk_free_space; - 告警描述是否包含正确的挂载点;
- 告警的
warn和crit状态是否与阈值一致; - 恢复到阈值以上后,告警是否自动恢复。
不要通过大量写入文件来人为填满生产磁盘测试告警。更安全的验证方式是使用测试挂载点、临时测试主机,或者在确认影响范围并备份配置后,短时间把测试规则调到接近当前值,再及时恢复原配置。测试结束后要检查告警恢复、通知渠道和重复通知策略。
用多指标联动判断告警是否真实
一个可用的判断流程不是“看到磁盘低于 20%,马上清理文件”,而是建立同一时间窗口,依次观察空间变化、I/O 变化、业务变化,并排除其他解释。
示例一:空间下降,同时 I/O 和业务指标恶化
以下是用于说明判断过程的模拟数据,不代表某台香港服务器的实际监控结果:
| 时间 | 可用空间 | inode 可用 | 写入延迟 | I/O 等待 | 队列长度 | HTTP P95 | 错误率 |
|---|---|---|---|---|---|---|---|
| 10:00 | 28% | 61% | 3 ms | 2% | 0.2 | 180 ms | 0.2% |
| 12:00 | 24% | 60% | 4 ms | 3% | 0.3 | 185 ms | 0.2% |
| 16:00 | 18% | 59% | 5 ms | 4% | 0.4 | 190 ms | 0.3% |
| 22:00 | 12% | 58% | 18 ms | 16% | 4.8 | 420 ms | 3.1% |
这里不仅是可用空间下降,还同时出现:

- 写入延迟从 3 ms 上升到 18 ms;
- I/O 等待率明显增加;
- 队列长度持续上升;
- HTTP P95 响应时间变慢;
- 错误率从正常水平升高。
这组指标联动时,磁盘空间告警更可能已经影响到业务。排查方向应优先放在日志暴涨、数据库临时文件、磁盘写满前的 I/O 阻塞、容器层增长或存储设备异常,而不是只调整告警阈值。
示例二:空间下降,但业务指标基本稳定
另一种模拟变化可能是:
- 可用空间从 40%下降到 22%;
- 写入延迟始终在 3 至 5 ms;
- I/O 等待率低于 4%;
- HTTP 响应时间基本不变;
- 出站网络流量在凌晨明显升高;
- 备份任务在同一时间开始运行。
这种情况更像是备份文件、镜像导出或数据同步导致的计划性增长。它仍然需要容量管理,但不宜直接认定为磁盘故障。应核对任务执行时间、备份保留数量和生成文件的目录,并重新计算备份盘的正常增长曲线。
网络流量可以帮助排除替代解释,但不能单独证明磁盘正常。例如,网络出站流量升高可能表示备份正在上传,也可能只是业务流量增加。仍需结合磁盘写入速率和任务日志判断。
示例三:容量充足,但 inode 接近耗尽
如果容量剩余 55%,inode 只剩 8%,同时文件创建失败率上升,说明问题不是大文件占满磁盘,而是小文件数量接近文件系统上限。
此时,disk.space 的容量告警不会触发,disk.inodes 告警才是有效信号。可以进一步查看目录层级和文件数量,但不要直接删除未知目录中的文件。应用缓存、任务队列和日志目录的清理策略必须确认文件归属、保留周期和重建条件。
示例四:空间曲线上下波动
如果可用空间从 30%下降到 18%,随后又回升到 27%,并且每次都发生在批处理或临时任务期间,通常可能是:
- 压缩、解压或排序产生临时文件;
- 数据库临时表在任务结束后清理;
- 日志轮转后旧文件被删除;
- 容器临时层被重新创建;
- 缓存目录存在定时清理。
这类波动适合使用 5 分钟平均窗口,避免单次短时峰值触发告警。但如果任务期间已经影响到响应时间,不能仅靠延长窗口掩盖问题,应同时提高临时目录预留空间或调整任务并发度。
告警降噪与故障前兆的平衡
用平均窗口过滤瞬时变化
直接使用单个采样点容易产生抖动。比如日志轮转在几十秒内写入 2 GB,随后又释放 2 GB,使用 1 分钟平均值可能触发短时告警。采用 5 分钟平均值通常更适合一般系统盘和日志盘。
但平均窗口不是越长越好:
- 普通系统盘:可从 5 分钟开始;
- 日志增长较快的服务:可考虑 1 至 5 分钟;
- 备份盘或大文件盘:可用 5 至 15 分钟,并结合每日增长速度;
- 短时间内可能写满的小容量盘:不宜只依赖长窗口。
如果服务器每小时可能消耗数 GB,5 分钟平均值只能降低噪声,不能代替增长速度判断。需要把告警时间提前到实际处理时间之前。
区分警告和严重告警
警告级别应该用于安排处理,而不是等到业务已经失败。严重告警应保留给接近不可写入、inode 即将耗尽或增长速度明显异常的情况。
一种实用的分层方式是:
- 警告:剩余空间低于 20%,开始确认增长来源和扩容计划;
- 严重:剩余空间低于 10%,需要在当前值班周期内处理;
- 小容量系统盘:将两个阈值整体提前;
- 写入速度突然增加:即使百分比尚未达到严重线,也提高处理优先级;
- 数据库盘和日志盘:根据业务可接受的写入中断时间设置更大安全余量。
不要把警告和严重告警设置得过于接近,例如 20%和19%,否则空间在阈值附近轻微波动时可能频繁切换状态。平均窗口、合理间隔和充分余量比单纯增加通知次数更有效。
让通知通道独立于被监控磁盘
磁盘写满后,服务可能无法写日志,某些本地通知组件也可能受到影响。Netdata 代理可以在本机采集指标,但告警通知最好通过独立的管理通道或外部通知服务送达。
同时应检查:
- Netdata 进程本身是否正常;
- 告警是否进入 Netdata 的告警列表;
- 通知渠道是否能收到警告和严重告警;
- 重复通知是否会造成值班人员忽略真正异常;
- 监控节点或通知服务是否与被监控服务器共用同一块磁盘。
如果 Netdata、应用日志和通知队列都写在同一个即将耗尽的分区上,单机监控的可靠性会随磁盘风险一起下降。
排除常见替代解释
磁盘空间告警出现后,可以按低风险顺序确认以下情况:
- 对照
df -hT和 Netdata 图表,确认告警对应的挂载点是否一致。 - 使用
df -ih检查是否是 inode 先耗尽。 - 查看同一时间段的写入速率、I/O 延迟、I/O 等待率和队列长度。
- 核对定时备份、日志轮转、数据库归档和批量导入任务。
- 检查容器数据目录、镜像层、缓存目录和临时目录是否位于该挂载点。
- 如果
df显示已用空间较高而目录统计不匹配,再检查是否存在已删除但仍被进程打开的文件。 - 确认是否存在文件系统配额、快照、保留块或存储层限制。
- 复查告警规则是否重复、是否匹配了错误的图表或挂载点。
对于 ext4 文件系统,保留块会使普通用户可用空间与总容量显示存在差异;对于容器环境,宿主机、容器可写层和独立数据卷也可能不是同一个文件系统。不能因为应用容器内看到的剩余空间正常,就认定宿主机根分区没有风险。
如果空间突然下降但业务指标没有变化,优先找增长来源;如果空间变化不大但 I/O 队列、响应时间和错误率同时升高,优先检查存储性能。两种情况使用的处理方向不同,告警阈值也不应混为一谈。
一套可复用的复测流程
设置好 Netdata 阈值后,可以用以下顺序复测,而不是只等待告警是否出现:
- 建立观察窗口:选择覆盖业务高峰、低峰和计划任务的时间段,记录可用空间、inode、I/O、网络和业务响应。
- 确认指标 A 的变化:先看可用空间或 inode 是否持续下降,区分线性下降、阶梯式下降和上下波动。
- 确认指标 B 的联动:再看写入延迟、I/O 等待率、队列长度、网络流量、响应时间和错误率是否同步变化。
- 排除替代解释:核对备份、日志轮转、缓存清理、容器任务、数据库归档和文件系统特性。
- 形成判断:决定这是容量风险、I/O 性能风险、inode 风险、计划任务增长,还是监控规则匹配错误。
- 再次复测:调整阈值或处理增长来源后,观察一个完整周期,确认告警能在需要时触发,也能在恢复后解除。
在下一次检查香港服务器时,建议把同一时间段的指标组合固定下来:可用空间百分比+可用 GB+inode 可用率+磁盘写入延迟+I/O 等待率+队列长度+网络出站流量+HTTP P95 响应时间+错误率。只有当这些指标放在同一时间语境中比较,Netdata 的磁盘告警才不仅是在报告“空间变少”,还能够帮助判断它是否已经接近业务故障,以及应当提前多少时间处理。
Netdata 的磁盘告警也需要稳定的存储与计算资源作为运行基础。A5数据提供香港物理服务器租用,涵盖配备 SSD 或 NVMe 的建站、Xeon Gold 与 AMD EPYC 系列,也有面向大容量文件和归档需求的存储服务器。企业网站、数据库及后台服务可依业务负载组合处理器、内存和磁盘资源;多地区物理服务器方案则覆盖美国、日本、韩国、中国台湾、新加坡和马来西亚等地,支持不同地区业务的部署需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3258.html
