香港服务器磁盘健康告警反复出现,如何判断是介质还是I/O问题?

发布人:A5数据发布时间:2026-10-18 10:29阅读量:147

磁盘健康告警反复出现,不能仅凭“磁盘异常”或“磁盘健康度下降”判断是硬盘介质损坏。若告警同时伴随 SMART 异常、内核读写错误、文件系统被切换为只读,介质或存储设备故障的可能性较高;若只有 I/O 等待、队列和延迟在备份、日志压缩或数据库任务运行时升高,而系统日志没有读写错误,更像是 I/O 压力或应用集中读写。

判断香港服务器上的问题,建议先确认告警来源和影响范围,再沿着“容量与 inode、I/O 负载、文件系统、存储介质、网络存储、服务与应用”逐层排除。地区本身不会直接决定磁盘故障类型,关键在于服务器使用的是本地盘、云硬盘、网络块存储还是 NFS 等远程文件系统。

问题树诊断配图

一、先确认告警描述和影响范围

同样显示“磁盘健康告警”,实际可能对应完全不同的指标:

  • 云平台检测到宿主机或云硬盘底层异常;
  • 监控系统发现文件系统使用率超过阈值;
  • inode 使用率耗尽;
  • I/O 等待时间或设备延迟持续升高;
  • Linux 内核记录了读写失败、设备重置或文件系统错误;
  • 应用因为日志目录、临时目录或数据库目录无法写入而间接触发告警。

先记录以下信息:

  1. 告警首次出现和最近一次出现的时间,统一使用香港时间或 UTC,避免时区造成错位。
  2. 是单个挂载点、单块设备,还是多个文件系统同时告警。
  3. 告警期间是否出现网站响应变慢、数据库连接超时、SSH 卡顿、任务堆积或服务重启。
  4. 告警是瞬时触发,还是连续数分钟、数小时保持。
  5. 告警指标具体是使用率、inode、I/O 延迟、吞吐、队列,还是平台侧的设备健康状态。
  6. 香港服务器是否挂载了跨区域备份目录、NFS、SMB 或其他远程存储。

可以先执行一组只读检查,确认设备、文件系统和挂载关系:

date
hostnamectl
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA,MODEL
findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT
df -ih

其中:

  • df -hT 关注块容量和文件系统类型;
  • df -ih 关注 inode 是否耗尽;
  • lsblk 用于确认设备与挂载点的对应关系;
  • findmnt 可以判断目录是否位于本地块设备、网络文件系统或只读挂载点;
  • ROTA 只能作为设备类型参考,虚拟化环境中不一定准确。

如果只有某个挂载点达到 90% 以上,而其他指标正常,优先排查容量和日志增长;如果多个挂载点同时出现延迟升高,则需要进一步判断是底层存储、宿主机资源还是集中运行的任务。

二、建立磁盘告警的原因树

可以将原因分成五个分支。每个分支的观察重点不同,不能用单一的“磁盘满了”或“iowait 高”直接归因。

1. 容量或 inode 耗尽

容量问题包括普通数据占满、日志持续增长、临时文件未清理,以及文件已经删除但仍被进程打开。inode 问题则常见于大量小文件,即使 df -h 还有空间,应用仍可能无法创建新文件。

典型表现包括:

  • df -h 显示某个挂载点接近 100%;
  • df -i 显示 inode 接近 100%,但容量尚未用尽;
  • 日志写入失败、临时文件创建失败;
  • 数据库、Web 服务或任务程序报“no space left on device”;
  • 删除日志后空间没有立即恢复,通常与进程仍持有文件描述符有关。

2. I/O 压力或队列堆积

I/O 问题不等同于介质损坏。备份、数据库 checkpoint、索引构建、日志压缩、容器镜像解压和批量导入都可能在短时间内造成大量读写。

典型表现包括:

  • iowait 在业务高峰或定时任务期间升高;
  • await、读写延迟或队列长度持续高于平时;
  • 设备利用率接近饱和;
  • 某个进程的读写速率明显高于其他进程;
  • 停止或错峰运行相关任务后,延迟恢复,且内核没有介质错误。

这类问题通常属于“设备被使用过度”或“应用访问模式不合理”,不能直接判定硬盘坏了。

3. 文件系统异常

文件系统损坏、元数据错误、挂载参数异常或被切换为只读,也会表现为磁盘健康告警。

典型表现包括:

  • 内核日志出现 ext4、XFS 等文件系统错误;
  • 挂载点状态出现 ro;
  • 文件可以读取但无法创建、修改或删除;
  • 服务器重启后问题出现,且告警与异常关机有关;
  • 应用返回输入输出错误,而不是普通的空间不足。

文件系统问题可能由底层介质故障引起,也可能由断电、虚拟机异常暂停或文件系统自身损坏引起,因此需要结合设备日志判断。

4. 存储介质或底层设备异常

介质问题的证据应来自内核、SMART 或云平台底层健康状态,而不是单独来自 I/O 延迟。

更有指向性的现象包括:

  • 内核反复出现 I/O error、medium error、uncorrectable、设备重置或超时;
  • SMART 中出现待处理扇区、不可校正错误、重映射数量持续增加等异常;
  • 读写错误与业务负载没有明显关系,空闲时也会出现;
  • 文件系统反复被切换为只读;
  • 同一设备上的多个业务同时出现读写失败;
  • 云平台报告云硬盘、宿主机或存储后端异常。

如果是云服务器,虚拟机通常无法直接读取物理盘的完整 SMART 信息。此时 smartctl 返回“不支持”或权限错误,并不能证明设备健康,也不能证明设备损坏,应以云平台的磁盘健康事件和工单诊断为准。

建立磁盘告警的原因树:存储介质或底层设备异常配图

5. 网络存储或远程依赖

如果目录位于 NFS、SMB、远程块存储或跨区域挂载,网络抖动也可能让应用表现出“磁盘卡顿”。

这类问题常见于:

  • 本地磁盘指标正常,但访问某个远程挂载点明显变慢;
  • 应用线程大量阻塞在文件读写调用;
  • 网络丢包、重传或远端服务延迟与告警时间一致;
  • 只有依赖远程目录的备份、日志归档或上传任务受影响;
  • 香港服务器与远程存储之间存在跨地域链路,且告警集中出现在固定时间段。

网络延迟本身不会把本地磁盘变坏,但远程文件系统的访问超时可能被业务监控归类为磁盘或存储异常。

三、按低风险顺序逐层排除

第一步:排除容量和 inode 问题

先查看各挂载点的块容量和 inode:

df -hT
df -ih

如果根目录或日志目录接近满载,继续定位大目录。以下命令只用于读取统计信息,但在文件数量非常多的目录上可能产生明显扫描开销,建议避开业务高峰执行:

sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /home 2>/dev/null | sort -h

如果怀疑是大量小文件导致 inode 消耗,可以使用 GNU du 支持的 inode 统计功能:

sudo du -x --inodes -d 2 /var 2>/dev/null | sort -n

不同发行版的 du 参数可能略有差异,执行前可用 du --help 确认。重点关注以下目录:

  • /var/log:系统日志、Web 访问日志、错误日志;
  • /var/lib:数据库、容器运行时、软件包缓存;
  • /tmp 和 /var/tmp:临时文件、上传中间文件;
  • 应用自定义日志目录;
  • 备份、导出和压缩文件目录。

日志增长需要结合时间计算。例如某服务平均每小时产生约 2 GB 十进制日志,连续保留 7 天,理论占用约为:

2 GB/小时 × 24 小时 × 7 天 = 336 GB

这还没有计算压缩延迟、重复输出和其他服务日志。因此,看到“每天清理一次”并不代表一定有足够空间,必须比较实际增长速率与保留周期。

如果删除文件后空间没有恢复,检查是否存在“已删除但仍被进程打开”的文件:

sudo lsof +L1

这类文件在目录中已经不可见,但进程仍持有文件描述符,空间要等进程关闭文件或重启相关服务后才释放。不要直接重启数据库或核心业务服务,应先确认服务的高可用状态、连接迁移能力、备份和回滚方案,再安排维护。

系统日志占用可以单独查看:

journalctl --disk-usage

如果日志目录是主要增长源,应先确认日志保留策略、轮转配置和应用是否重复输出。不要为了快速降低使用率而批量删除正在写入的日志;更稳妥的方式是先备份需要保留的日志,再通过应用支持的轮转机制处理,并观察空间是否持续恢复。

第二步:确认是否真的存在 I/O 饱和

使用 sysstat 工具包中的 iostat 查看设备级指标:

iostat -xz 1 5

重点观察:

  • r/s、w/s:每秒读写请求数;
  • rkB/s、wkB/s:每秒读写数据量,具体单位以本机版本输出为准;
  • await:请求从提交到完成的平均等待时间;
  • aqu-sz 或 avgqu-sz:平均队列长度;
  • %util:设备忙碌比例;
  • r_await、w_await:读写分别对应的等待时间。

这些指标应与服务器平时基线比较。对于延迟较低的本地 SSD,平时只有几毫秒、告警期间持续升到几十毫秒,通常值得继续调查;但网络块存储、机械盘和高并发设备的正常范围不同,不能把某个固定毫秒数套用到所有环境。

%util 接近 100% 且队列持续增加,说明当前设备或设备队列可能已成为瓶颈。但在支持高并发的 SSD 或虚拟化存储上,单独看 %util 仍不够,需要同时看 await、队列、吞吐和业务响应时间。

系统整体的 I/O 等待可以用以下命令辅助判断:

vmstat 1 5

其中 wa 是 CPU 等待 I/O 的比例。它升高只能说明系统有线程在等待 I/O,不能单独证明介质故障。若 wa 升高同时伴随设备延迟、队列和某项任务读写量上升,更倾向于 I/O 负载;若 wa 升高并伴随内核读写错误,则应转向介质和文件系统分支。

第三步:找出产生 I/O 的进程

设备指标只能说明“哪里拥堵”,还需要确认“谁在读写”。如果系统安装了 sysstat,可以执行:

pidstat -d 1 5

重点查看进程的读写速率和变化趋势。常见来源包括:

  • 数据库刷盘、检查点或临时表;
  • 搜索引擎索引合并;
  • 备份、快照前的数据整理;
  • 日志压缩、归档和上传;
  • 容器镜像拉取、解压和层合并;
  • 文件扫描、杀毒或内容索引;
  • 应用开启调试日志后产生大量小文件。

需要将进程读写时间与告警时间对齐。如果每次香港时间凌晨执行备份时告警出现,备份结束后延迟恢复,且内核没有介质错误,根因更可能是任务调度和 I/O 资源竞争,而不是盘片或闪存介质突然损坏。

按低风险顺序逐层排除:第三步找出产生I/O的进程配图

第四步:检查文件系统和内核错误

查看最近一段时间的内核日志:

sudo journalctl -k --since "2 hours ago"

也可以筛选常见关键词:

sudo journalctl -k --since "2 hours ago" | \
grep -Ei 'I/O error|medium error|uncorrectable|reset|timeout|ext4|xfs|read-only|buffer'

示例日志仅用于说明判断方向:

blk_update_request: I/O error, dev vdb, sector 123456
XFS (vdb1): metadata I/O error
Remounting filesystem read-only

如果反复出现设备级 I/O error、介质错误或文件系统被切换为只读,即使当时 iostat 已恢复,也不能视为问题消失。应优先保护数据,确认备份或快照可用,并联系云服务商核查底层云硬盘或宿主机。

检查挂载是否为只读:

findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS

看到目标挂载点包含 ro 时,不要直接执行强制重新挂载或在线修复。文件系统检查工具通常要求在卸载或维护环境中执行;对正在使用的文件系统运行修复可能扩大损坏范围。实施离线检查前,应完成备份或快照,确认业务已停止或切换,记录原挂载参数,并准备按原配置恢复挂载。

第五步:在可用条件下检查设备健康状态

物理服务器或直通磁盘可以尝试读取 SMART 信息。先通过 lsblk 确认设备名称,再使用实际设备路径,不要直接套用示例设备:

sudo smartctl -H -A /dev/sdX

NVMe 设备可能使用类似命令:

sudo smartctl -H -A /dev/nvme0

如果系统安装了 nvme-cli,也可以读取 NVMe 健康日志:

sudo nvme smart-log /dev/nvme0

重点关注:

  • 设备是否报告整体健康失败;
  • 介质错误或不可校正错误是否非零;
  • 待处理扇区、重映射扇区是否持续增加;
  • 设备温度是否明显超出厂商建议范围;
  • 是否存在控制器错误或异常掉盘记录。

SMART 的字段名称和阈值由设备厂商定义,不能仅凭某一个属性数值下结论。尤其在云服务器中,虚拟设备可能不提供物理 SMART 数据,出现“不支持”“无权限”或返回不完整信息时,应转向平台侧健康事件、云硬盘监控和服务商工单。

不建议在业务运行期间自行启动长时间 SMART 自检、强制坏块扫描或写入测试。这些操作会增加设备负载,且可能影响业务;如果确实需要,应先备份、评估停机窗口,并按照设备厂商或云平台的维护流程执行。

四、如何区分介质故障与 I/O 压力

可以用“错误证据、负载相关性、影响范围、恢复方式”四项交叉判断。

观察结果更接近介质或底层设备问题更接近 I/O 压力或应用问题
内核日志反复出现 I/O error、介质错误、设备重置、超时通常没有设备读写错误
SMART 或平台健康有不可校正错误、待处理扇区增长,或平台报告设备异常健康状态正常,或虚拟设备无法读取 SMART
与业务负载的关系空闲时也可能发生,时间不稳定多在备份、导入、压缩、索引等任务期间出现
I/O 指标延迟可能突然升高并伴随错误队列、await、吞吐随任务启动而增加
影响范围同一设备上的多个目录或服务同时受影响主要影响高读写服务或某个挂载点
恢复方式停止业务或重试后仍可能复发降低并发、错峰或停止任务后明显恢复
文件系统可能被切换为只读或出现元数据错误通常仍可正常挂载和读写
下一步备份、快照、迁移、替换设备或联系平台找出高 I/O 进程,调整任务、限速或优化存储

以下几种情况需要特别谨慎:

  • df -h 接近 100%,并不代表介质损坏,可能只是日志或业务数据增长;
  • iowait 很高,并不代表硬盘坏了,可能只是数据库或备份把设备打满;
  • SMART 没有异常,并不等于云硬盘后端没有故障,虚拟机可能无法看到底层数据;
  • 单次延迟尖峰不一定是故障,持续时间、重复频率和业务影响更重要;
  • ping 远程存储地址正常,也不能证明文件系统访问正常,仍需观察挂载访问、重传和应用阻塞情况。

五、网络存储场景的进一步确认

先确认是否存在远程文件系统:

findmnt -t nfs,nfs4,cifs

如果使用 NFS,可根据系统工具情况查看挂载参数和统计信息:

nfsstat -m

同时检查网络连接和接口统计:

ss -s
sar -n DEV 1 5

sar 未安装时可以跳过,不要为了临时排障随意更改网络配置。重点比较三组时间线:

网络存储场景的进一步确认配图

  1. 远程挂载访问延迟;
  2. 网络丢包、重传或连接异常;
  3. 本地应用响应时间和磁盘告警。

如果本地块设备的 iostat 正常,但所有访问远程目录的任务同时变慢,应优先检查远程存储服务、链路质量和跨区域访问路径。若本地数据库也出现设备队列和延迟升高,则可能是本地 I/O 与远程归档任务共同竞争资源。

对于需要兼顾数据存储与业务访问的香港服务器场景,A5数据提供采用SSD或NVMe存储的物理服务器,也有配置多块企业级机械硬盘的存储系列,可承载网站、数据库及大容量文件等不同业务负载。香港以外,还提供美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的服务器资源,涵盖不同处理器、存储和网络线路方案,为分布式业务部署及数据存储架构提供硬件选择。

六、根据根因选择恢复方式

介质或底层存储异常

先保证数据安全,再处理设备替换或迁移:

  • 立即确认最近备份、快照和恢复点可用;
  • 对仍能读取的数据进行业务级备份,避免反复进行高负载扫描;
  • 云服务器联系平台核查云硬盘、宿主机和存储后端事件;
  • 物理服务器准备更换磁盘或从 RAID 降级状态恢复;
  • 维护前确认业务切换、停机窗口和回滚方案。

不要通过反复重试、强制挂载或写入测试来“验证硬盘还能不能用”。读写错误已经出现时,继续增加负载可能使可恢复窗口缩短。

I/O 压力或任务竞争

如果证据指向备份、压缩、数据库或日志任务,可以采取低风险调整:

  • 将备份和压缩任务移动到业务低峰;
  • 降低任务并发度,限制单任务读写速率;
  • 避免多个归档、快照和索引任务同时运行;
  • 将高频临时文件和长期数据分离到不同存储;
  • 调整日志级别和轮转周期;
  • 检查数据库临时目录、缓存目录和容器存储的增长方式。

任何限速或调度修改都应保留原配置,先在非高峰时段验证,确认任务仍能在规定窗口完成,再逐步扩大调整范围。

容量、inode 或日志增长

处理空间前先确认哪些文件必须保留、哪些文件由应用管理。对于数据库文件、正在写入的日志和容器运行时目录,不宜直接使用通配符删除。

建议按以下顺序处理:

  1. 导出或备份需要保留的日志和业务数据;
  2. 确认日志轮转、压缩和保留周期;
  3. 通过应用支持的方式关闭或轮转当前日志;
  4. 清理已确认无用的临时文件和过期归档;
  5. 观察 df -hT、df -ih 和业务写入是否恢复;
  6. 为容量和 inode 分别设置告警,不要只监控容量百分比。

如果只是删除了目录中的日志,但空间没有下降,应回到 lsof +L1 检查打开的已删除文件,而不是继续删除其他文件。

文件系统被切换为只读

只读状态下首先保护数据,避免继续写入造成更多错误。确认业务是否具备故障转移能力后,再安排维护窗口进行离线检查或文件系统修复。修复前需要:

  • 完成可验证的备份或快照;
  • 卸载目标文件系统,或进入合适的维护环境;
  • 记录文件系统类型、设备名称和原挂载配置;
  • 确认修复工具与文件系统类型匹配;
  • 修复后检查挂载参数、目录可读写状态和应用数据完整性。

不要对正在挂载并被业务使用的文件系统直接运行修复命令,也不要用强制参数跳过工具的安全检查。

七、恢复后如何验证问题真正消失

告警消失只是第一步,至少应完成以下验证:

  • df -hT 和 df -ih 恢复到有余量的状态;
  • iostat 中延迟、队列和设备利用率回到业务基线;
  • vmstat 的 I/O 等待不再持续升高;
  • 内核日志不再新增设备错误或文件系统错误;
  • 重点服务可以正常读写,数据库连接、任务队列和接口响应恢复;
  • 远程挂载目录能够稳定访问;
  • 经过一次完整的备份、日志轮转或业务高峰后,告警没有再次出现。

验证时间不应只安排几分钟。若告警与每日备份或每周报表相关,应至少覆盖一次完整任务周期;若属于持续增长问题,则需要观察几个小时到数天的容量和 inode 趋势。

八、为反复告警建立分层监控

后续监控应把“健康状态”和“使用压力”分开,避免所有问题都显示为同一个磁盘告警。

建议至少保留以下监控点:

  • 每个挂载点的容量使用率;
  • 每个文件系统的 inode 使用率;
  • 日志目录增长速率和预计剩余空间;
  • 块设备读写延迟的平均值及高分位值;
  • 读写 IOPS、吞吐、队列长度和设备利用率;
  • iowait 与主要 I/O 进程;
  • 内核 I/O error、设备重置和文件系统只读事件;
  • SMART 或云平台磁盘健康事件;
  • 已删除但仍被进程打开的文件数量;
  • NFS 或其他远程存储的访问延迟、超时和网络重传;
  • 备份、压缩、索引和日志轮转任务的执行时间。

告警策略可以采用分级和持续时间条件。例如容量达到 80% 时提示,超过 90% 且持续一段时间时升级;I/O 延迟则与服务器自身基线比较,并要求连续多个采样周期异常;设备错误和文件系统只读事件则应立即触发高优先级告警。

这样处理后,下一次出现香港服务器磁盘告警时,可以先回答三个关键问题:是空间或 inode 不足,还是设备正在被大量访问;是否有内核和介质层面的错误证据;问题是否只发生在远程存储或某个应用任务上。只有当这些证据相互吻合时,才适合将根因定为介质故障或 I/O 问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4354.html