香港服务器磁盘IO异常时,如何区分延迟升高与吞吐下降
磁盘 I/O 异常通常表现为业务响应变慢、任务堆积、读写超时或磁盘空间告警,但这些症状不一定都由“磁盘太慢”造成。排查时要先区分两类现象:I/O 延迟升高,即单次读写等待时间变长;吞吐下降,即单位时间完成的读写量减少。二者可能同时出现,也可能分别由队列拥塞、读写模式变化、容量不足、文件系统问题或远端存储链路异常引起。
香港服务器的磁盘可能是本地盘、云平台挂载的数据盘,或通过网络提供的存储。先确认业务实际使用的文件系统和设备,再结合系统、服务与应用的表现判断,避免仅凭某个监控值就认定磁盘故障。
一、确认异常表现和影响范围
先记录异常发生的时间、持续时长和受影响范围:是所有业务同时变慢,还是只有数据库、日志目录或某个定时任务受影响;是读请求、写请求还是两者都慢;异常是否与发布、备份、日志轮转、批量导入或流量高峰重合。
同时区分业务端到端耗时和磁盘耗时。若接口变慢,但服务器磁盘的等待时间和设备队列没有同步变化,问题可能在应用处理、数据库锁、网络调用或上游服务,不应直接归因于磁盘。反过来,若多个进程同时出现读写等待,且同一设备的延迟或队列持续升高,存储方向的排查优先级才更高。
常见指标可按以下方式理解:
| 观察项 | 主要含义 | 需要注意 |
|---|---|---|
| 吞吐量(读写 MB/s) | 每秒传输的数据量 | 高吞吐不等于低延迟,顺序读写和随机读写表现不同 |
| IOPS | 每秒完成的读写请求数 | 小块随机 I/O 即使吞吐不高,也可能占满请求处理能力 |
await | 请求从提交到完成的平均时间,通常以毫秒计 | 会受到设备、队列和工作负载影响,需结合历史基线 |
aqu-sz | 平均队列长度 | 持续增大说明请求积压,但不同设备的可并行能力不同 |
%util | 采样期间设备忙碌的时间比例 | 对并行度较高的设备,不能单独用作“磁盘已满载”的判据 |
在 Linux 上,可先执行只读检查:
date
findmnt -T /var/lib
df -hT
df -i
iostat -xz 1 5
vmstat 1 5
将 /var/lib 替换为业务实际读写目录。若系统没有 iostat,它通常由 sysstat 软件包提供;缺少工具时先确认发行版和软件源,再决定是否安装,不要为了排障随意修改生产配置。iostat 输出里的设备名应与文件系统所在设备对应,可用以下命令核对:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
findmnt -T /实际业务目录
工具输出和阈值要结合设备类型、应用负载和正常时段基线解释。一次采样只能说明采样窗口内的状态,不能证明设备长期性能。
二、建立原因树:先判断哪一层出现异常
排查可从外到内分成四层。每一层都要有观察依据,再决定是否深入下一层。
1. 网络或远端存储链路
若业务文件位于网络文件系统、云平台挂载盘或远端存储,应用看到的“磁盘读写”还包含网络往返和存储服务处理时间。此时本机块设备指标未必能完整反映远端存储状态。
观察线索包括:本机设备的 await 和队列没有明显变化,但业务读写耗时升高;问题集中在远端挂载目录;网络接口有丢包、错误或带宽拥塞;多个使用同一远端存储的实例同时受影响。可核对挂载类型、挂载参数和接口统计:
findmnt -T /实际业务目录
ip -s link
ss -s
如果目录位于网络文件系统,应继续检查该文件系统客户端状态、存储服务端指标及网络路径,而不是只盯本地 iostat。不要在生产环境中为“验证是否恢复”直接卸载、重挂载或变更挂载参数;这些操作可能中断业务,需先确认影响范围、准备恢复方案并安排维护窗口。
香港机房到远端存储或其他区域服务的网络路径,也可能因链路时延、丢包或路由变化让读写变慢。若远端存储侧无异常,而链路指标与故障时间吻合,下一步应由网络和存储两侧共同核对同一时间段的数据。
2. 系统与块设备
如果文件系统对应本地块设备,重点看延迟、队列和读写量是否同时变化。Linux 可通过:
iostat -xz 1 10
关注 r/s、w/s、rkB/s、wkB/s、await、aqu-sz 和 %util。不同版本的 iostat 字段可能略有差别,先以本机输出的表头为准。
await与aqu-sz持续升高,吞吐没有相应增加:请求积压的可能性较高。继续核对是否有集中写入、随机小 I/O、存储限速或设备异常。- 吞吐下降,延迟和队列也不高:可能是业务产生的 I/O 变少、缓存命中率变化、任务已经结束,或程序等待了其他资源。此时不能仅凭吞吐下降判断磁盘故障。
- 吞吐升高,同时延迟升高:可能是备份、扫描或批处理造成竞争,也可能接近存储能力边界。需查清负载来源,并确认高吞吐任务是否与业务高峰重叠。
%util接近 100%,但延迟不高:不宜单凭这一项下结论;对可并行处理多个请求的设备,忙碌比例不能直接等同于性能耗尽。
同时用 vmstat 1 5 查看系统是否大量等待 I/O(wa),以及是否存在内存回收或交换活动(si、so)。wa 增高可作为线索,但它表示 CPU 空闲时间中等待 I/O 的比例,并不能独立指出是哪块盘或哪个进程导致问题。
检查内核是否报告设备或文件系统错误:
dmesg -T | grep -Ei 'I/O error|timeout|reset|ext4|xfs|nvme|scsi'
journalctl -k --since "1 hour ago"
过滤结果为空不代表设备完全正常;内核日志也可能因权限、日志策略或时间范围而不完整。如果发现 I/O error、设备重置或文件系统错误,应先保存日志并确认云平台或硬件侧状态。不要直接运行修复文件系统的命令,尤其不要对已挂载且正在提供业务的文件系统执行修复操作。
3. 容量、inode 与文件系统
磁盘容量和 inode 都可能引发写入失败或服务异常,但它们不等于磁盘吞吐下降。
使用 df -hT 检查容量和文件系统类型,使用 df -i 检查 inode。若某个挂载点容量接近上限,写入可能报 No space left on device;若容量尚有余量但 inode 用尽,也可能出现同样错误。要按具体挂载点判断,不能只看根分区。
例如,下面是模拟输出:
Filesystem Type Size Used Avail Use% Mounted on
/dev/vdb1 ext4 200G 198G 2.0G 99% /data
这只能说明示例中的 /data 容量紧张,不足以判断 I/O 延迟是否升高。若容量不满但写入仍失败,还应检查只读挂载、文件系统错误、目录权限和配额。可用以下只读命令确认挂载状态及占用较大的目录:
findmnt -no SOURCE,FSTYPE,OPTIONS -T /实际业务目录
du -xhd1 /实际业务目录 2>/dev/null | sort -h
du 会遍历目录,数据量很大时可能增加磁盘负载;生产环境应选择合适时间和范围执行,避免对整个文件系统反复扫描。也不要仅凭文件删除后 df 数字没有下降就认定空间统计异常:文件若仍被进程打开,空间可能暂时无法释放。可用 lsof +L1 查找已删除但仍被打开的文件,找到后应确认对应进程和服务的影响,再决定如何释放空间。
inode 使用率高而容量尚余时,可用 find 限定目录统计文件数量,但大目录扫描同样会产生额外 I/O。优先检查缓存目录、邮件队列、会话文件、临时文件和小日志文件是否异常增长,不要直接批量删除未知文件。
4. 服务与应用负载
系统设备可能正常,但某个服务持续产生大量 I/O,或者应用采用了不适合当前存储特性的访问模式。常见情况包括数据库检查点集中写入、备份任务与在线业务争用、日志同步写入过于频繁、缓存失效后集中回源,或程序在大量小文件上反复读写。
先从进程维度确认负载来源:
pidstat -d 1 5
若系统没有 pidstat,可先查看 iostat 和进程自身的指标;不要通过随意结束进程来验证判断。结合进程名、业务日志、任务调度记录和发生时间,确认读写高峰是否来自正常任务或异常循环。
应用日志也可能暴露资源问题,例如写入失败、超时、数据库事务堆积或日志量突增。检查日志时优先限定时间和文件范围:
journalctl --since "30 minutes ago" --no-pager
如果异常与日志增长有关,应核实日志轮转是否正常、是否有重复报错,以及服务是否因日志写入失败而持续重试。仅清理日志文件可能掩盖根因;若需要截断或删除文件,应先确认保留要求、备份策略和进程占用情况,并准备恢复方式。
三、区分延迟升高与吞吐下降
延迟升高关注“每次请求要等多久”,吞吐下降关注“单位时间完成多少数据或请求”。 判断时必须同时看采样时段、读写类型和负载量。
例如,某次模拟采样中,设备读写量由平时的约 80 MB/s 降到约 15 MB/s,同时 await 从约 4 ms 升至约 45 ms,aqu-sz 持续增加。这种组合更像请求排队或存储处理变慢,但仍需继续核对是否有写入竞争、设备限速、文件系统错误或远端链路问题。这里的数字仅用于说明判断方法,不是任何特定服务器的实测结果。

另一种情况是吞吐从约 80 MB/s 降到约 15 MB/s,但 await、队列和错误日志都接近正常水平。这可能只是业务流量减少、批处理结束,或读写模式从大块顺序访问变成小量随机访问。若应用本身的读写请求数也下降,通常应先查负载变化,而非立即扩容磁盘。
判断时还要注意 IOPS 与吞吐量的关系:每秒处理的字节数大致等于 IOPS 乘以平均 I/O 大小。相同的吞吐量可能对应较少的大块请求,也可能对应大量小块请求;后者对请求处理能力和延迟可能更敏感。数据库随机读写、日志同步写入和顺序备份的表现不能只用 MB/s 横向比较。
四、沿着证据逐层定位根因
把异常时间段与以下信息按时间对齐,比孤立查看某个指标更有效:
- 先确认业务影响:记录受影响的接口、任务、目录和开始时间,区分全机问题与单服务问题。
- 确认目标文件系统和设备:用
findmnt、df、lsblk找到业务目录对应的挂载点,避免监控了错误设备。 - 核对磁盘状态:连续采集
iostat、vmstat,观察延迟、队列、吞吐和 I/O 等待是否同步变化。 - 检查容量和文件系统:核对
df -hT、df -i、挂载状态及内核日志,排除空间、inode、只读挂载和错误报告。 - 定位负载来源:结合进程 I/O、任务调度、服务日志和业务变更,确认是否有备份、批处理、日志增长或应用重试。
- 若使用远端存储,再核对链路和存储侧:对照网络接口、挂载客户端和存储服务指标,确认异常是否发生在远端路径。
举例来说,若业务接口超时、await 升高、队列增长,但 df 空间充足,下一步应先找出产生请求的进程,并检查设备或远端存储,而不是清理文件。若业务报写入失败、容量或 inode 接近耗尽,但 await 正常,则优先处理容量与文件数量增长;这类故障未必需要更换磁盘。若只有一个服务变慢,其他服务及设备指标正常,则应转向应用日志、锁等待和调用依赖,避免将单服务故障误判为整机存储异常。
根因判断应尽量由两类以上证据支持,例如“设备队列持续增长”同时伴随“某备份进程写入量上升”,或“inode 用尽”同时伴随“缓存目录文件数异常增长”。单独看到 %util 较高、磁盘空间使用率较高或某次吞吐下降,都不足以确认根因。
五、验证恢复并设置复发监控
采取处置措施后,不要只确认告警消失。应在相近业务负载下重新观察延迟、队列、吞吐、空间与 inode,并确认业务读写错误、超时和任务积压是否恢复。若异常来自临时备份或批处理,待任务再次运行时也要观察是否复发;若根因是容量增长,则要确认增长速率和清理策略能够持续控制风险。
建议保留以下监控点:
- 按设备或挂载点记录读写吞吐、IOPS、延迟和队列,并保留足够长的历史曲线,方便与故障时段对比。
- 对容量和 inode 分别设置告警,阈值结合业务增长速度、扩容所需时间和文件系统用途确定;二者不能互相替代。
- 监控文件系统只读状态、内核 I/O 错误、设备超时或重置,以及网络存储的客户端和链路异常。
- 记录主要进程的 I/O 变化,并将备份、日志轮转、数据库维护和批处理时间纳入故障时间线。
- 按业务特性设置延迟告警。可先用一段正常运行数据建立基线,再结合业务超时阈值和持续时间定阈值,避免一次短暂波动触发误报。
通过“业务影响—挂载点—系统指标—负载来源—存储链路”的顺序,可以把延迟升高和吞吐下降拆成可验证的分支。最终处置应由指标组合和日志证据支撑,而不是由单个监控数字决定。
针对香港服务器的磁盘 I/O 与存储资源需求,A5数据提供搭载 SSD 或 NVMe 的多类物理服务器配置,可用于网站、数据库及业务后台等场景;香港存储系列还提供多块企业级机械硬盘方案,适合大容量文件存放、备份与归档。不同存储形态和硬件配置,为业务部署及数据负载规划提供相应资源选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4191.html