美国服务器磁盘IO过高怎么查,如何区分存储延迟与进程读写

发布人:A5数据发布时间:2026-11-08 10:20阅读量:59

美国服务器出现磁盘 I/O 过高时,常见影响包括网站响应变慢、数据库查询延迟、任务积压,严重时还会出现进程卡在不可中断睡眠状态。排查时先区分两件事:磁盘设备是否因延迟或队列拥塞而忙不过来,以及哪些进程正在发起读写。%util 高不一定代表磁盘已经达到性能上限,进程写入量大也不一定是故障;需要把容量、inode、设备延迟、文件系统状态和业务行为放在一起判断。

下面按“确认症状—建立原因树—逐层排除—定位根因—验证恢复”的顺序检查。命令以常见 Linux 服务器为例;不同发行版可能需要先安装 sysstat、iotop 等工具。检查前尽量记录发生时间、受影响服务和监控变化,避免在高负载期间直接执行大范围扫描或清理操作。

A5idc数据提供美国物理服务器资源,覆盖常规 Xeon、AMD EPYC 及存储型配置,配备 NVMe 固态硬盘、大内存和不同容量组合,可承载数据库、容器、跨境业务及多任务服务。针对磁盘 I/O、存储延迟和进程读写等场景,品牌可提供从计算、内存到本地存储的整机资源基础,并结合美国线路与带宽方案匹配业务部署需求。

一、确认是磁盘 I/O 问题,还是其他资源瓶颈

先查看系统负载、内存和磁盘空间,确认异常是否只发生在磁盘层:

uptime
free -h
df -hT
df -ih

uptime 中的 load average 是等待运行或处于不可中断睡眠状态的任务数量参考,不能单独代表 CPU 忙碌程度。若负载升高而 CPU 使用率不高,同时有较多进程处于 D 状态,磁盘或存储链路等待值得重点检查:

ps -eo state,pid,comm,wchan:32 --sort=state | awk '$1=="D"'

如果命令没有输出,不能据此排除 I/O 问题:等待可能是间歇性的,或在采样时已经缓解。应在告警持续期间重复观察,并结合设备指标和进程读写情况判断。

安装了 sysstat 后,运行:

iostat -xz 1 5

重点关注设备对应的 r/s、w/s、rkB/s、wkB/s、await、aqu-sz 和 %util。不同版本的 iostat 字段名称可能略有差异。await 通常表示 I/O 请求从提交到完成的平均时间,包含排队和设备处理时间;aqu-sz 是平均队列长度。%util 反映采样期间设备有 I/O 活动的时间比例,但对可以并行处理请求的 SSD、NVMe 或多队列设备,不能简单把 100% 等同于“设备性能已耗尽”。

例如,某块设备在一段时间内 %util 较高,同时 await 和队列长度持续上升,应用也出现存储等待,才更支持“设备或存储链路拥塞”的判断。若 %util 高而延迟稳定、业务无明显影响,可能只是设备持续处理并行请求。反过来,%util 不高也不能完全排除问题,尤其是远端存储、虚拟化存储或间歇性延迟场景。

先将挂载点对应到块设备,避免把系统盘、数据盘或临时盘混为一谈:

lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
findmnt -T /
findmnt -T /var

实际检查时,把 /var 替换成业务数据所在目录。若文件位于网络文件系统或云平台提供的远端卷,主机本地看到的设备指标不一定能完整反映存储后端状态;还需查看对应平台的卷延迟、吞吐量、队列或 IOPS 指标。

二、建立原因树:按影响层级缩小范围

磁盘 I/O 异常可先分成五类:容量或 inode 耗尽、设备或远端存储延迟、文件系统异常、日志或临时文件快速增长,以及服务和应用产生了异常读写。若服务器通过网络文件系统访问数据,还要增加一条“网络链路或存储服务端”的检查分支。

观察到的现象优先怀疑下一步检查
文件系统空间接近耗尽,写入报错数据、日志或临时文件增长按目录查看占用,确认增长来源
空间尚足但 inode 用尽大量小文件查看 inode 使用率和文件数量
await、队列长度持续上升本地设备或远端存储延迟按设备、挂载点和业务时间段关联
个别进程读写量突出应用任务、数据库或日志写入采样进程 I/O,并核对任务和配置
设备指标变化不大,但网络挂载访问变慢网络或存储服务端查挂载类型、链路质量和平台侧指标
dmesg 出现 I/O 或文件系统错误块设备、驱动或文件系统保留日志,核查设备及系统事件

不要只根据一个时间点下结论。很多批处理、备份、日志轮转和数据库维护任务都会造成短时 I/O 峰值;应把异常时间与业务任务、监控曲线及系统日志对齐。

三、逐层排除:容量、inode 与文件系统

1. 确认容量是否真的不足

df -hT 查看各挂载点的容量和使用率;df -ih 查看 inode 使用率。两者衡量的不是同一件事:磁盘空间还有余量时,inode 仍可能耗尽,导致无法创建新文件。

若某挂载点使用率高,先确定大目录,不要立刻删除文件。可从空间异常的挂载点开始检查:

sudo du -xhd1 /var 2>/dev/null | sort -h

这里的 -x 限制在同一文件系统内,避免跨到其他挂载点;-d1 只统计下一层目录。大规模 du 会读取目录树,文件数量多或磁盘正处于高延迟时可能增加负载。先缩小范围,并在业务低峰执行;不要在根目录下无差别扫描整盘。

如果 df 显示已用空间很多,但 du 汇总出来的文件占用明显较少,可能存在“文件已删除、但仍被进程打开”的情况。进程继续持有文件句柄时,空间要等该句柄关闭才会释放:

sudo lsof +L1

输出中的文件名带有 (deleted) 时,记录对应进程、文件大小和服务归属。不要直接结束不明进程;应先确认服务影响,再按该服务的维护流程重启或让进程正常关闭文件,并评估是否需要变更。关闭句柄可能释放空间,但如果文件是正在写入的日志,也可能影响日志记录。

inode 接近耗尽时,检查小文件密集目录及其归属:

sudo find /var -xdev -type f -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -n | tail -20

该命令会遍历指定路径,文件数量很大时同样可能增加磁盘负载。先针对可疑目录运行,不要直接把 / 作为搜索范围。找到高密度目录后,再判断是否为缓存、会话文件、邮件队列或应用生成的碎片数据。清理前确认保留规则、备份状态和程序是否仍在使用这些文件。

2. 检查文件系统和内核错误

查看近期内核日志,寻找设备超时、I/O 错误、文件系统报错或重置记录:

sudo dmesg -T | tail -200
sudo journalctl -k --since "1 hour ago"

若日志中出现类似 I/O error、Buffer I/O error、设备重置或文件系统进入只读状态,应优先保留日志和时间戳,并核对设备映射、虚拟机控制台及存储平台事件。错误可能来自底层设备、虚拟化层、驱动或远端存储,并不能仅凭一条日志确定具体故障点。

不要在已挂载且仍提供业务写入的文件系统上贸然运行修复操作。文件系统检查工具通常需要依据具体文件系统类型和维护窗口执行;修复前应确认备份可用、业务已停止写入,并遵循发行版与存储平台的操作要求。若是云平台卷或托管存储,先确认平台是否提供健康状态和维护事件。

四、判断延迟来自设备,还是某个进程在读写

1. 按设备观察延迟和队列

持续采样比单次输出更有参考价值:

iostat -xz 1 10

将结果与业务告警的时间对齐,关注趋势而非单个数值。若某设备在多个采样周期内 await、aqu-sz 同时上升,并且应用响应变慢,设备队列或存储链路拥塞的可能性增加。若异常只出现在某个挂载点,应先确认该挂载点对应的设备或远端存储;多个挂载点共用同一底层设备时,它们的延迟可能互相影响。

参考值只能作为排查线索,不能当成统一阈值。例如,数据库通常比顺序备份更敏感于随机读写延迟;同一数值对不同设备、工作负载和服务目标的意义并不相同。应优先比较故障前后的基线、业务自身的延迟目标及存储平台提供的性能指标。

2. 按进程观察读写行为

如果系统安装了 pidstat,可以持续查看进程 I/O:

pidstat -d 1 10

重点留意 kB_rd/s、kB_wr/s 等读写速率,以及进程是否与异常时间同步。也可通过 iotop 观察当前进程,但它在部分系统上需要 root 权限,且未安装时需按发行版软件源安装:

sudo iotop -oPa

选项支持情况因版本而异;如果不兼容,先查看 iotop --help,或使用 pidstat 和 /proc 信息交叉判断。iotop 显示的是采样期间的活动,错过短任务时可能看不到峰值。

对已知 PID,可读取进程累计 I/O 计数:

cat /proc/<PID>/io

将 <PID> 换成实际进程号。read_bytes 和 write_bytes 等字段可用于观察累计变化;单次值无法说明当前速率,应在间隔一段时间后再读取并比较。进程累计计数、设备统计和应用日志的统计口径不一定完全一致,不能要求数字逐项相等。

常见的判断组合如下:

四、判断延迟来自设备,还是某个进程在读写配图

  • 某个进程读写量明显增加,设备延迟也同步升高:优先检查该进程对应的服务、批任务、备份或查询行为。
  • 进程读写量分散,但单个设备延迟和队列普遍升高:排查共享设备上的并发负载、底层存储能力或远端存储状态。
  • 进程写入很多,但设备延迟不高、服务响应正常:可能是正常日志、缓存或顺序写入,需要结合业务预期判断。
  • 设备等待明显,但可见进程读写量不突出:检查采样是否错过短时峰值、内核回写、远端文件系统或虚拟化存储层,并查看内核日志。

五、按网络、系统、服务和应用继续定位

1. 网络与远端存储

如果数据目录位于 NFS 等网络文件系统,或由云平台提供远端块存储,主机本地磁盘统计不一定能代表后端状态。先确认挂载类型:

findmnt -T /业务数据路径 -o TARGET,SOURCE,FSTYPE,OPTIONS

将 /业务数据路径 替换成实际路径。若 FSTYPE 显示网络文件系统,检查网络挂载的连接状态、超时日志、存储服务端状态和平台侧延迟指标。若业务通过网络访问对象存储或其他服务,网络等待也可能表现为任务变慢,但不应直接把它归因于本地磁盘 I/O。

可对照网卡流量和错误计数:

ip -s link

若只有网络挂载上的业务变慢,本地设备 await 没有相应变化,且网络接口出现丢包、错误或流量异常,应继续排查链路和远端服务。若同一时段本地数据盘也出现队列上升,则可能是本地负载与远端访问同时发生,需分别验证。

2. 系统级写入与回写

系统可能因内存压力、缓存回写或交换空间使用而增加存储活动。先看内存和交换情况:

free -h
vmstat 1 5

vmstat 中持续出现较高的交换读写,可能意味着内存压力正在放大磁盘访问;但单次非零值不能证明当前正发生严重换页。检查 si、so 的连续变化,并与进程内存使用和系统负载结合分析。不要为了降低 I/O 随意清空缓存或修改内核参数,这可能使后续访问更慢或改变系统行为。

3. 服务与应用层

确认设备和进程后,再检查对应服务的日志、任务计划和配置。常见来源包括数据库检查点或维护任务、搜索索引构建、备份与压缩、缓存淘汰、应用批量导入,以及高频小文件写入。将异常开始时间与定时任务、发布、数据导入和流量变化对照,判断是否存在任务重叠或近期变更。

日志增长是常见分支。先确认哪个文件或目录在增长,再查看服务的日志轮转策略和保留规则。日志文件变大不一定造成高 I/O;若写入速率与设备延迟同时升高,才更值得检查日志级别是否被调高、错误是否循环输出或请求是否异常增加。不要直接删除正在写入的日志文件:进程可能仍占用已删除文件,磁盘空间不会立即释放。通常应通过服务支持的日志重开方式或维护流程处理,并先确认日志留存要求。

六、形成根因判断并验证恢复

以一个示例场景说明如何组合证据:假设某业务挂载点空间仍有余量,df -ih 显示 inode 使用率不高;异常期间 iostat 中某设备队列和 await 同步上升,pidstat 则显示备份进程写入速率明显增加。进一步核对发现备份任务与数据库维护时间重叠。此时较合理的判断是并发任务加剧了共享设备竞争,而不是容量不足或 inode 耗尽。该示例用于演示推理方式,不代表任何实际服务器的检测结果。

定位到候选原因后,调整前先确认影响范围:若是可错峰的备份任务,可依据业务窗口变更调度;若是应用产生异常日志,应先解决重复报错,再按服务规范轮转日志;若为远端卷性能或设备故障,则联系对应存储平台维护人员并保留时间范围、设备信息和内核日志。涉及删除、服务重启或配置变更时,应先确认备份、服务依赖和回退方式,不要把释放空间或降低 I/O 当成唯一目标。

恢复验证至少覆盖故障点和业务表现:

  1. 在相同或相近负载下重新采样 iostat、pidstat,确认延迟、队列或异常进程读写已回落。
  2. 检查受影响挂载点的空间与 inode 使用情况,确认写入错误不再出现。
  3. 查看内核和服务日志,留意是否继续出现 I/O、文件系统或存储超时错误。
  4. 通过应用自身的健康检查、请求延迟或任务完成情况,确认业务响应恢复,而不只看主机指标。

若设备延迟恢复但应用仍慢,应回到服务和应用层检查连接池、任务积压、锁等待或缓存状态;若应用恢复而设备指标仍高,则确认剩余 I/O 是否属于正常后台任务,避免过早宣布故障完全消失。

七、保留复发监控点

建议按业务重要性持续记录挂载点空间和 inode 使用率、设备读写量与延迟、I/O 队列、异常 D 状态进程、关键服务日志增长速度,以及远端存储的可用性和延迟。告警阈值应以服务器的历史基线、业务响应目标和存储类型为依据;可以先设置趋势告警,再通过故障记录逐步校准阈值。

复盘时保留异常起止时间、受影响设备或挂载点、相关 PID 与服务、任务调度变化、内核日志和恢复后的指标。这样再次出现磁盘 I/O 告警时,就能更快区分容量问题、存储延迟、文件系统异常与进程读写,而不是仅凭“磁盘忙”这一项指标处理。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8178.html

相关推荐