香港服务器磁盘I/O持续过高怎么办?如何区分读写进程与磁盘延迟问题

发布人:A5数据发布时间:2026-11-02 11:55阅读量:142

香港服务器出现磁盘 I/O 持续过高时,首先要区分两类现象:一类是某个进程正在持续产生大量读写,另一类是进程读写量并不大,但磁盘响应慢、队列堆积,导致系统处于高 I/O 等待。两者在 top 中都可能表现为负载升高,但处理方法完全不同。

运维排查通常按“设备状态—系统负载—进程读写—空间与 inode—文件系统—日志来源”的顺序进行。先保留现场并确认指标,再决定是限流、处理日志、释放被删除文件,还是联系存储服务商检查云盘或底层设备,避免一看到磁盘满就直接删除目录。

一、先确认“高 I/O”具体高在哪里

1. 观察系统是否正在等待磁盘

Linux 中可以先使用 vmstat 查看整体状态。该命令通常存在于 Ubuntu、Debian、Rocky Linux、AlmaLinux、CentOS 等发行版中。

vmstat 1 5

重点观察以下字段:

  • r:正在运行或等待 CPU 的任务数量。数值持续高,未必是磁盘问题。
  • b:处于不可中断睡眠状态的任务数量,常见于等待块设备 I/O。
  • bi:从块设备读入的数据量。
  • bo:写入块设备的数据量。
  • wa:CPU 等待 I/O 的时间比例。
  • si、so:交换分区换入换出量。

如果 wa 持续较高,同时 b 增长,通常说明系统确实在等待磁盘或其他块设备。如果 r 很高但 wa 很低,更应先排查 CPU、进程锁或线程数量,而不是立即处理磁盘。

vmstat 的单位和展示方式可能因发行版略有差异,因此它适合判断趋势,不适合单独用于确认某一块磁盘的延迟。

2. 使用 iostat 区分吞吐、队列和延迟

如果服务器已安装 sysstat,可以使用:

command -v iostat && sudo iostat -xz 1 5

如果没有输出路径,说明当前环境没有 iostat,不要在业务高峰期为了安装工具立即执行软件包安装,因为安装过程本身也会产生磁盘读写。可以先使用已有的 vmstat、top 和 /proc 信息完成初步判断,再安排低峰期补充工具。

iostat -xz 主要关注以下字段:

字段含义判断重点
r/s、w/s每秒读写请求数判断请求方向和请求频率
rkB/s、wkB/s每秒读取、写入的数据量判断实际吞吐量
awaitI/O 请求从提交到完成的平均时间,通常以毫秒计判断响应延迟
aqu-sz 或 avgqu-sz平均等待队列长度判断请求是否积压
%util设备忙碌时间比例判断设备是否长期处于忙碌状态
r_await、w_await读、写请求各自的平均等待时间区分读延迟和写延迟

下面是一段用于说明判断方法的示例输出,并非某台服务器的实测结果:

Device            r/s   w/s  rkB/s  wkB/s  aqu-sz  await  r_await  w_await  %util
vda              12.0  86.0   512   8200     3.8   38.5      9.2      42.6   96.4

这类结果说明写请求较多,写延迟明显高于读延迟,队列也在积压。此时即使进程写入速度只有几 MB/s,也可能因为底层存储响应慢而造成明显的 iowait。

一、先确认“高 I/O”具体高在哪里配图

需要注意,%util 接近 100% 只能说明设备长期处于忙碌状态,不能单独证明设备已经达到固定性能上限。虚拟机中的 vda、xvda、nvme0n1 可能对应云平台上的虚拟存储,底层共享、突发额度或存储策略都可能影响延迟。应结合 await、队列长度和云平台磁盘监控一起判断。

3. 确认实际挂载的设备

先确认业务目录位于哪个设备、文件系统类型是什么:

lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA,MODEL
findmnt -T /var
findmnt -T /home
findmnt -T /data

如果业务数据位于 /data,应重点关注 findmnt -T /data 返回的设备,而不是只看根目录 /。常见结果可能是:

  • /dev/vda1:虚拟磁盘分区;
  • /dev/mapper/系统名-逻辑卷名:LVM 或设备映射;
  • /dev/nvme0n1p1:NVMe 设备分区;
  • overlay:容器叠加文件系统,实际数据仍可能落在宿主机某个挂载点。

设备名称和挂载点对应错误,会导致后续把正常磁盘当成异常磁盘处理。

二、确认是哪个进程在读写

1. 用 pidstat 查看进程级读写方向

pidstat 也是 sysstat 工具的一部分:

command -v pidstat && sudo pidstat -d -p ALL 1 5

重点查看:

  • kB_rd/s:进程每秒读取的数据量;
  • kB_wr/s:进程每秒写入的数据量;
  • kB_ccwr/s:被取消的写入量;
  • Command:进程名称。

示例:

09:42:01   UID       PID   kB_rd/s   kB_wr/s  kB_ccwr/s  Command
09:42:01   root     2150      0.00   18450.00       0.00  java
09:42:01   www-data 4321   8200.00      0.00       0.00  nginx

这表示示例中的 Java 进程主要产生写入,Nginx 进程主要产生读取。但不能仅凭进程名决定处理方式,还应继续确认它打开了哪些文件、是否属于正常业务流量、是否存在异常日志或临时文件增长。

Linux 页缓存会影响进程级统计和设备级统计之间的对应关系。应用写入文件时,数据可能先进入页缓存,之后由内核异步刷入磁盘,因此进程写入峰值和设备写入峰值不一定完全同时出现。数据库同步写、日志同步写和大量小文件操作,则更容易直接表现为高延迟。

二、确认是哪个进程在读写配图

2. 确认进程打开的文件

拿到 PID 后,可以查看进程命令行、工作目录和打开的文件:

PID=2150

sudo ps -fp "$PID"
sudo readlink -f "/proc/$PID/exe"
sudo readlink -f "/proc/$PID/cwd"
sudo lsof -p "$PID" 2>/dev/null | head -n 80

将 PID=2150 替换为实际进程号。重点关注:

  • 是否持续打开某个不断增长的日志文件;
  • 是否在业务目录生成大量临时文件;
  • 是否打开了数据库文件、队列文件或缓存文件;
  • 是否存在已经删除但仍被进程占用的文件。

如果服务刚刚完成日志轮转,但磁盘空间没有释放,可以专门检查已删除文件:

sudo lsof +L1

示例:

COMMAND  PID USER   FD   TYPE DEVICE  SIZE/OFF NLINK  NODE NAME
java    2150 app    12w   REG  252,1  734003200     0  9821 /var/log/app.log.1 (deleted)

(deleted) 表示目录项已删除,但文件描述符仍被进程持有。文件空间只有在进程关闭该描述符后才会真正释放。此时不要反复执行 rm,因为文件名已经不存在,继续删除不会增加可用空间。

二、确认是哪个进程在读写配图

较低风险的处理方式通常是:

  1. 确认服务支持日志重新打开或配置重载;
  2. 优先执行配置检查和 reload;
  3. 如果服务不支持重载,再安排可接受的维护窗口执行 restart;
  4. 重启前确认服务可以正常拉起,并记录当前配置和依赖状态。

例如:

sudo systemctl status your-service
sudo systemctl reload your-service

your-service 只是占位符,不能直接照抄。若服务不支持 reload,命令可能失败,也可能不会重新打开日志文件。执行重启前应确认业务影响、连接中断情况和回滚方式。通常回滚不是恢复被删除的日志,而是恢复服务配置、重新启动旧版本服务,并从备份或集中日志系统找回需要保留的日志内容。

三、从容量和 inode 判断是否是“空间问题”

1. 检查磁盘容量

df -hT

重点查看:

  • Use% 是否接近 100%;
  • Mounted on 是否为业务数据所在挂载点;
  • 文件系统类型是 ext4、xfs 还是其他类型;
  • df 显示的设备是否与 findmnt 结果一致。

磁盘容量接近满时,日志写入、数据库临时文件、应用上传和系统更新都可能失败。部分文件系统还会预留一部分空间,因此应用层看到的可用空间与理论容量并不完全相同。

如果只有某个挂载点接近满,不要直接清理整个根目录。先定位一级目录:

sudo timeout 60s du -xhd1 /var 2>/dev/null | sort -h

对于 /data、/home 等目录,替换最后的路径:

sudo timeout 60s du -xhd1 /data 2>/dev/null | sort -h

-x 用于限制在当前文件系统内,避免把其他挂载点的内容重复统计;timeout 60s 用于防止目录规模过大时命令长时间占用磁盘。如果命令超时,说明目录遍历本身已经较重,应缩小范围,例如先检查 /var/log、应用目录或备份目录。

2. 检查 inode 是否耗尽

大量小文件可能在磁盘容量尚未用满时耗尽 inode。此时创建新文件会失败,应用可能报“没有空间”,但 df -h 看起来还有剩余容量。

df -ih

如果某个挂载点的 IUse% 接近 100%,应继续定位小文件密集目录:

sudo find /var -xdev -type f -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -nr | head -n 30

该命令会遍历目录,文件数量很大时可能产生额外磁盘读取,建议在业务低峰期执行,并把 /var 替换为已确认存在 inode 问题的目录。

常见来源包括:

  • 每个请求生成一个临时文件;
  • 失败任务不断生成小型错误文件;
  • 邮件队列、任务队列或缓存目录堆积;
  • 容器层产生大量短生命周期文件;
  • 应用日志按请求拆分成大量文件;
  • 上传失败后留下未清理的碎片文件。

inode 问题不能通过删除一个大文件解决。处理时要根据文件归属和保留要求逐类清理,优先使用应用自带的清理机制或系统轮转策略。删除前应确认路径、文件时间和业务归属,必要时先打包或备份。不要执行类似下面的宽泛命令:

rm -rf /var/log/*

这可能删除仍在使用的日志、破坏权限结构,甚至造成审计记录缺失。错误执行后也很难通过简单命令恢复,回滚通常只能依赖备份或重新部署配置。

四、重点检查日志是否持续增长

1. 先找出日志来源

如果 pidstat 显示某个应用持续写入,应结合文件大小和增长速度确认是否为日志异常:

sudo find /var/log -xdev -type f -printf '%s %TY-%Tm-%Td %TH:%TM %p\n' 2>/dev/null \
  | sort -nr | head -n 30

可以在间隔一段时间后再次执行,比较同一个文件的大小变化。示例:

  • 第一次:app.log 为 1.2 GB;
  • 10 分钟后:app.log 为 1.8 GB;
  • 增长量约为 600 MB,平均写入速度约为 600 ÷ 600 秒,即 1 MB/s。

这里的 600 MB 是十进制示例,换算为比特速率时应先乘以 8。若 10 分钟增长 600 MB,则平均写入量约为:

600 MB × 8 ÷ 600 秒 = 8 Mb/s

这只是日志文件的平均数据量,不等同于设备 I/O 压力。大量小块同步写、压缩、轮转和文件元数据更新,可能使实际设备延迟远高于单纯吞吐量所显示的压力。

2. 检查 systemd journal 和 logrotate

如果系统使用 systemd,可以查看 journal 占用:

sudo journalctl --disk-usage

查看日志轮转配置时,先使用调试模式,不会实际执行轮转:

sudo logrotate -d /etc/logrotate.conf

重点检查:

  • 应用日志是否配置了 rotate;
  • 是否设置了合理的 size 或 daily;
  • 是否使用 compress;
  • 应用是否会在轮转后重新打开日志;
  • 日志目录所在分区是否有独立容量和 inode 限制。

logrotate -d 是模拟检查;而 logrotate -f 会强制执行轮转,可能导致压缩、重命名和文件写入,不应在没有确认配置的情况下直接运行。

如果 journal 明显过大,可以考虑按保留策略清理旧日志,例如:

sudo journalctl --vacuum-time=7d

该操作会删除超过指定时间的旧 journal 文件,属于有不可逆影响的清理操作。执行前应确认:

  • 是否有日志备份或集中采集;
  • 业务和合规要求需要保留多久;
  • 删除的是旧日志,而不是当前正在写入的日志;
  • 当前磁盘压力是否允许先备份。

如果保留策略不允许删除,不能使用 vacuum 代替扩容或日志治理。若误删,通常只能从备份、集中日志系统或快照恢复,命令本身没有简单的撤销操作。

五、排除文件系统和底层存储延迟

1. 检查内核是否报告 I/O 错误

sudo journalctl -k -b --no-pager \
  | grep -Ei 'I/O error|blk_update|buffer I/O|timeout|reset|nvme|ext4|xfs|read-only'

也可以查看最近的内核消息:

sudo dmesg -T | tail -n 100

以下情况需要提高优先级:

  • I/O error、medium error;
  • reset controller、设备超时;
  • 文件系统被重新挂载为只读;
  • ext4、XFS 出现元数据错误;
  • 某个块设备反复断开或重置。

如果出现这些信息,应先保护数据,例如创建云盘快照、复制关键数据或切换到备用实例,再进一步处理。不要在文件系统仍处于读写挂载状态时直接执行 fsck 或 xfs_repair,否则可能扩大损坏范围。

文件系统修复通常需要:

  1. 确认文件系统类型和实际设备;
  2. 完成备份或快照;
  3. 安排维护窗口;
  4. 卸载文件系统,或从救援环境启动;
  5. 使用与文件系统类型匹配的检查工具;
  6. 修复后重新挂载并核对数据。

如果修复操作失败,回滚主要依赖快照、备份或备用实例,不能把“再次执行修复命令”当作回滚方案。

2. 检查虚拟磁盘或云盘侧指标

香港机房中的服务器可能使用本地盘、云硬盘、网络块存储或虚拟化平台映射的磁盘。Linux 内部看到的设备名无法完整说明底层介质,因此当出现以下组合时,应同步查看服务商控制台:

  • await 持续升高;
  • aqu-sz 持续增长;
  • %util 长时间接近 100%;
  • 进程读写量并不大,但 wa 很高;
  • 内核出现设备超时或重置;
  • 同一时间段业务请求延迟明显上升。

控制台中应重点查看磁盘 IOPS、吞吐、突发额度、读写延迟和错误计数。如果平台提供磁盘类型或性能等级信息,还要确认当前业务的随机读写、小块同步写是否超出该磁盘适用范围。

3. 必要时查看设备健康信息

物理机或直通磁盘可以尝试使用 smartctl,但虚拟机中经常无法访问真实硬盘健康信息:

command -v smartctl && sudo smartctl -H /dev/sda

/dev/sda 只是示例设备,必须先通过 lsblk 确认。对云盘、设备映射和部分 NVMe 虚拟设备,命令可能返回“不支持”或无法获取完整信息,这不等于磁盘已经损坏,也不能据此替代云平台监控。

六、根据结果选择处理路径

可以用下面的分支快速决定下一步:

观察结果更可能的原因处理重点
某个进程 kB_wr/s 持续很高,await 正常日志、备份、数据库写入或临时文件增长确认写入文件、业务合理性和日志策略
某个进程读取量很高,设备延迟正常扫描、缓存未命中、备份读取或查询压力检查任务时间、访问目录和应用查询
进程读写量不大,但 await、aqu-sz、wa 很高底层存储延迟、共享存储争用或同步写瓶颈查看云盘指标、存储类型和内核日志
df -h 接近 100%容量耗尽、日志或备份增长定位目录后按保留策略清理或扩容
df -i 接近 100%小文件或目录项过多定位文件密集目录,清理应用产生的小文件
df 与 du 差异很大已删除但仍被打开的文件、挂载点遗漏使用 lsof +L1,确认服务后重载或重启
内核出现 I/O error 或文件系统错误文件系统异常、虚拟设备故障或底层存储故障先备份或快照,再安排维护和平台侧检查
日志文件持续快速增长应用异常循环、错误重试或轮转失效先查错误根因,再调整日志级别和保留策略

1. 进程写得多,但磁盘响应正常

这类情况不一定是磁盘故障。比如备份任务在低延迟磁盘上持续写入,wkB/s 较高但 await 稳定,说明设备尚未明显积压。

处理顺序可以是:

  • 确认是否为计划内备份、压缩或日志轮转;
  • 检查是否在业务高峰期执行;
  • 将备份、导出、压缩任务调整到低峰期;
  • 限制任务并发数或写入速率;
  • 处理应用错误循环,避免通过降低日志级别掩盖根因。

如果只是临时任务造成压力,优先停止或调整该任务,而不是直接重启整台服务器。停止前要确认任务是否支持中断、是否会留下半成品以及下次是否会重复执行。

2. 进程写得不多,但磁盘延迟很高

这类现象更接近存储侧问题。小块同步写、数据库事务提交、日志 fsync、虚拟化层争用都可能造成低吞吐高延迟。

此时不要反复杀掉业务进程。杀进程只能暂时减少请求,无法修复底层设备,甚至可能让数据库恢复、日志回放和任务重试进一步增加 I/O。

应优先做以下核对:

  • 哪个挂载点对应高延迟设备;
  • 高延迟是读还是写;
  • 是否只有一台香港服务器异常;
  • 云盘是否达到 IOPS、吞吐或突发额度;
  • 是否出现同一时间段的内核错误;
  • 数据库、日志服务和备份任务是否同时运行。

如果平台侧确认存储延迟异常,应保存 iostat、vmstat、内核日志和业务时间点,便于提交故障工单或进行实例迁移。涉及磁盘类型调整、迁移和扩容时,应先创建快照或备份,并确认迁移期间的停机、只读或性能影响。

3. 磁盘空间或 inode 已满

先确认真正占用空间的目录和文件,再按业务归属处理:

  • 日志:通过轮转、压缩和保留周期治理;
  • 临时文件:确认创建者和生命周期后清理;
  • 备份:核对备份保留策略,不要直接删除最新备份;
  • 缓存:确认应用可以重新生成后再清理;
  • 容器数据:确认容器、镜像和卷的使用关系;
  • 数据库文件:只能通过数据库自身机制或经过验证的迁移方案处理。

如果要扩容,先记录当前设备、分区、LVM 和文件系统信息:

lsblk
findmnt -T /data
df -hT /data

扩容通常包含云盘扩容、分区或逻辑卷调整、文件系统扩展多个环节。不同发行版、分区布局和文件系统的命令不同,不能根据设备名直接套用。执行前应完成快照或备份,并确认文件系统支持在线扩展。扩容后必须再次检查 df -hT 和应用可写性;如果操作中断,恢复方式通常依赖快照或备份,不应直接重复执行未知参数的扩容命令。

七、修复后的验证不能只看一次 top

处理完成后,应重新采集同一组指标,至少覆盖一个完整的观察窗口:

date
vmstat 1 5
sudo iostat -xz 1 5
sudo pidstat -d -p ALL 1 5
df -hT
df -ih

验证时重点对比:

  • await 是否回到原有正常区间;
  • aqu-sz 是否停止增长;
  • wa 是否下降;
  • 读写主进程是否与预期一致;
  • 文件系统容量和 inode 是否保留足够余量;
  • 是否仍有新的内核 I/O 错误;
  • 应用错误日志、请求延迟和超时是否恢复。

例如,修复日志轮转后,可能看到日志写入从持续增长变为周期性增长,df 使用率不再上升;这只能说明增长得到控制,还要继续观察轮转是否正常、旧日志是否按策略压缩和删除。

如果调整了服务配置,应先验证配置,再执行重载;如果重载后业务异常,应按预先记录的配置备份恢复并重新验证。若执行了服务重启,应检查进程状态、监听端口、应用健康检查和关键业务请求,而不是只确认 systemctl 返回成功。

短时指标恢复并不代表问题完全消失。建议在业务高峰期再次观察 30 分钟到数小时,并持续关注:

  • 磁盘延迟和队列;
  • 日志目录增长速度;
  • inode 使用率;
  • 云盘 IOPS、吞吐和错误计数;
  • 数据库提交延迟或应用请求超时;
  • 内核日志是否出现新的设备异常。

只有当读写来源、空间状态和设备延迟都能解释,并且经过高峰期复测仍保持稳定,才能把这次磁盘 I/O 异常视为完成闭环,而不是暂时把告警压下去。

针对香港服务器上的数据库、业务日志和备份文件等不同读写负载,A5idc数据提供搭载SSD或NVMe的香港物理服务器,涵盖Xeon Gold与AMD EPYC等计算平台。对于大容量文件留存和备份场景,其香港存储系列还提供企业级机械硬盘与控制器配置。不同的计算与存储资源组合,可承载业务运行、数据读写与文件归档等需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7077.html

相关推荐