香港服务器磁盘I/O持续过高怎么办?如何区分读写进程与磁盘延迟问题
香港服务器出现磁盘 I/O 持续过高时,首先要区分两类现象:一类是某个进程正在持续产生大量读写,另一类是进程读写量并不大,但磁盘响应慢、队列堆积,导致系统处于高 I/O 等待。两者在 top 中都可能表现为负载升高,但处理方法完全不同。
运维排查通常按“设备状态—系统负载—进程读写—空间与 inode—文件系统—日志来源”的顺序进行。先保留现场并确认指标,再决定是限流、处理日志、释放被删除文件,还是联系存储服务商检查云盘或底层设备,避免一看到磁盘满就直接删除目录。
一、先确认“高 I/O”具体高在哪里
1. 观察系统是否正在等待磁盘
Linux 中可以先使用 vmstat 查看整体状态。该命令通常存在于 Ubuntu、Debian、Rocky Linux、AlmaLinux、CentOS 等发行版中。
vmstat 1 5
重点观察以下字段:
r:正在运行或等待 CPU 的任务数量。数值持续高,未必是磁盘问题。b:处于不可中断睡眠状态的任务数量,常见于等待块设备 I/O。bi:从块设备读入的数据量。bo:写入块设备的数据量。wa:CPU 等待 I/O 的时间比例。si、so:交换分区换入换出量。
如果 wa 持续较高,同时 b 增长,通常说明系统确实在等待磁盘或其他块设备。如果 r 很高但 wa 很低,更应先排查 CPU、进程锁或线程数量,而不是立即处理磁盘。
vmstat 的单位和展示方式可能因发行版略有差异,因此它适合判断趋势,不适合单独用于确认某一块磁盘的延迟。
2. 使用 iostat 区分吞吐、队列和延迟
如果服务器已安装 sysstat,可以使用:
command -v iostat && sudo iostat -xz 1 5
如果没有输出路径,说明当前环境没有 iostat,不要在业务高峰期为了安装工具立即执行软件包安装,因为安装过程本身也会产生磁盘读写。可以先使用已有的 vmstat、top 和 /proc 信息完成初步判断,再安排低峰期补充工具。
iostat -xz 主要关注以下字段:
| 字段 | 含义 | 判断重点 |
|---|---|---|
r/s、w/s | 每秒读写请求数 | 判断请求方向和请求频率 |
rkB/s、wkB/s | 每秒读取、写入的数据量 | 判断实际吞吐量 |
await | I/O 请求从提交到完成的平均时间,通常以毫秒计 | 判断响应延迟 |
aqu-sz 或 avgqu-sz | 平均等待队列长度 | 判断请求是否积压 |
%util | 设备忙碌时间比例 | 判断设备是否长期处于忙碌状态 |
r_await、w_await | 读、写请求各自的平均等待时间 | 区分读延迟和写延迟 |
下面是一段用于说明判断方法的示例输出,并非某台服务器的实测结果:
Device r/s w/s rkB/s wkB/s aqu-sz await r_await w_await %util
vda 12.0 86.0 512 8200 3.8 38.5 9.2 42.6 96.4
这类结果说明写请求较多,写延迟明显高于读延迟,队列也在积压。此时即使进程写入速度只有几 MB/s,也可能因为底层存储响应慢而造成明显的 iowait。

需要注意,%util 接近 100% 只能说明设备长期处于忙碌状态,不能单独证明设备已经达到固定性能上限。虚拟机中的 vda、xvda、nvme0n1 可能对应云平台上的虚拟存储,底层共享、突发额度或存储策略都可能影响延迟。应结合 await、队列长度和云平台磁盘监控一起判断。
3. 确认实际挂载的设备
先确认业务目录位于哪个设备、文件系统类型是什么:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA,MODEL
findmnt -T /var
findmnt -T /home
findmnt -T /data
如果业务数据位于 /data,应重点关注 findmnt -T /data 返回的设备,而不是只看根目录 /。常见结果可能是:
/dev/vda1:虚拟磁盘分区;/dev/mapper/系统名-逻辑卷名:LVM 或设备映射;/dev/nvme0n1p1:NVMe 设备分区;overlay:容器叠加文件系统,实际数据仍可能落在宿主机某个挂载点。
设备名称和挂载点对应错误,会导致后续把正常磁盘当成异常磁盘处理。
二、确认是哪个进程在读写
1. 用 pidstat 查看进程级读写方向
pidstat 也是 sysstat 工具的一部分:
command -v pidstat && sudo pidstat -d -p ALL 1 5
重点查看:
kB_rd/s:进程每秒读取的数据量;kB_wr/s:进程每秒写入的数据量;kB_ccwr/s:被取消的写入量;Command:进程名称。
示例:
09:42:01 UID PID kB_rd/s kB_wr/s kB_ccwr/s Command
09:42:01 root 2150 0.00 18450.00 0.00 java
09:42:01 www-data 4321 8200.00 0.00 0.00 nginx
这表示示例中的 Java 进程主要产生写入,Nginx 进程主要产生读取。但不能仅凭进程名决定处理方式,还应继续确认它打开了哪些文件、是否属于正常业务流量、是否存在异常日志或临时文件增长。
Linux 页缓存会影响进程级统计和设备级统计之间的对应关系。应用写入文件时,数据可能先进入页缓存,之后由内核异步刷入磁盘,因此进程写入峰值和设备写入峰值不一定完全同时出现。数据库同步写、日志同步写和大量小文件操作,则更容易直接表现为高延迟。

2. 确认进程打开的文件
拿到 PID 后,可以查看进程命令行、工作目录和打开的文件:
PID=2150
sudo ps -fp "$PID"
sudo readlink -f "/proc/$PID/exe"
sudo readlink -f "/proc/$PID/cwd"
sudo lsof -p "$PID" 2>/dev/null | head -n 80
将 PID=2150 替换为实际进程号。重点关注:
- 是否持续打开某个不断增长的日志文件;
- 是否在业务目录生成大量临时文件;
- 是否打开了数据库文件、队列文件或缓存文件;
- 是否存在已经删除但仍被进程占用的文件。
如果服务刚刚完成日志轮转,但磁盘空间没有释放,可以专门检查已删除文件:
sudo lsof +L1
示例:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
java 2150 app 12w REG 252,1 734003200 0 9821 /var/log/app.log.1 (deleted)
(deleted) 表示目录项已删除,但文件描述符仍被进程持有。文件空间只有在进程关闭该描述符后才会真正释放。此时不要反复执行 rm,因为文件名已经不存在,继续删除不会增加可用空间。

较低风险的处理方式通常是:
- 确认服务支持日志重新打开或配置重载;
- 优先执行配置检查和
reload; - 如果服务不支持重载,再安排可接受的维护窗口执行
restart; - 重启前确认服务可以正常拉起,并记录当前配置和依赖状态。
例如:
sudo systemctl status your-service
sudo systemctl reload your-service
your-service 只是占位符,不能直接照抄。若服务不支持 reload,命令可能失败,也可能不会重新打开日志文件。执行重启前应确认业务影响、连接中断情况和回滚方式。通常回滚不是恢复被删除的日志,而是恢复服务配置、重新启动旧版本服务,并从备份或集中日志系统找回需要保留的日志内容。
三、从容量和 inode 判断是否是“空间问题”
1. 检查磁盘容量
df -hT
重点查看:
Use%是否接近 100%;Mounted on是否为业务数据所在挂载点;- 文件系统类型是
ext4、xfs还是其他类型; df显示的设备是否与findmnt结果一致。
磁盘容量接近满时,日志写入、数据库临时文件、应用上传和系统更新都可能失败。部分文件系统还会预留一部分空间,因此应用层看到的可用空间与理论容量并不完全相同。
如果只有某个挂载点接近满,不要直接清理整个根目录。先定位一级目录:
sudo timeout 60s du -xhd1 /var 2>/dev/null | sort -h
对于 /data、/home 等目录,替换最后的路径:
sudo timeout 60s du -xhd1 /data 2>/dev/null | sort -h
-x 用于限制在当前文件系统内,避免把其他挂载点的内容重复统计;timeout 60s 用于防止目录规模过大时命令长时间占用磁盘。如果命令超时,说明目录遍历本身已经较重,应缩小范围,例如先检查 /var/log、应用目录或备份目录。
2. 检查 inode 是否耗尽
大量小文件可能在磁盘容量尚未用满时耗尽 inode。此时创建新文件会失败,应用可能报“没有空间”,但 df -h 看起来还有剩余容量。
df -ih
如果某个挂载点的 IUse% 接近 100%,应继续定位小文件密集目录:
sudo find /var -xdev -type f -printf '%h\n' 2>/dev/null \
| sort | uniq -c | sort -nr | head -n 30
该命令会遍历目录,文件数量很大时可能产生额外磁盘读取,建议在业务低峰期执行,并把 /var 替换为已确认存在 inode 问题的目录。
常见来源包括:
- 每个请求生成一个临时文件;
- 失败任务不断生成小型错误文件;
- 邮件队列、任务队列或缓存目录堆积;
- 容器层产生大量短生命周期文件;
- 应用日志按请求拆分成大量文件;
- 上传失败后留下未清理的碎片文件。
inode 问题不能通过删除一个大文件解决。处理时要根据文件归属和保留要求逐类清理,优先使用应用自带的清理机制或系统轮转策略。删除前应确认路径、文件时间和业务归属,必要时先打包或备份。不要执行类似下面的宽泛命令:
rm -rf /var/log/*
这可能删除仍在使用的日志、破坏权限结构,甚至造成审计记录缺失。错误执行后也很难通过简单命令恢复,回滚通常只能依赖备份或重新部署配置。
四、重点检查日志是否持续增长
1. 先找出日志来源
如果 pidstat 显示某个应用持续写入,应结合文件大小和增长速度确认是否为日志异常:
sudo find /var/log -xdev -type f -printf '%s %TY-%Tm-%Td %TH:%TM %p\n' 2>/dev/null \
| sort -nr | head -n 30
可以在间隔一段时间后再次执行,比较同一个文件的大小变化。示例:
- 第一次:
app.log为 1.2 GB; - 10 分钟后:
app.log为 1.8 GB; - 增长量约为 600 MB,平均写入速度约为 600 ÷ 600 秒,即 1 MB/s。
这里的 600 MB 是十进制示例,换算为比特速率时应先乘以 8。若 10 分钟增长 600 MB,则平均写入量约为:
600 MB × 8 ÷ 600 秒 = 8 Mb/s
这只是日志文件的平均数据量,不等同于设备 I/O 压力。大量小块同步写、压缩、轮转和文件元数据更新,可能使实际设备延迟远高于单纯吞吐量所显示的压力。
2. 检查 systemd journal 和 logrotate
如果系统使用 systemd,可以查看 journal 占用:
sudo journalctl --disk-usage
查看日志轮转配置时,先使用调试模式,不会实际执行轮转:
sudo logrotate -d /etc/logrotate.conf
重点检查:
- 应用日志是否配置了
rotate; - 是否设置了合理的
size或daily; - 是否使用
compress; - 应用是否会在轮转后重新打开日志;
- 日志目录所在分区是否有独立容量和 inode 限制。
logrotate -d 是模拟检查;而 logrotate -f 会强制执行轮转,可能导致压缩、重命名和文件写入,不应在没有确认配置的情况下直接运行。
如果 journal 明显过大,可以考虑按保留策略清理旧日志,例如:
sudo journalctl --vacuum-time=7d
该操作会删除超过指定时间的旧 journal 文件,属于有不可逆影响的清理操作。执行前应确认:
- 是否有日志备份或集中采集;
- 业务和合规要求需要保留多久;
- 删除的是旧日志,而不是当前正在写入的日志;
- 当前磁盘压力是否允许先备份。
如果保留策略不允许删除,不能使用 vacuum 代替扩容或日志治理。若误删,通常只能从备份、集中日志系统或快照恢复,命令本身没有简单的撤销操作。
五、排除文件系统和底层存储延迟
1. 检查内核是否报告 I/O 错误
sudo journalctl -k -b --no-pager \
| grep -Ei 'I/O error|blk_update|buffer I/O|timeout|reset|nvme|ext4|xfs|read-only'
也可以查看最近的内核消息:
sudo dmesg -T | tail -n 100
以下情况需要提高优先级:
I/O error、medium error;reset controller、设备超时;- 文件系统被重新挂载为只读;
- ext4、XFS 出现元数据错误;
- 某个块设备反复断开或重置。
如果出现这些信息,应先保护数据,例如创建云盘快照、复制关键数据或切换到备用实例,再进一步处理。不要在文件系统仍处于读写挂载状态时直接执行 fsck 或 xfs_repair,否则可能扩大损坏范围。
文件系统修复通常需要:
- 确认文件系统类型和实际设备;
- 完成备份或快照;
- 安排维护窗口;
- 卸载文件系统,或从救援环境启动;
- 使用与文件系统类型匹配的检查工具;
- 修复后重新挂载并核对数据。
如果修复操作失败,回滚主要依赖快照、备份或备用实例,不能把“再次执行修复命令”当作回滚方案。
2. 检查虚拟磁盘或云盘侧指标
香港机房中的服务器可能使用本地盘、云硬盘、网络块存储或虚拟化平台映射的磁盘。Linux 内部看到的设备名无法完整说明底层介质,因此当出现以下组合时,应同步查看服务商控制台:
await持续升高;aqu-sz持续增长;%util长时间接近 100%;- 进程读写量并不大,但
wa很高; - 内核出现设备超时或重置;
- 同一时间段业务请求延迟明显上升。
控制台中应重点查看磁盘 IOPS、吞吐、突发额度、读写延迟和错误计数。如果平台提供磁盘类型或性能等级信息,还要确认当前业务的随机读写、小块同步写是否超出该磁盘适用范围。
3. 必要时查看设备健康信息
物理机或直通磁盘可以尝试使用 smartctl,但虚拟机中经常无法访问真实硬盘健康信息:
command -v smartctl && sudo smartctl -H /dev/sda
/dev/sda 只是示例设备,必须先通过 lsblk 确认。对云盘、设备映射和部分 NVMe 虚拟设备,命令可能返回“不支持”或无法获取完整信息,这不等于磁盘已经损坏,也不能据此替代云平台监控。
六、根据结果选择处理路径
可以用下面的分支快速决定下一步:
| 观察结果 | 更可能的原因 | 处理重点 |
|---|---|---|
某个进程 kB_wr/s 持续很高,await 正常 | 日志、备份、数据库写入或临时文件增长 | 确认写入文件、业务合理性和日志策略 |
| 某个进程读取量很高,设备延迟正常 | 扫描、缓存未命中、备份读取或查询压力 | 检查任务时间、访问目录和应用查询 |
进程读写量不大,但 await、aqu-sz、wa 很高 | 底层存储延迟、共享存储争用或同步写瓶颈 | 查看云盘指标、存储类型和内核日志 |
df -h 接近 100% | 容量耗尽、日志或备份增长 | 定位目录后按保留策略清理或扩容 |
df -i 接近 100% | 小文件或目录项过多 | 定位文件密集目录,清理应用产生的小文件 |
df 与 du 差异很大 | 已删除但仍被打开的文件、挂载点遗漏 | 使用 lsof +L1,确认服务后重载或重启 |
| 内核出现 I/O error 或文件系统错误 | 文件系统异常、虚拟设备故障或底层存储故障 | 先备份或快照,再安排维护和平台侧检查 |
| 日志文件持续快速增长 | 应用异常循环、错误重试或轮转失效 | 先查错误根因,再调整日志级别和保留策略 |
1. 进程写得多,但磁盘响应正常
这类情况不一定是磁盘故障。比如备份任务在低延迟磁盘上持续写入,wkB/s 较高但 await 稳定,说明设备尚未明显积压。
处理顺序可以是:
- 确认是否为计划内备份、压缩或日志轮转;
- 检查是否在业务高峰期执行;
- 将备份、导出、压缩任务调整到低峰期;
- 限制任务并发数或写入速率;
- 处理应用错误循环,避免通过降低日志级别掩盖根因。
如果只是临时任务造成压力,优先停止或调整该任务,而不是直接重启整台服务器。停止前要确认任务是否支持中断、是否会留下半成品以及下次是否会重复执行。
2. 进程写得不多,但磁盘延迟很高
这类现象更接近存储侧问题。小块同步写、数据库事务提交、日志 fsync、虚拟化层争用都可能造成低吞吐高延迟。
此时不要反复杀掉业务进程。杀进程只能暂时减少请求,无法修复底层设备,甚至可能让数据库恢复、日志回放和任务重试进一步增加 I/O。
应优先做以下核对:
- 哪个挂载点对应高延迟设备;
- 高延迟是读还是写;
- 是否只有一台香港服务器异常;
- 云盘是否达到 IOPS、吞吐或突发额度;
- 是否出现同一时间段的内核错误;
- 数据库、日志服务和备份任务是否同时运行。
如果平台侧确认存储延迟异常,应保存 iostat、vmstat、内核日志和业务时间点,便于提交故障工单或进行实例迁移。涉及磁盘类型调整、迁移和扩容时,应先创建快照或备份,并确认迁移期间的停机、只读或性能影响。
3. 磁盘空间或 inode 已满
先确认真正占用空间的目录和文件,再按业务归属处理:
- 日志:通过轮转、压缩和保留周期治理;
- 临时文件:确认创建者和生命周期后清理;
- 备份:核对备份保留策略,不要直接删除最新备份;
- 缓存:确认应用可以重新生成后再清理;
- 容器数据:确认容器、镜像和卷的使用关系;
- 数据库文件:只能通过数据库自身机制或经过验证的迁移方案处理。
如果要扩容,先记录当前设备、分区、LVM 和文件系统信息:
lsblk
findmnt -T /data
df -hT /data
扩容通常包含云盘扩容、分区或逻辑卷调整、文件系统扩展多个环节。不同发行版、分区布局和文件系统的命令不同,不能根据设备名直接套用。执行前应完成快照或备份,并确认文件系统支持在线扩展。扩容后必须再次检查 df -hT 和应用可写性;如果操作中断,恢复方式通常依赖快照或备份,不应直接重复执行未知参数的扩容命令。
七、修复后的验证不能只看一次 top
处理完成后,应重新采集同一组指标,至少覆盖一个完整的观察窗口:
date
vmstat 1 5
sudo iostat -xz 1 5
sudo pidstat -d -p ALL 1 5
df -hT
df -ih
验证时重点对比:
await是否回到原有正常区间;aqu-sz是否停止增长;wa是否下降;- 读写主进程是否与预期一致;
- 文件系统容量和 inode 是否保留足够余量;
- 是否仍有新的内核 I/O 错误;
- 应用错误日志、请求延迟和超时是否恢复。
例如,修复日志轮转后,可能看到日志写入从持续增长变为周期性增长,df 使用率不再上升;这只能说明增长得到控制,还要继续观察轮转是否正常、旧日志是否按策略压缩和删除。
如果调整了服务配置,应先验证配置,再执行重载;如果重载后业务异常,应按预先记录的配置备份恢复并重新验证。若执行了服务重启,应检查进程状态、监听端口、应用健康检查和关键业务请求,而不是只确认 systemctl 返回成功。
短时指标恢复并不代表问题完全消失。建议在业务高峰期再次观察 30 分钟到数小时,并持续关注:
- 磁盘延迟和队列;
- 日志目录增长速度;
- inode 使用率;
- 云盘 IOPS、吞吐和错误计数;
- 数据库提交延迟或应用请求超时;
- 内核日志是否出现新的设备异常。
只有当读写来源、空间状态和设备延迟都能解释,并且经过高峰期复测仍保持稳定,才能把这次磁盘 I/O 异常视为完成闭环,而不是暂时把告警压下去。
针对香港服务器上的数据库、业务日志和备份文件等不同读写负载,A5idc数据提供搭载SSD或NVMe的香港物理服务器,涵盖Xeon Gold与AMD EPYC等计算平台。对于大容量文件留存和备份场景,其香港存储系列还提供企业级机械硬盘与控制器配置。不同的计算与存储资源组合,可承载业务运行、数据读写与文件归档等需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7077.html

