新加坡服务器磁盘IO异常怎么定位,如何区分延迟、吞吐与进程争用

发布人:A5数据发布时间:2026-11-08 11:47阅读量:71

新加坡服务器出现磁盘 I/O 异常时,不能只看磁盘使用率、CPU 等待或某一个进程的写入量就下结论。await 升高但吞吐不高,通常更接近设备或文件系统延迟问题;吞吐接近存储上限且队列持续增长,可能是带宽饱和;单个进程读写量异常,则要继续判断它是业务正常高峰、日志增长,还是进程之间发生了 I/O 争用。

定位时还要把容量、inode、文件系统状态、日志增长、内存回收、CPU、网络响应时间和应用错误率放在同一时间窗口中观察。新加坡只是服务器所在区域,磁盘异常的直接原因仍取决于本地盘、云硬盘、挂载卷、文件系统以及业务写入模式;如果应用跨区域访问,还必须排除网络延迟被误判为磁盘延迟。

A5idc数据提供新加坡及多地区物理服务器资源,覆盖不同CPU、内存、存储和网络线路组合,可用于数据库、接口服务、网站后台及多任务业务部署。针对需要持续读写和稳定数据处理的场景,SSD、NVMe及大容量存储方案能够形成相应的本地磁盘资源基础,并与内存、计算和网络配置协同支撑业务运行,为区分存储延迟、吞吐压力与进程争用提供清晰的硬件环境。

建立统一的观察窗口

排查前先确定异常开始和结束的大致时间,例如记录异常前 5 分钟、异常持续期间以及恢复后 5 分钟。监控平台、应用日志和操作系统日志最好统一使用 UTC 或新加坡时区,不要把不同时间基准下的曲线直接对比。

建议至少同时记录以下指标:

  • 应用层:平均响应时间、P95/P99 响应时间、超时数、5xx 错误率、请求量。
  • CPU:总使用率、iowait、steal、运行队列。
  • 内存:可用内存、swap 使用量、swap in/out、内存压力。
  • 磁盘设备:读写 IOPS、读写吞吐、await、队列长度、%util。
  • 进程:各进程读写速率、I/O 等待、进程状态。
  • 文件系统:空间使用率、inode 使用率、挂载状态、内核 I/O 错误。
  • 网络:网卡丢包和错误、TCP 重传、跨区域请求耗时。

在 Linux 服务器上,可以先使用以下只读命令建立基线:

date
uptime
iostat -xz 1 10
vmstat 1 10
pidstat -d 1 10
df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA

iostat 和 pidstat 通常由 sysstat 提供。如果命令不存在,应先确认发行版和软件包来源,不要直接使用不匹配的安装命令。采样期间不要只执行一次 iostat,单次输出只能反映一个瞬间,无法说明队列是在持续增长,还是刚好遇到一个短暂写入峰值。

如果应用日志中使用本地时间,而系统监控使用 UTC,可先确认系统时区:

timedatectl

时间线对不上时,任何“磁盘先异常还是请求先变慢”的判断都不可靠。

先排除容量、inode 和日志增长

磁盘空间不足与磁盘 I/O 延迟升高经常同时出现,但两者不是同一个问题。空间不足主要表现为写入失败、临时文件创建失败、数据库无法扩展文件;I/O 延迟问题则可能在磁盘只有 40% 使用率时发生。

块空间和 inode 分开检查

df -hT
df -ih

重点查看业务实际使用的挂载点,而不是只看根目录 /。例如:

  • df -hT 接近 100%,说明块空间不足。
  • df -ih 接近 100%,说明 inode 可能耗尽,即使仍有可用容量,也无法创建新文件。
  • df 显示空间充足,但应用仍提示写入失败,可能是目录权限、只读挂载、配额或打开但已删除的文件。
  • df 显示已占用空间明显大于 du 统计结果,常见原因是进程仍持有已删除文件。

确认业务目录所在的文件系统和挂载参数:

findmnt -T /var/log -o TARGET,SOURCE,FSTYPE,OPTIONS
findmnt -T /path/to/application-data -o TARGET,SOURCE,FSTYPE,OPTIONS

其中 /path/to/application-data 需要替换成实际路径。ext4、xfs 等文件系统的元数据和日志机制不同,不能仅凭目录大小判断所有文件系统问题。

判断哪个目录增长最快

目录统计可能产生额外磁盘读取,生产环境应避开业务高峰,并限定在目标文件系统内:

du -xhd1 /var 2>/dev/null | sort -h
du -xhd1 /path/to/application-data 2>/dev/null | sort -h

如果怀疑日志增长,应分别检查:

  • 应用访问日志和错误日志;
  • 数据库审计、慢查询或事务日志;
  • 系统日志;
  • 临时文件和上传目录;
  • 崩溃转储文件;
  • 容器或服务运行时产生的标准输出日志。

systemd 日志可先查看占用量:

journalctl --disk-usage

不要看到大日志文件就直接删除。删除前应确认是否有备份、日志轮转策略和保留要求;如果进程仍持有已删除文件,直接删除目录中的可见文件也不会立即释放空间。可以用以下命令识别这类情况:

lsof +L1

输出中的文件名带有 (deleted) 时,通常需要让对应进程按自身方式重新打开日志,或在确认影响范围后进行平滑重载。强制终止进程可能造成请求中断、缓存丢失或数据库恢复时间增加。

日志增长速度也要和磁盘写入曲线对齐。比如某日志在 30 分钟内增加约 12 GB,按十进制口径计算:

  • 平均写入量:12 GB ÷ 1800 秒 ≈ 6.67 MB/s;
  • 换算为网络常用比特速率:6.67 MB/s × 8 ≈ 53.3 Mbps。

这只是该日志文件的平均增长,不等于设备总写入量。数据库 WAL、文件系统日志、临时文件和其他进程可能带来额外写入,因此应与 iostat 的设备写入量及 pidstat 的进程写入量交叉验证。

用指标联动区分延迟、吞吐和进程争用

I/O 延迟异常:请求不多,但每次完成得慢

延迟型异常的典型特征是:

  • await 或应用端文件操作耗时明显上升;
  • 读写吞吐没有达到设备或云硬盘的理论上限;
  • 队列长度持续增加;
  • 应用 P95/P99 响应时间同步恶化;
  • CPU 总使用率不一定高,但 iowait 可能升高;
  • 进程读写量不一定集中在单个进程。

await 是设备请求从提交到完成的平均等待时间,包含排队时间和设备处理时间。它不是应用端完整响应时间,不能直接等同于接口耗时。

例如,以下是用于说明关系的模拟数据,并非实际监控结果:

用指标联动区分延迟、吞吐和进程争用配图

时间应用P99CPU使用率iowait读写吞吐await队列长度5xx
10:00180 ms43%2%32 MB/s3 ms0.40.1%
10:05760 ms46%18%31 MB/s68 ms7.82.4%
10:101.1 s45%26%29 MB/s95 ms11.24.1%

吞吐基本没有增加,但 await、队列、P99 和错误率一起上升,说明问题更接近请求完成变慢,而不是单纯“写入了更多数据”。候选原因包括存储后端抖动、同步写入过多、文件系统元数据争用、设备内部垃圾回收或底层存储性能层级受限。

此时不能仅凭 %util=100% 判定设备已经达到吞吐上限。并发请求较多时,设备可能在高利用率下仍有较低吞吐;相反,部分虚拟化存储的 %util 也未必能完整反映后端资源限制。

吞吐异常:持续读写接近能力边界

吞吐型问题通常表现为:

  • rMB/s 或 wMB/s 持续接近存储卷的可用带宽;
  • 大量连续读写或批量任务与异常时间重合;
  • IOPS 可能不高,但单次 I/O 请求较大;
  • 队列长度随吞吐升高而增长;
  • 当请求量继续增加时,await 和应用响应时间开始上升;
  • CPU 可能正常,内存也没有明显压力。

吞吐和 IOPS 不是同一个指标。大量 4 KB 小请求可能产生很高 IOPS,但只有较低 MB/s;大块顺序写可能 IOPS 不高,却很快达到带宽上限。判断时要同时看读写次数和读写字节数。

iostat -xz 1 10 中可以重点关注:

  • r/s、w/s:每秒读写请求数;
  • rkB/s、wkB/s:每秒读写数据量;
  • await:请求平均完成时间;
  • aqu-sz:平均队列长度;
  • %util:设备忙碌程度。

不同云硬盘类型、卷大小和服务等级的性能边界不同,不能把某个固定 MB/s 或固定 IOPS 当成所有新加坡服务器的通用阈值。应先记录正常时段基线,再观察异常时段是否接近该存储卷实际可用能力。

进程争用:总量异常来自一个或少数进程

进程争用强调“谁在制造 I/O”,而不是设备本身一定故障。常见来源包括日志暴增、备份、压缩、全文索引、批量导入、临时文件清理或数据库检查点。

pidstat -d -p ALL 1 10

可重点观察:

  • kB_rd/s:进程读取速率;
  • kB_wr/s:进程写入速率;
  • kB_ccwr/s:被取消的写入量;
  • 进程状态是否长期处于不可中断睡眠;
  • 高 I/O 进程是否与应用响应变慢处于同一时间段。

如果某个日志进程持续写入,而设备总写入量、await、队列长度和应用错误率同时上升,进程争用的可能性较高。如果单个进程读写量很大,但设备延迟和应用响应均未变化,可能只是正常批处理,不能仅凭进程排名判定故障。

进程争用还要区分“业务进程主动制造 I/O”和“业务进程被设备拖慢”。前者通常表现为进程读写速率先上升,随后设备队列和延迟升高;后者可能是进程读写量没有明显变化,但等待时间和不可中断睡眠增加。

排除内存、CPU、网络和文件系统的替代解释

内存回收导致的间接 I/O

内存不足会触发回收和 swap,应用看到的结果也可能是磁盘变慢:

vmstat 1 10
free -h

在 vmstat 中重点看:

  • si、so:swap 换入和换出;
  • wa:CPU 等待 I/O 的比例;
  • r:运行队列;
  • free、buff、cache:内存使用结构。

如果 si/so 持续非零,同时可用内存下降、await 升高、应用 P99 变慢,优先处理内存压力,而不要直接把问题归因于存储设备。若 swap 活跃但磁盘写入只增加少量,仍需结合设备读写量判断影响程度。

CPU、虚拟化抢占和应用自身排队

CPU 使用率高可能让接口变慢,但不一定是磁盘问题。可以进一步查看每个 CPU 的状态:

mpstat -P ALL 1 5

如果 CPU 用户态或系统态接近饱和,而 await、设备队列没有明显变化,应优先排查计算资源或锁竞争。虚拟机环境中的 steal 较高,表示虚拟 CPU 被宿主机调度延迟,也可能造成应用响应时间变长。

应用自身的线程池、数据库连接池和任务队列也必须纳入时间线。接口 P99 上升,但磁盘指标正常、网络无丢包,可能是应用线程被锁、连接池耗尽或下游服务延迟,而不是本机磁盘。

网络延迟被误判为磁盘延迟

新加坡服务器常见跨区域访问场景:应用部署在新加坡,但数据库、对象存储或用户请求来自其他区域。此时接口耗时上升可能来自网络往返,而不是本地 I/O。

排除内存、CPU、网络和文件系统的替代解释配图

可以检查网卡统计和套接字概况:

ip -s link
ss -s
sar -n DEV 1 5

重点关注网卡错误、丢包、重传、连接数突增以及跨区域依赖的响应时间。如果本地磁盘 await 保持基线,应用访问外部数据库或存储的耗时却增加,应将网络路径或远端服务作为主要候选。

判断网络与磁盘时,可以同时比较:

  • 本地文件读写耗时;
  • 业务接口 P95/P99;
  • 到远端依赖的连接和响应时间;
  • 磁盘 await、队列和吞吐;
  • TCP 重传和网卡错误。

文件系统和内核错误

容量正常、吞吐不高但延迟持续异常时,应检查内核是否报告 I/O 错误、设备重置或文件系统被重新挂载为只读:

dmesg -T | egrep -i 'I/O error|reset|timeout|read-only|ext4|xfs|nvme|blk'

部分系统限制普通用户读取 dmesg,此时应通过系统日志服务或具备权限的只读查询方式获取记录。若出现设备超时、I/O error、文件系统错误或只读挂载,不要继续用高并发测试压垮设备。

文件系统检查工具通常要求卸载文件系统或进入维护窗口。执行检查前应完成备份或快照,确认业务影响范围,并准备回滚或恢复方案;不要在在线生产挂载点上随意执行修复类命令。

按低风险顺序形成判断

可以按照以下顺序收敛问题:

按低风险顺序形成判断配图

  1. 固定时间窗口:记录异常前后应用响应、错误率、CPU、内存、网络和磁盘曲线。
  2. 检查空间与 inode:确认实际挂载点是否满、inode 是否耗尽、日志是否快速增长。
  3. 看设备总体表现:对比 r/s、w/s、吞吐、await、队列和 %util,判断是延迟主导还是带宽主导。
  4. 定位进程来源:使用 pidstat 对比高 I/O 进程与设备总量,确认是否存在日志、备份或批处理争用。
  5. 排除替代解释:检查 swap、CPU steal、网络重传、远端依赖和内核错误。
  6. 只改变一个变量并复测:例如暂停非关键批处理、降低日志级别、调整日志轮转或扩展存储容量,避免同时修改多个因素。

不同结果对应的判断可以参考下表:

观察结果更可能的方向仍需验证的内容
await、队列和P99同时升高,吞吐基本不变存储延迟、同步写、文件系统或后端抖动内核日志、读写类型、存储服务级别
吞吐长期接近基线能力,队列随之升高吞吐或带宽受限读写方向、请求大小、卷规格
单个进程写入量突增,设备延迟同步恶化进程争用或日志增长进程任务、文件路径、轮转策略
inode接近耗尽,空间仍有余量小文件过多或目录结构问题文件数量、临时文件、缓存清理策略
swap持续活跃,磁盘读写与内存压力同时升高内存不足导致间接I/O内存峰值、进程RSS、swap配置
磁盘指标正常,跨区域依赖耗时和TCP重传上升网络或远端服务延迟依赖端监控、路径质量、连接池

复测时不要只看“恢复正常”

采取措施后,至少再观察一个与原异常相近的业务周期。若原问题出现在整点批处理期间,不能只在低峰期复测;若原问题由日志高峰触发,也要等到相同日志量级出现后再判断。

复测应同时确认:

  • 应用 P95/P99 是否恢复到异常前的相近水平;
  • 5xx、超时和任务失败率是否下降;
  • 设备 await、队列和吞吐是否同步改善;
  • 高 I/O 进程是否停止异常增长;
  • df -hT 和 df -ih 是否仍有足够余量;
  • swap、CPU iowait、网络重传是否回到基线;
  • 内核日志中是否继续出现设备或文件系统错误。

例如,临时暂停备份任务后,若 wMB/s、队列和 await 在数分钟内同步下降,且应用 P99 恢复,说明备份任务与异常存在较强关联;但这还不代表根因已经解决,还需要重新安排备份窗口、限制其并发或评估存储能力。若暂停后磁盘延迟不变,则应回到文件系统、存储后端、内存压力或其他进程继续排查。

下一次为新加坡服务器配置磁盘异常告警时,不要只设置“磁盘使用率超过 80%”。更有区分度的组合是:await + 队列长度 + rMB/s/wMB/s,配合 pidstat 的高 I/O 进程、df -hT + df -ih 的容量状态,以及应用 P99、超时率和 5xx。再将 CPU iowait、swap、网络重传和内核 I/O 错误放入同一时间轴,才能区分“磁盘变慢”“吞吐用满”“某进程争用”以及“实际是内存或网络问题”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8260.html

相关推荐