新加坡服务器磁盘IO异常怎么定位,如何区分延迟、吞吐与进程争用
新加坡服务器出现磁盘 I/O 异常时,不能只看磁盘使用率、CPU 等待或某一个进程的写入量就下结论。await 升高但吞吐不高,通常更接近设备或文件系统延迟问题;吞吐接近存储上限且队列持续增长,可能是带宽饱和;单个进程读写量异常,则要继续判断它是业务正常高峰、日志增长,还是进程之间发生了 I/O 争用。
定位时还要把容量、inode、文件系统状态、日志增长、内存回收、CPU、网络响应时间和应用错误率放在同一时间窗口中观察。新加坡只是服务器所在区域,磁盘异常的直接原因仍取决于本地盘、云硬盘、挂载卷、文件系统以及业务写入模式;如果应用跨区域访问,还必须排除网络延迟被误判为磁盘延迟。
A5idc数据提供新加坡及多地区物理服务器资源,覆盖不同CPU、内存、存储和网络线路组合,可用于数据库、接口服务、网站后台及多任务业务部署。针对需要持续读写和稳定数据处理的场景,SSD、NVMe及大容量存储方案能够形成相应的本地磁盘资源基础,并与内存、计算和网络配置协同支撑业务运行,为区分存储延迟、吞吐压力与进程争用提供清晰的硬件环境。
建立统一的观察窗口
排查前先确定异常开始和结束的大致时间,例如记录异常前 5 分钟、异常持续期间以及恢复后 5 分钟。监控平台、应用日志和操作系统日志最好统一使用 UTC 或新加坡时区,不要把不同时间基准下的曲线直接对比。
建议至少同时记录以下指标:
- 应用层:平均响应时间、P95/P99 响应时间、超时数、5xx 错误率、请求量。
- CPU:总使用率、
iowait、steal、运行队列。 - 内存:可用内存、swap 使用量、swap in/out、内存压力。
- 磁盘设备:读写 IOPS、读写吞吐、
await、队列长度、%util。 - 进程:各进程读写速率、I/O 等待、进程状态。
- 文件系统:空间使用率、inode 使用率、挂载状态、内核 I/O 错误。
- 网络:网卡丢包和错误、TCP 重传、跨区域请求耗时。
在 Linux 服务器上,可以先使用以下只读命令建立基线:
date
uptime
iostat -xz 1 10
vmstat 1 10
pidstat -d 1 10
df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA
iostat 和 pidstat 通常由 sysstat 提供。如果命令不存在,应先确认发行版和软件包来源,不要直接使用不匹配的安装命令。采样期间不要只执行一次 iostat,单次输出只能反映一个瞬间,无法说明队列是在持续增长,还是刚好遇到一个短暂写入峰值。
如果应用日志中使用本地时间,而系统监控使用 UTC,可先确认系统时区:
timedatectl
时间线对不上时,任何“磁盘先异常还是请求先变慢”的判断都不可靠。
先排除容量、inode 和日志增长
磁盘空间不足与磁盘 I/O 延迟升高经常同时出现,但两者不是同一个问题。空间不足主要表现为写入失败、临时文件创建失败、数据库无法扩展文件;I/O 延迟问题则可能在磁盘只有 40% 使用率时发生。
块空间和 inode 分开检查
df -hT
df -ih
重点查看业务实际使用的挂载点,而不是只看根目录 /。例如:
df -hT接近 100%,说明块空间不足。df -ih接近 100%,说明 inode 可能耗尽,即使仍有可用容量,也无法创建新文件。df显示空间充足,但应用仍提示写入失败,可能是目录权限、只读挂载、配额或打开但已删除的文件。df显示已占用空间明显大于du统计结果,常见原因是进程仍持有已删除文件。
确认业务目录所在的文件系统和挂载参数:
findmnt -T /var/log -o TARGET,SOURCE,FSTYPE,OPTIONS
findmnt -T /path/to/application-data -o TARGET,SOURCE,FSTYPE,OPTIONS
其中 /path/to/application-data 需要替换成实际路径。ext4、xfs 等文件系统的元数据和日志机制不同,不能仅凭目录大小判断所有文件系统问题。
判断哪个目录增长最快
目录统计可能产生额外磁盘读取,生产环境应避开业务高峰,并限定在目标文件系统内:
du -xhd1 /var 2>/dev/null | sort -h
du -xhd1 /path/to/application-data 2>/dev/null | sort -h
如果怀疑日志增长,应分别检查:
- 应用访问日志和错误日志;
- 数据库审计、慢查询或事务日志;
- 系统日志;
- 临时文件和上传目录;
- 崩溃转储文件;
- 容器或服务运行时产生的标准输出日志。
systemd 日志可先查看占用量:
journalctl --disk-usage
不要看到大日志文件就直接删除。删除前应确认是否有备份、日志轮转策略和保留要求;如果进程仍持有已删除文件,直接删除目录中的可见文件也不会立即释放空间。可以用以下命令识别这类情况:
lsof +L1
输出中的文件名带有 (deleted) 时,通常需要让对应进程按自身方式重新打开日志,或在确认影响范围后进行平滑重载。强制终止进程可能造成请求中断、缓存丢失或数据库恢复时间增加。
日志增长速度也要和磁盘写入曲线对齐。比如某日志在 30 分钟内增加约 12 GB,按十进制口径计算:
- 平均写入量:12 GB ÷ 1800 秒 ≈ 6.67 MB/s;
- 换算为网络常用比特速率:6.67 MB/s × 8 ≈ 53.3 Mbps。
这只是该日志文件的平均增长,不等于设备总写入量。数据库 WAL、文件系统日志、临时文件和其他进程可能带来额外写入,因此应与 iostat 的设备写入量及 pidstat 的进程写入量交叉验证。
用指标联动区分延迟、吞吐和进程争用
I/O 延迟异常:请求不多,但每次完成得慢
延迟型异常的典型特征是:
await或应用端文件操作耗时明显上升;- 读写吞吐没有达到设备或云硬盘的理论上限;
- 队列长度持续增加;
- 应用 P95/P99 响应时间同步恶化;
- CPU 总使用率不一定高,但
iowait可能升高; - 进程读写量不一定集中在单个进程。
await 是设备请求从提交到完成的平均等待时间,包含排队时间和设备处理时间。它不是应用端完整响应时间,不能直接等同于接口耗时。
例如,以下是用于说明关系的模拟数据,并非实际监控结果:

| 时间 | 应用P99 | CPU使用率 | iowait | 读写吞吐 | await | 队列长度 | 5xx |
|---|---|---|---|---|---|---|---|
| 10:00 | 180 ms | 43% | 2% | 32 MB/s | 3 ms | 0.4 | 0.1% |
| 10:05 | 760 ms | 46% | 18% | 31 MB/s | 68 ms | 7.8 | 2.4% |
| 10:10 | 1.1 s | 45% | 26% | 29 MB/s | 95 ms | 11.2 | 4.1% |
吞吐基本没有增加,但 await、队列、P99 和错误率一起上升,说明问题更接近请求完成变慢,而不是单纯“写入了更多数据”。候选原因包括存储后端抖动、同步写入过多、文件系统元数据争用、设备内部垃圾回收或底层存储性能层级受限。
此时不能仅凭 %util=100% 判定设备已经达到吞吐上限。并发请求较多时,设备可能在高利用率下仍有较低吞吐;相反,部分虚拟化存储的 %util 也未必能完整反映后端资源限制。
吞吐异常:持续读写接近能力边界
吞吐型问题通常表现为:
rMB/s或wMB/s持续接近存储卷的可用带宽;- 大量连续读写或批量任务与异常时间重合;
- IOPS 可能不高,但单次 I/O 请求较大;
- 队列长度随吞吐升高而增长;
- 当请求量继续增加时,
await和应用响应时间开始上升; - CPU 可能正常,内存也没有明显压力。
吞吐和 IOPS 不是同一个指标。大量 4 KB 小请求可能产生很高 IOPS,但只有较低 MB/s;大块顺序写可能 IOPS 不高,却很快达到带宽上限。判断时要同时看读写次数和读写字节数。
iostat -xz 1 10 中可以重点关注:
r/s、w/s:每秒读写请求数;rkB/s、wkB/s:每秒读写数据量;await:请求平均完成时间;aqu-sz:平均队列长度;%util:设备忙碌程度。
不同云硬盘类型、卷大小和服务等级的性能边界不同,不能把某个固定 MB/s 或固定 IOPS 当成所有新加坡服务器的通用阈值。应先记录正常时段基线,再观察异常时段是否接近该存储卷实际可用能力。
进程争用:总量异常来自一个或少数进程
进程争用强调“谁在制造 I/O”,而不是设备本身一定故障。常见来源包括日志暴增、备份、压缩、全文索引、批量导入、临时文件清理或数据库检查点。
pidstat -d -p ALL 1 10
可重点观察:
kB_rd/s:进程读取速率;kB_wr/s:进程写入速率;kB_ccwr/s:被取消的写入量;- 进程状态是否长期处于不可中断睡眠;
- 高 I/O 进程是否与应用响应变慢处于同一时间段。
如果某个日志进程持续写入,而设备总写入量、await、队列长度和应用错误率同时上升,进程争用的可能性较高。如果单个进程读写量很大,但设备延迟和应用响应均未变化,可能只是正常批处理,不能仅凭进程排名判定故障。
进程争用还要区分“业务进程主动制造 I/O”和“业务进程被设备拖慢”。前者通常表现为进程读写速率先上升,随后设备队列和延迟升高;后者可能是进程读写量没有明显变化,但等待时间和不可中断睡眠增加。
排除内存、CPU、网络和文件系统的替代解释
内存回收导致的间接 I/O
内存不足会触发回收和 swap,应用看到的结果也可能是磁盘变慢:
vmstat 1 10
free -h
在 vmstat 中重点看:
si、so:swap 换入和换出;wa:CPU 等待 I/O 的比例;r:运行队列;free、buff、cache:内存使用结构。
如果 si/so 持续非零,同时可用内存下降、await 升高、应用 P99 变慢,优先处理内存压力,而不要直接把问题归因于存储设备。若 swap 活跃但磁盘写入只增加少量,仍需结合设备读写量判断影响程度。
CPU、虚拟化抢占和应用自身排队
CPU 使用率高可能让接口变慢,但不一定是磁盘问题。可以进一步查看每个 CPU 的状态:
mpstat -P ALL 1 5
如果 CPU 用户态或系统态接近饱和,而 await、设备队列没有明显变化,应优先排查计算资源或锁竞争。虚拟机环境中的 steal 较高,表示虚拟 CPU 被宿主机调度延迟,也可能造成应用响应时间变长。
应用自身的线程池、数据库连接池和任务队列也必须纳入时间线。接口 P99 上升,但磁盘指标正常、网络无丢包,可能是应用线程被锁、连接池耗尽或下游服务延迟,而不是本机磁盘。
网络延迟被误判为磁盘延迟
新加坡服务器常见跨区域访问场景:应用部署在新加坡,但数据库、对象存储或用户请求来自其他区域。此时接口耗时上升可能来自网络往返,而不是本地 I/O。

可以检查网卡统计和套接字概况:
ip -s link
ss -s
sar -n DEV 1 5
重点关注网卡错误、丢包、重传、连接数突增以及跨区域依赖的响应时间。如果本地磁盘 await 保持基线,应用访问外部数据库或存储的耗时却增加,应将网络路径或远端服务作为主要候选。
判断网络与磁盘时,可以同时比较:
- 本地文件读写耗时;
- 业务接口 P95/P99;
- 到远端依赖的连接和响应时间;
- 磁盘
await、队列和吞吐; - TCP 重传和网卡错误。
文件系统和内核错误
容量正常、吞吐不高但延迟持续异常时,应检查内核是否报告 I/O 错误、设备重置或文件系统被重新挂载为只读:
dmesg -T | egrep -i 'I/O error|reset|timeout|read-only|ext4|xfs|nvme|blk'
部分系统限制普通用户读取 dmesg,此时应通过系统日志服务或具备权限的只读查询方式获取记录。若出现设备超时、I/O error、文件系统错误或只读挂载,不要继续用高并发测试压垮设备。
文件系统检查工具通常要求卸载文件系统或进入维护窗口。执行检查前应完成备份或快照,确认业务影响范围,并准备回滚或恢复方案;不要在在线生产挂载点上随意执行修复类命令。
按低风险顺序形成判断
可以按照以下顺序收敛问题:

- 固定时间窗口:记录异常前后应用响应、错误率、CPU、内存、网络和磁盘曲线。
- 检查空间与 inode:确认实际挂载点是否满、inode 是否耗尽、日志是否快速增长。
- 看设备总体表现:对比
r/s、w/s、吞吐、await、队列和%util,判断是延迟主导还是带宽主导。 - 定位进程来源:使用
pidstat对比高 I/O 进程与设备总量,确认是否存在日志、备份或批处理争用。 - 排除替代解释:检查 swap、CPU
steal、网络重传、远端依赖和内核错误。 - 只改变一个变量并复测:例如暂停非关键批处理、降低日志级别、调整日志轮转或扩展存储容量,避免同时修改多个因素。
不同结果对应的判断可以参考下表:
| 观察结果 | 更可能的方向 | 仍需验证的内容 |
|---|---|---|
await、队列和P99同时升高,吞吐基本不变 | 存储延迟、同步写、文件系统或后端抖动 | 内核日志、读写类型、存储服务级别 |
| 吞吐长期接近基线能力,队列随之升高 | 吞吐或带宽受限 | 读写方向、请求大小、卷规格 |
| 单个进程写入量突增,设备延迟同步恶化 | 进程争用或日志增长 | 进程任务、文件路径、轮转策略 |
| inode接近耗尽,空间仍有余量 | 小文件过多或目录结构问题 | 文件数量、临时文件、缓存清理策略 |
| swap持续活跃,磁盘读写与内存压力同时升高 | 内存不足导致间接I/O | 内存峰值、进程RSS、swap配置 |
| 磁盘指标正常,跨区域依赖耗时和TCP重传上升 | 网络或远端服务延迟 | 依赖端监控、路径质量、连接池 |
复测时不要只看“恢复正常”
采取措施后,至少再观察一个与原异常相近的业务周期。若原问题出现在整点批处理期间,不能只在低峰期复测;若原问题由日志高峰触发,也要等到相同日志量级出现后再判断。
复测应同时确认:
- 应用 P95/P99 是否恢复到异常前的相近水平;
- 5xx、超时和任务失败率是否下降;
- 设备
await、队列和吞吐是否同步改善; - 高 I/O 进程是否停止异常增长;
df -hT和df -ih是否仍有足够余量;- swap、CPU
iowait、网络重传是否回到基线; - 内核日志中是否继续出现设备或文件系统错误。
例如,临时暂停备份任务后,若 wMB/s、队列和 await 在数分钟内同步下降,且应用 P99 恢复,说明备份任务与异常存在较强关联;但这还不代表根因已经解决,还需要重新安排备份窗口、限制其并发或评估存储能力。若暂停后磁盘延迟不变,则应回到文件系统、存储后端、内存压力或其他进程继续排查。
下一次为新加坡服务器配置磁盘异常告警时,不要只设置“磁盘使用率超过 80%”。更有区分度的组合是:await + 队列长度 + rMB/s/wMB/s,配合 pidstat 的高 I/O 进程、df -hT + df -ih 的容量状态,以及应用 P99、超时率和 5xx。再将 CPU iowait、swap、网络重传和内核 I/O 错误放入同一时间轴,才能区分“磁盘变慢”“吞吐用满”“某进程争用”以及“实际是内存或网络问题”。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8260.html



