新加坡服务器磁盘读写变慢怎么排查,如何区分I/O瓶颈与空间问题

发布人:A5数据发布时间:2026-11-08 11:09阅读量:57

​磁盘读写变慢时,不能只看应用页面响应慢就判断为磁盘故障。先在新加坡服务器本机确认:如果 iostat 显示磁盘等待时间、请求队列持续升高,同时 vmstat 的 wa(I/O 等待)明显增加,通常更接近 I/O 瓶颈;如果 df -h 或 df -i 接近 100%,而磁盘队列并不高,则应优先排查容量或 inode 耗尽。

新加坡服务器还可能受到访问链路影响。远端用户到服务器的网络往返、DNS、TLS 握手或跨区域访问延迟,会让业务看起来像“读写慢”,但服务器本地执行命令可能很快。因此,排查要先区分网络、系统资源、磁盘容量、块设备、文件系统、服务和应用几个层次,再根据多个指标的时间关系定位根因。

一、先确认“慢”发生在哪里

故障发生时,先记录时间范围、受影响的接口或任务,以及影响范围。需要回答的不是“服务器是否变慢”,而是以下几个更具体的问题:

  • 所有业务都慢,还是只有涉及文件上传、下载、日志写入、数据库查询的业务慢?
  • 只有远程访问慢,还是在服务器本机执行同类操作也慢?
  • 是读取慢、写入慢,还是创建和打开大量小文件变慢?
  • 速度下降是持续发生,还是只在备份、日志切割、定时任务运行时出现?
  • 是接口延迟升高,还是出现 No space left on device、超时、I/O error 等明确错误?

可以先查看主机整体状态。下面命令适用于常见 Linux 发行版;不同系统如果没有 systemd 或 sysstat,应使用对应的系统工具替代。

date
uptime
free -h
df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS

这些命令本身不会修改系统。输出中的时间要与业务监控、应用日志、定时任务时间对齐,避免拿故障前后的不同时间段进行比较。

通过本机与远端对照排除网络因素

如果业务提供健康检查接口,可以分别从服务器本机和远端执行请求。以下地址仅为示例,应替换为实际存在的健康检查路径,不要把示例地址当成已经执行过的测试。

通过本机与远端对照排除网络因素配图

# 在服务器本机执行
curl -sS -o /dev/null \
  -w 'code=%{http_code} connect=%{time_connect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
  --connect-timeout 3 \
  http://127.0.0.1:8080/health

# 在业务访问端或另一台监测主机执行
curl -sS -o /dev/null \
  -w 'code=%{http_code} dns=%{time_namelookup}s connect=%{time_connect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
  --connect-timeout 5 \
  https://example.com/health

判断方式如下:

  • 本机请求的 time_starttransfer 和 time_total 已经很高,同时磁盘指标异常,优先排查主机、服务和存储。
  • 本机请求很快,远端请求明显变慢,优先检查网络路径、DNS、TLS、负载均衡或回源链路。
  • 本机请求也慢,但 iostat 没有等待和队列,可能是应用线程池、数据库锁、CPU、内存回收或服务内部依赖阻塞。
  • 只有上传、生成文件或批量读取接口变慢,才更需要进一步关联磁盘操作。

新加坡机房的位置本身不会直接证明磁盘存在问题。服务器所在区域主要影响客户端到服务器的网络距离;本地磁盘是否异常,应以服务器内部的 I/O、文件系统和设备状态为依据。

A5idc数据提供新加坡物理服务器及香港、美国、日本等地区的服务器资源,覆盖不同CPU、内存、SSD或NVMe存储与国际线路配置,可承载网站、接口服务、数据库和文件处理等业务。针对读写延迟、容量增长和多任务并行等场景,品牌也提供AMD计算、存储及多IP等产品系列,为不同数据规模与访问区域的业务部署提供硬件和网络资源基础。

二、建立一棵原因树

可以把磁盘读写变慢拆成六个分支。每个分支都需要同时观察现象和下一步证据,不能仅凭一个指标下结论。

二、建立一棵原因树配图

分支常见表现首要观察项下一步
网络或远端链路远程请求慢,本机操作正常本机与远端请求耗时、DNS、连接耗时检查链路、入口层和回源
系统资源load 升高、进程阻塞、内存紧张vmstat、free、进程状态、CPU判断是 I/O 等待、Swap 还是 CPU
容量问题df -h 接近满,出现空间不足文件系统使用率、挂载点、目录大小找出增长目录和清理策略
inode 问题仍有可用 GB,但无法创建文件df -i、小文件数量定位小文件、缓存和临时目录
块设备 I/O 瓶颈await、队列和 wa 持续升高iostat、pidstat、云平台磁盘指标找出竞争进程或存储层限制
文件系统或设备异常内核日志出现 I/O error、重置、只读journalctl -k、设备和挂载信息保护数据并联系存储服务方
服务或应用行为特定任务运行时变慢应用日志、数据库日志、任务时间关联写入模式、锁和批处理

这棵树的作用是防止把“磁盘利用率高”“磁盘空间不足”和“文件系统故障”混为一谈。它们的处理方式不同,误判可能导致无效清理,甚至扩大数据风险。

三、先排除系统资源和 I/O 等待

1. 判断是否真的在等待磁盘

如果系统已安装 sysstat,可以运行:

iostat -xz 1 5
vmstat 1 5

iostat -xz 1 5 会每隔 1 秒采样一次,共输出 5 次;它属于观察类命令,不会对磁盘发起写入测试。重点关注:

  • r/s、w/s:每秒读写请求数量。
  • rkB/s、wkB/s:读写吞吐量,通常以 KiB/s 展示,具体以工具输出为准。
  • await:一次 I/O 请求从提交到完成的平均等待时间,通常以毫秒表示。
  • r_await、w_await:分别观察读、写请求等待。
  • aqu-sz:平均请求队列长度。
  • %util:设备忙碌时间占比,但在多队列 NVMe 或虚拟化存储上不能单独作为饱和结论。

例如,下面是一段用于说明判断方法的模拟结果,并非某台服务器的实测数据:

Device       r/s    w/s   rkB/s   wkB/s  aqu-sz  await  r_await  w_await  %util
vda         18.0  420.0    920.0  8600.0    5.80   13.6      4.2     14.0   96.0

如果 await、aqu-sz 和 %util 在多个采样周期持续偏高,同时业务延迟同步升高,才可以初步判断存在块设备 I/O 压力。单次采样中 %util 较高并不一定表示故障,短暂备份、缓存刷新或日志落盘都可能造成瞬时升高。

vmstat 中的 wa 表示 CPU 等待 I/O 的时间比例,si 和 so 则用于观察 Swap 换入换出。例如:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  6      0  1.2g  120m  5.8g    0    0   280  720  950 1800  8  3  61 28  0

这里的 b 表示不可中断睡眠状态的进程数量,通常需要结合进程状态和 I/O 指标理解。wa 为 28% 只能说明采样时存在较明显的 I/O 等待,不能单独证明某个磁盘或某个应用就是根因。

2. 识别内存不足造成的“假性磁盘变慢”

内存不足时,系统可能频繁使用 Swap,表现为磁盘读写增加、应用延迟上升。先看:

free -h
swapon --show
vmstat 1 10

如果 vmstat 的 si、so 在连续采样中持续非零,且 free -h 显示可用内存紧张,应先处理内存压力、异常进程或任务并发,而不是直接更换磁盘。

可进一步观察占用资源的进程:

ps -eo pid,ppid,stat,%cpu,%mem,comm,args --sort=-%mem | head -n 20

如果进程状态中大量出现 D,说明进程处于不可中断睡眠,常见于等待块设备或文件系统操作完成。此时要把进程状态与 iostat 和内核日志对应起来;单纯重启应用可能只是暂时消除表象。

四、区分容量不足、inode 耗尽和目录增长

1. 字节容量不足

先检查每个挂载点,而不是只看根目录:

df -hT
findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS

需要特别关注:

  • /、/var、/home、/srv 或数据库专用挂载点是否接近满。
  • 应用实际写入的目录是否与查看的目录属于不同文件系统。
  • 容器内看到的空间是否只是容器可写层,而不是宿主机实际剩余空间。
  • 文件系统是否使用了快照、预留空间或独立卷。

一般可以把 80% 左右作为预警线,把 90% 以上视为需要尽快处理的状态,但这不是所有业务的固定标准。数据库、日志密集型服务和临时文件较多的环境,需要更早预留空间。

定位目录时,优先扫描明确的挂载点,避免对整个生产文件系统进行高频、无范围的递归扫描:

du -xhd1 /var 2>/dev/null | sort -h
du -xhd1 /srv 2>/dev/null | sort -h
du -xhd1 /home 2>/dev/null | sort -h

如果发现 /var/log、应用上传目录、备份目录或数据库临时目录持续增长,应继续按文件类型、生成任务和保留策略追踪,而不是直接删除大文件。

2. inode 耗尽

inode 用于记录文件和目录的元数据。大量小文件可能先耗尽 inode,即使磁盘还剩很多 GB,也无法创建新文件。

df -ih

如果某个挂载点的 IUse% 接近 100%,而 df -h 仍有空间,优先判断为 inode 问题。可以对明确的业务目录统计文件和目录数量:

find /var/cache -xdev -type f 2>/dev/null | wc -l
find /srv/app-data -xdev -type f 2>/dev/null | wc -l

常见来源包括:

  • 每次请求生成一个临时文件,但任务完成后没有回收。
  • 图片、碎片文件、会话文件或缓存文件数量持续增长。
  • 日志按请求或按短时间间隔拆分成大量小文件。
  • 部署、构建或解压任务在同一个目录留下大量历史版本。
  • 容器、队列消费者或失败重试任务反复生成临时文件。

容量和 inode 需要分别监控,不能用“还有多少 GB”代替 inode 检查。

3. df 与 du 不一致

常见情况是 df -h 显示已使用很多空间,但 du 找不到对应的大文件。这通常与以下原因有关:

  • 文件已经删除,但仍被运行中的进程打开。
  • 目录下存在另一个挂载点,du -x 没有跨过去。
  • 容器、快照或存储层的统计口径不同。
  • 文件系统保留块、日志区或元数据占用未被普通目录统计直接呈现。

可以查找已删除但仍被进程占用的文件:

lsof +L1

如果输出中有大型日志或临时文件,需要先确认持有文件的进程、文件描述符和服务行为。不能因为看到文件名就直接删除或重启服务。处理前应确认有可用日志、备份或恢复方案,并评估重启对业务的影响;适合的回滚方式是停止变更、恢复原服务配置或从备份恢复,而不是盲目释放文件描述符。

五、判断是真正的 I/O 瓶颈,还是应用写入模式异常

1. 找出产生 I/O 的进程

在问题复现期间,可以使用:

pidstat -d 1 5

如果系统安装了 iotop,也可以在具备相应权限时观察活跃进程:

iotop -oPa

重点看哪个进程的读写速率与业务延迟同时出现。以下几种情况含义不同:

  • 某个备份进程读写量很高,应用延迟同步上升:可能是备份任务与业务共享同一块卷。
  • 写入量并不大,但 w_await 很高:可能是底层存储延迟、同步写入或队列拥塞。
  • 读取量很大但等待不高:更像是吞吐压力,需要看存储带宽和请求大小。
  • 只有一个应用进程进入 D 状态:可能是该进程访问的目录、文件或数据库数据文件存在问题。
  • 所有进程的 I/O 等待都升高:更应检查设备、虚拟化存储层或主机级资源。

不要在生产盘上直接执行高并发 fio、大文件 dd 或随机写测试。此类测试会制造额外 I/O,甚至覆盖测试路径上的数据。若确实需要基准测试,应使用独立测试卷或维护窗口,先确认备份、测试范围、并发参数和回滚方式。

2. 文件系统和挂载信息

先确认应用目录对应的文件系统类型、设备和挂载参数:

findmnt -T /srv/app-data
stat -f /srv/app-data
lsblk -f

文件系统本身异常时,内核日志通常比应用日志更早出现线索:

journalctl -k -b --no-pager | \
  egrep -i 'I/O error|blk_update|buffer error|reset|timeout|read-only|ext4|xfs'

如果系统没有 journalctl,可以在确认发行版后查看对应的内核日志文件。需要留意以下信号:

  • I/O error、设备超时或设备重置。
  • 文件系统被重新挂载为只读。
  • ext4、XFS 等文件系统报告元数据错误。
  • 虚拟磁盘设备短暂消失或重新连接。

出现这些信号时,不要在已挂载且正在使用的文件系统上直接执行 fsck,也不要随意卸载生产卷。应先保护数据、确认备份或快照可用,在维护窗口按照发行版和文件系统要求检查;云服务器还需要结合服务商提供的磁盘健康信息判断底层设备状态。部分虚拟磁盘不会向系统暴露完整的 SMART 信息,smartctl 无法读取并不等于设备一定正常或异常。

六、把日志增长和定时任务纳入排查

日志既可能是容量问题的结果,也可能是 I/O 瓶颈的制造者。先查看 systemd 日志占用和日志目录规模:

journalctl --disk-usage
du -xhd1 /var/log 2>/dev/null | sort -h

再对照应用日志中的报错频率、日志级别和生成时间。常见关联关系包括:

  • 上游依赖故障,应用进入高频重试,导致错误日志快速增长。
  • 日志级别被临时调整为 debug,写入量大幅上升。
  • 日志切割任务与压缩任务同时运行,造成集中读写。
  • 日志保留时间过长,旧文件未被归档或清理。
  • 日志写入文件已经删除,但进程没有重新打开文件,导致 df 持续显示空间被占用。

日志增长可以用简单估算判断风险。例如,若某服务持续以 2 MB/s 写日志,按十进制单位计算:

  • 每天写入量 = 2 MB/s × 86,400 秒
  • = 172,800 MB
  • = 172.8 GB/天

这还没有计算压缩副本、备份和其他业务数据。由此可见,几 MB/s 的持续写入也可能在一天内占用较大空间。处理日志前应先确认保留要求、审计要求和备份策略;涉及日志轮转、服务重载或归档目录变更时,应保留原配置并准备回滚。

七、从服务和应用层确认根因

当主机指标没有明显异常时,问题可能发生在应用自己的存储访问方式。需要把业务操作拆成具体动作:

文件上传和下载

检查文件是否写入本地临时目录、是否完成同步落盘、是否存在大文件分片合并。远端上传慢时,要同时比较:

  • 网络接收耗时。
  • 应用处理耗时。
  • 临时文件写入耗时。
  • 最终目录重命名或校验耗时。

如果本地临时文件写入很快,但接口仍慢,原因更可能在网络、鉴权、应用处理或后端依赖。

数据库读写

数据库可能把大量写入表现为磁盘慢,但实际根因包括事务提交频繁、日志同步写入、检查点、临时表、锁等待或索引维护。需要同时查看数据库自身的慢查询、锁等待、事务日志和连接池指标,不能仅凭服务器的 w_await 推断数据库需要更换磁盘。

大量小文件

大量小文件会增加目录查找、inode 分配和元数据更新压力。此时吞吐量可能不高,但单次打开、创建和删除操作延迟明显。应关注文件数量、目录层级、并发创建方式和清理周期,而不是只看 MB/s。

定时任务和批处理

将备份、压缩、报表生成、全量扫描、镜像构建等任务的开始时间与 I/O 指标对齐。如果每次任务启动后 aqu-sz、await 和业务 p95 延迟同步上升,根因可能是任务与在线业务争抢同一存储资源。可以通过错峰、限速、独立卷或调整任务并发解决,但变更前要评估备份完成时间和失败后的恢复路径。

八、用证据链定位,而不是用单一指标下结论

一个较完整的定位链条应当包含四类证据:

  1. 时间一致:磁盘指标异常与业务延迟、错误日志在同一时间段出现。
  2. 范围一致:受影响的业务确实访问了异常挂载点或设备。
  3. 资源相关:具体进程的读写、队列、等待或文件数量与现象相符。
  4. 恢复可验证:停止异常任务、恢复空间或解除资源竞争后,指标和业务延迟同时改善。

例如,下面几种判断可以作为条件化结论:

八、用证据链定位,而不是用单一指标下结论配图

观察结果更可能的根因验证方向
df -h 95%,df -i 40%,await 正常字节容量不足查找增长目录、日志和备份文件
df -h 55%,df -i 99%inode 耗尽统计小文件数量和生成来源
本机接口快,远端接口慢网络或入口层问题比较 DNS、连接、TLS 和回源耗时
wa 高、await 高、队列持续增长块设备或存储资源拥塞查找 I/O 进程和存储层限制
await 正常但应用 p95 高服务、锁、CPU 或内存问题查看线程池、数据库锁、Swap 和应用日志
内核日志出现 I/O error 或只读文件系统或设备异常保护数据,进入维护和存储故障流程

九、恢复后的验证与复发监控

故障处理完成后,至少使用与故障期间相同的指标重新观察一个完整业务周期。建议验证:

  • df -hT 和 df -ih 是否恢复到安全范围。
  • iostat 中 await、队列和读写吞吐是否回到正常基线。
  • vmstat 的 wa、si、so 是否停止持续升高。
  • 应用接口的平均延迟、p95/p99 延迟和错误率是否恢复。
  • 应用日志、内核日志是否仍出现空间不足、I/O error 或重试。
  • 触发问题的备份、日志任务或批处理是否仍会造成相同峰值。

不要只以“页面恢复正常”作为结束标准。若只是重启服务、清空缓存或任务恰好结束,业务可能暂时恢复,但根因仍会复发。

后续监控至少应覆盖以下项目:

  • 每个挂载点的容量使用率和 inode 使用率。
  • 磁盘读写吞吐、请求数、await、读写等待和队列长度。
  • I/O 等待比例,以及 Linux 下的 /proc/pressure/io。
  • 日志目录、临时目录和备份目录的增长速度。
  • 已删除但仍被进程打开的文件数量和大小。
  • 应用接口延迟、错误率、超时数和重试次数。
  • 备份、压缩、批处理等任务的运行时间与磁盘指标。

告警阈值应结合业务基线设置。容量可以在 80% 左右预警、90% 左右进入处理状态;inode 也应单独设置预警。I/O 告警不宜只设置一个固定毫秒数,更适合使用“相对历史基线持续升高”,例如等待时间达到平时的两倍并持续数分钟,同时业务 p95 延迟也上升。这样才能区分正常的短时写入峰值和真正影响服务的存储瓶颈。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8224.html