新加坡服务器磁盘读写变慢怎么排查,如何区分I/O瓶颈与空间问题
磁盘读写变慢时,不能只看应用页面响应慢就判断为磁盘故障。先在新加坡服务器本机确认:如果 iostat 显示磁盘等待时间、请求队列持续升高,同时 vmstat 的 wa(I/O 等待)明显增加,通常更接近 I/O 瓶颈;如果 df -h 或 df -i 接近 100%,而磁盘队列并不高,则应优先排查容量或 inode 耗尽。
新加坡服务器还可能受到访问链路影响。远端用户到服务器的网络往返、DNS、TLS 握手或跨区域访问延迟,会让业务看起来像“读写慢”,但服务器本地执行命令可能很快。因此,排查要先区分网络、系统资源、磁盘容量、块设备、文件系统、服务和应用几个层次,再根据多个指标的时间关系定位根因。
一、先确认“慢”发生在哪里
故障发生时,先记录时间范围、受影响的接口或任务,以及影响范围。需要回答的不是“服务器是否变慢”,而是以下几个更具体的问题:
- 所有业务都慢,还是只有涉及文件上传、下载、日志写入、数据库查询的业务慢?
- 只有远程访问慢,还是在服务器本机执行同类操作也慢?
- 是读取慢、写入慢,还是创建和打开大量小文件变慢?
- 速度下降是持续发生,还是只在备份、日志切割、定时任务运行时出现?
- 是接口延迟升高,还是出现
No space left on device、超时、I/O error 等明确错误?
可以先查看主机整体状态。下面命令适用于常见 Linux 发行版;不同系统如果没有 systemd 或 sysstat,应使用对应的系统工具替代。
date
uptime
free -h
df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
这些命令本身不会修改系统。输出中的时间要与业务监控、应用日志、定时任务时间对齐,避免拿故障前后的不同时间段进行比较。
通过本机与远端对照排除网络因素
如果业务提供健康检查接口,可以分别从服务器本机和远端执行请求。以下地址仅为示例,应替换为实际存在的健康检查路径,不要把示例地址当成已经执行过的测试。

# 在服务器本机执行
curl -sS -o /dev/null \
-w 'code=%{http_code} connect=%{time_connect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
--connect-timeout 3 \
http://127.0.0.1:8080/health
# 在业务访问端或另一台监测主机执行
curl -sS -o /dev/null \
-w 'code=%{http_code} dns=%{time_namelookup}s connect=%{time_connect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
--connect-timeout 5 \
https://example.com/health
判断方式如下:
- 本机请求的
time_starttransfer和time_total已经很高,同时磁盘指标异常,优先排查主机、服务和存储。 - 本机请求很快,远端请求明显变慢,优先检查网络路径、DNS、TLS、负载均衡或回源链路。
- 本机请求也慢,但
iostat没有等待和队列,可能是应用线程池、数据库锁、CPU、内存回收或服务内部依赖阻塞。 - 只有上传、生成文件或批量读取接口变慢,才更需要进一步关联磁盘操作。
新加坡机房的位置本身不会直接证明磁盘存在问题。服务器所在区域主要影响客户端到服务器的网络距离;本地磁盘是否异常,应以服务器内部的 I/O、文件系统和设备状态为依据。
A5idc数据提供新加坡物理服务器及香港、美国、日本等地区的服务器资源,覆盖不同CPU、内存、SSD或NVMe存储与国际线路配置,可承载网站、接口服务、数据库和文件处理等业务。针对读写延迟、容量增长和多任务并行等场景,品牌也提供AMD计算、存储及多IP等产品系列,为不同数据规模与访问区域的业务部署提供硬件和网络资源基础。
二、建立一棵原因树
可以把磁盘读写变慢拆成六个分支。每个分支都需要同时观察现象和下一步证据,不能仅凭一个指标下结论。

| 分支 | 常见表现 | 首要观察项 | 下一步 |
|---|---|---|---|
| 网络或远端链路 | 远程请求慢,本机操作正常 | 本机与远端请求耗时、DNS、连接耗时 | 检查链路、入口层和回源 |
| 系统资源 | load 升高、进程阻塞、内存紧张 | vmstat、free、进程状态、CPU | 判断是 I/O 等待、Swap 还是 CPU |
| 容量问题 | df -h 接近满,出现空间不足 | 文件系统使用率、挂载点、目录大小 | 找出增长目录和清理策略 |
| inode 问题 | 仍有可用 GB,但无法创建文件 | df -i、小文件数量 | 定位小文件、缓存和临时目录 |
| 块设备 I/O 瓶颈 | await、队列和 wa 持续升高 | iostat、pidstat、云平台磁盘指标 | 找出竞争进程或存储层限制 |
| 文件系统或设备异常 | 内核日志出现 I/O error、重置、只读 | journalctl -k、设备和挂载信息 | 保护数据并联系存储服务方 |
| 服务或应用行为 | 特定任务运行时变慢 | 应用日志、数据库日志、任务时间 | 关联写入模式、锁和批处理 |
这棵树的作用是防止把“磁盘利用率高”“磁盘空间不足”和“文件系统故障”混为一谈。它们的处理方式不同,误判可能导致无效清理,甚至扩大数据风险。
三、先排除系统资源和 I/O 等待
1. 判断是否真的在等待磁盘
如果系统已安装 sysstat,可以运行:
iostat -xz 1 5
vmstat 1 5
iostat -xz 1 5 会每隔 1 秒采样一次,共输出 5 次;它属于观察类命令,不会对磁盘发起写入测试。重点关注:
r/s、w/s:每秒读写请求数量。rkB/s、wkB/s:读写吞吐量,通常以 KiB/s 展示,具体以工具输出为准。await:一次 I/O 请求从提交到完成的平均等待时间,通常以毫秒表示。r_await、w_await:分别观察读、写请求等待。aqu-sz:平均请求队列长度。%util:设备忙碌时间占比,但在多队列 NVMe 或虚拟化存储上不能单独作为饱和结论。
例如,下面是一段用于说明判断方法的模拟结果,并非某台服务器的实测数据:
Device r/s w/s rkB/s wkB/s aqu-sz await r_await w_await %util
vda 18.0 420.0 920.0 8600.0 5.80 13.6 4.2 14.0 96.0
如果 await、aqu-sz 和 %util 在多个采样周期持续偏高,同时业务延迟同步升高,才可以初步判断存在块设备 I/O 压力。单次采样中 %util 较高并不一定表示故障,短暂备份、缓存刷新或日志落盘都可能造成瞬时升高。
vmstat 中的 wa 表示 CPU 等待 I/O 的时间比例,si 和 so 则用于观察 Swap 换入换出。例如:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 6 0 1.2g 120m 5.8g 0 0 280 720 950 1800 8 3 61 28 0
这里的 b 表示不可中断睡眠状态的进程数量,通常需要结合进程状态和 I/O 指标理解。wa 为 28% 只能说明采样时存在较明显的 I/O 等待,不能单独证明某个磁盘或某个应用就是根因。
2. 识别内存不足造成的“假性磁盘变慢”
内存不足时,系统可能频繁使用 Swap,表现为磁盘读写增加、应用延迟上升。先看:
free -h
swapon --show
vmstat 1 10
如果 vmstat 的 si、so 在连续采样中持续非零,且 free -h 显示可用内存紧张,应先处理内存压力、异常进程或任务并发,而不是直接更换磁盘。
可进一步观察占用资源的进程:
ps -eo pid,ppid,stat,%cpu,%mem,comm,args --sort=-%mem | head -n 20
如果进程状态中大量出现 D,说明进程处于不可中断睡眠,常见于等待块设备或文件系统操作完成。此时要把进程状态与 iostat 和内核日志对应起来;单纯重启应用可能只是暂时消除表象。
四、区分容量不足、inode 耗尽和目录增长
1. 字节容量不足
先检查每个挂载点,而不是只看根目录:
df -hT
findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS
需要特别关注:
/、/var、/home、/srv或数据库专用挂载点是否接近满。- 应用实际写入的目录是否与查看的目录属于不同文件系统。
- 容器内看到的空间是否只是容器可写层,而不是宿主机实际剩余空间。
- 文件系统是否使用了快照、预留空间或独立卷。
一般可以把 80% 左右作为预警线,把 90% 以上视为需要尽快处理的状态,但这不是所有业务的固定标准。数据库、日志密集型服务和临时文件较多的环境,需要更早预留空间。
定位目录时,优先扫描明确的挂载点,避免对整个生产文件系统进行高频、无范围的递归扫描:
du -xhd1 /var 2>/dev/null | sort -h
du -xhd1 /srv 2>/dev/null | sort -h
du -xhd1 /home 2>/dev/null | sort -h
如果发现 /var/log、应用上传目录、备份目录或数据库临时目录持续增长,应继续按文件类型、生成任务和保留策略追踪,而不是直接删除大文件。
2. inode 耗尽
inode 用于记录文件和目录的元数据。大量小文件可能先耗尽 inode,即使磁盘还剩很多 GB,也无法创建新文件。
df -ih
如果某个挂载点的 IUse% 接近 100%,而 df -h 仍有空间,优先判断为 inode 问题。可以对明确的业务目录统计文件和目录数量:
find /var/cache -xdev -type f 2>/dev/null | wc -l
find /srv/app-data -xdev -type f 2>/dev/null | wc -l
常见来源包括:
- 每次请求生成一个临时文件,但任务完成后没有回收。
- 图片、碎片文件、会话文件或缓存文件数量持续增长。
- 日志按请求或按短时间间隔拆分成大量小文件。
- 部署、构建或解压任务在同一个目录留下大量历史版本。
- 容器、队列消费者或失败重试任务反复生成临时文件。
容量和 inode 需要分别监控,不能用“还有多少 GB”代替 inode 检查。
3. df 与 du 不一致
常见情况是 df -h 显示已使用很多空间,但 du 找不到对应的大文件。这通常与以下原因有关:
- 文件已经删除,但仍被运行中的进程打开。
- 目录下存在另一个挂载点,
du -x没有跨过去。 - 容器、快照或存储层的统计口径不同。
- 文件系统保留块、日志区或元数据占用未被普通目录统计直接呈现。
可以查找已删除但仍被进程占用的文件:
lsof +L1
如果输出中有大型日志或临时文件,需要先确认持有文件的进程、文件描述符和服务行为。不能因为看到文件名就直接删除或重启服务。处理前应确认有可用日志、备份或恢复方案,并评估重启对业务的影响;适合的回滚方式是停止变更、恢复原服务配置或从备份恢复,而不是盲目释放文件描述符。
五、判断是真正的 I/O 瓶颈,还是应用写入模式异常
1. 找出产生 I/O 的进程
在问题复现期间,可以使用:
pidstat -d 1 5
如果系统安装了 iotop,也可以在具备相应权限时观察活跃进程:
iotop -oPa
重点看哪个进程的读写速率与业务延迟同时出现。以下几种情况含义不同:
- 某个备份进程读写量很高,应用延迟同步上升:可能是备份任务与业务共享同一块卷。
- 写入量并不大,但
w_await很高:可能是底层存储延迟、同步写入或队列拥塞。 - 读取量很大但等待不高:更像是吞吐压力,需要看存储带宽和请求大小。
- 只有一个应用进程进入
D状态:可能是该进程访问的目录、文件或数据库数据文件存在问题。 - 所有进程的 I/O 等待都升高:更应检查设备、虚拟化存储层或主机级资源。
不要在生产盘上直接执行高并发 fio、大文件 dd 或随机写测试。此类测试会制造额外 I/O,甚至覆盖测试路径上的数据。若确实需要基准测试,应使用独立测试卷或维护窗口,先确认备份、测试范围、并发参数和回滚方式。
2. 文件系统和挂载信息
先确认应用目录对应的文件系统类型、设备和挂载参数:
findmnt -T /srv/app-data
stat -f /srv/app-data
lsblk -f
文件系统本身异常时,内核日志通常比应用日志更早出现线索:
journalctl -k -b --no-pager | \
egrep -i 'I/O error|blk_update|buffer error|reset|timeout|read-only|ext4|xfs'
如果系统没有 journalctl,可以在确认发行版后查看对应的内核日志文件。需要留意以下信号:
I/O error、设备超时或设备重置。- 文件系统被重新挂载为只读。
- ext4、XFS 等文件系统报告元数据错误。
- 虚拟磁盘设备短暂消失或重新连接。
出现这些信号时,不要在已挂载且正在使用的文件系统上直接执行 fsck,也不要随意卸载生产卷。应先保护数据、确认备份或快照可用,在维护窗口按照发行版和文件系统要求检查;云服务器还需要结合服务商提供的磁盘健康信息判断底层设备状态。部分虚拟磁盘不会向系统暴露完整的 SMART 信息,smartctl 无法读取并不等于设备一定正常或异常。
六、把日志增长和定时任务纳入排查
日志既可能是容量问题的结果,也可能是 I/O 瓶颈的制造者。先查看 systemd 日志占用和日志目录规模:
journalctl --disk-usage
du -xhd1 /var/log 2>/dev/null | sort -h
再对照应用日志中的报错频率、日志级别和生成时间。常见关联关系包括:
- 上游依赖故障,应用进入高频重试,导致错误日志快速增长。
- 日志级别被临时调整为 debug,写入量大幅上升。
- 日志切割任务与压缩任务同时运行,造成集中读写。
- 日志保留时间过长,旧文件未被归档或清理。
- 日志写入文件已经删除,但进程没有重新打开文件,导致
df持续显示空间被占用。
日志增长可以用简单估算判断风险。例如,若某服务持续以 2 MB/s 写日志,按十进制单位计算:
- 每天写入量 = 2 MB/s × 86,400 秒
- = 172,800 MB
- = 172.8 GB/天
这还没有计算压缩副本、备份和其他业务数据。由此可见,几 MB/s 的持续写入也可能在一天内占用较大空间。处理日志前应先确认保留要求、审计要求和备份策略;涉及日志轮转、服务重载或归档目录变更时,应保留原配置并准备回滚。
七、从服务和应用层确认根因
当主机指标没有明显异常时,问题可能发生在应用自己的存储访问方式。需要把业务操作拆成具体动作:
文件上传和下载
检查文件是否写入本地临时目录、是否完成同步落盘、是否存在大文件分片合并。远端上传慢时,要同时比较:
- 网络接收耗时。
- 应用处理耗时。
- 临时文件写入耗时。
- 最终目录重命名或校验耗时。
如果本地临时文件写入很快,但接口仍慢,原因更可能在网络、鉴权、应用处理或后端依赖。
数据库读写
数据库可能把大量写入表现为磁盘慢,但实际根因包括事务提交频繁、日志同步写入、检查点、临时表、锁等待或索引维护。需要同时查看数据库自身的慢查询、锁等待、事务日志和连接池指标,不能仅凭服务器的 w_await 推断数据库需要更换磁盘。
大量小文件
大量小文件会增加目录查找、inode 分配和元数据更新压力。此时吞吐量可能不高,但单次打开、创建和删除操作延迟明显。应关注文件数量、目录层级、并发创建方式和清理周期,而不是只看 MB/s。
定时任务和批处理
将备份、压缩、报表生成、全量扫描、镜像构建等任务的开始时间与 I/O 指标对齐。如果每次任务启动后 aqu-sz、await 和业务 p95 延迟同步上升,根因可能是任务与在线业务争抢同一存储资源。可以通过错峰、限速、独立卷或调整任务并发解决,但变更前要评估备份完成时间和失败后的恢复路径。
八、用证据链定位,而不是用单一指标下结论
一个较完整的定位链条应当包含四类证据:
- 时间一致:磁盘指标异常与业务延迟、错误日志在同一时间段出现。
- 范围一致:受影响的业务确实访问了异常挂载点或设备。
- 资源相关:具体进程的读写、队列、等待或文件数量与现象相符。
- 恢复可验证:停止异常任务、恢复空间或解除资源竞争后,指标和业务延迟同时改善。
例如,下面几种判断可以作为条件化结论:

| 观察结果 | 更可能的根因 | 验证方向 |
|---|---|---|
df -h 95%,df -i 40%,await 正常 | 字节容量不足 | 查找增长目录、日志和备份文件 |
df -h 55%,df -i 99% | inode 耗尽 | 统计小文件数量和生成来源 |
| 本机接口快,远端接口慢 | 网络或入口层问题 | 比较 DNS、连接、TLS 和回源耗时 |
wa 高、await 高、队列持续增长 | 块设备或存储资源拥塞 | 查找 I/O 进程和存储层限制 |
await 正常但应用 p95 高 | 服务、锁、CPU 或内存问题 | 查看线程池、数据库锁、Swap 和应用日志 |
| 内核日志出现 I/O error 或只读 | 文件系统或设备异常 | 保护数据,进入维护和存储故障流程 |
九、恢复后的验证与复发监控
故障处理完成后,至少使用与故障期间相同的指标重新观察一个完整业务周期。建议验证:
df -hT和df -ih是否恢复到安全范围。iostat中await、队列和读写吞吐是否回到正常基线。vmstat的wa、si、so是否停止持续升高。- 应用接口的平均延迟、p95/p99 延迟和错误率是否恢复。
- 应用日志、内核日志是否仍出现空间不足、I/O error 或重试。
- 触发问题的备份、日志任务或批处理是否仍会造成相同峰值。
不要只以“页面恢复正常”作为结束标准。若只是重启服务、清空缓存或任务恰好结束,业务可能暂时恢复,但根因仍会复发。
后续监控至少应覆盖以下项目:
- 每个挂载点的容量使用率和 inode 使用率。
- 磁盘读写吞吐、请求数、
await、读写等待和队列长度。 - I/O 等待比例,以及 Linux 下的
/proc/pressure/io。 - 日志目录、临时目录和备份目录的增长速度。
- 已删除但仍被进程打开的文件数量和大小。
- 应用接口延迟、错误率、超时数和重试次数。
- 备份、压缩、批处理等任务的运行时间与磁盘指标。
告警阈值应结合业务基线设置。容量可以在 80% 左右预警、90% 左右进入处理状态;inode 也应单独设置预警。I/O 告警不宜只设置一个固定毫秒数,更适合使用“相对历史基线持续升高”,例如等待时间达到平时的两倍并持续数分钟,同时业务 p95 延迟也上升。这样才能区分正常的短时写入峰值和真正影响服务的存储瓶颈。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8224.html