新加坡存储服务器响应慢怎么查?如何关联磁盘I/O、网络与请求延迟
单看“响应时间变长”无法直接判断新加坡存储服务器出了问题。请求可能卡在访问链路、Nginx入口、应用线程池、数据库锁等待,也可能确实在等待磁盘读写。有效的排查方式,是把同一时间窗口内的请求延迟、磁盘I/O、网络质量、CPU与内存、队列和错误率放在一起,看它们是否同步变化。
如果响应时间升高的同时,磁盘 await、I/O队列和数据库写入等待也上升,存储I/O是较强候选;如果服务器磁盘指标平稳,但跨地域RTT、TCP重传或出口带宽占用升高,应优先检查网络链路;如果Nginx已接收请求但上游响应变慢,则问题更可能位于应用或数据库。下面按“建立观察窗口—关联指标—排除替代解释—形成判断—复测”的顺序展开。
先建立统一的观察窗口
性能排查最容易出现的误区,是分别查看不同时间点的监控图:请求延迟看的是整点数据,磁盘监控看的是五分钟前,网络监控又使用另一台主机的时间。这样即使指标看起来有关联,也不能证明它们属于同一次故障。
建议先固定一个包含异常的时间窗口,例如异常发生前后各15分钟,并统一使用新加坡时区或UTC记录。至少保留以下数据:
- 请求总量、平均延迟、P50、P95、P99延迟;
- HTTP状态码、超时数、连接失败数和错误率;
- Nginx的
request_time、upstream_connect_time、upstream_header_time、upstream_response_time; - 应用线程池、任务队列、垃圾回收、外部依赖调用耗时;
- CPU user、system、iowait、steal,内存使用、Swap和运行队列;
- 磁盘读写次数、吞吐、
await、队列长度、设备利用率; - 网络RTT、TCP重传、连接数、收发包速率和网卡丢包;
- 数据库活跃连接、锁等待、慢查询、日志写入和刷盘等待。
如果应用、Web服务器、数据库和存储服务器是分离部署,还应记录各主机的时间同步状态。Linux主机可先进行只读核对:
timedatectl status
date -Is
hostname
若多个主机的时间偏差明显,先不要直接比较日志中的毫秒时间。可以在日志中加入请求ID、上游请求ID或链路追踪ID,让同一请求在Nginx、应用、数据库和存储服务中能够串联起来。
记录一次请求的时间分解
一个请求的总耗时通常可以拆成若干阶段:

总耗时 ≈ DNS解析 + TCP连接 + TLS握手 + 入口排队
+ 应用处理 + 数据库等待 + 存储I/O等待
+ 响应数据传输
这不是严格的加法模型,因为部分操作可能并行执行,但它能帮助确定观测位置。例如,客户端看到的P95从300毫秒升到2秒,并不表示磁盘一定承担了1.7秒的延迟。只有当应用或数据库的内部等待也同步增加,才有必要进一步把时间归因到存储路径。
先判断延迟发生在链路还是服务器内部
新加坡服务器面向的访问端可能分布在不同地区。访问端到新加坡机房之间的RTT、跨地域链路抖动、出口拥塞和TCP重传,都会增加请求完成时间。此时服务器磁盘可能完全正常,但用户仍然感觉“存储服务器响应慢”。
使用分段计时区分连接与服务处理
可以从与业务用户相近的监控位置,使用低频、固定URL进行测试。下面命令只读取一个健康检查或小响应接口,不应直接对大文件下载接口持续执行:
curl -sS -o /dev/null \
-w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s starttransfer=%{time_starttransfer}s total=%{time_total}s code=%{http_code}\n' \
'https://example.com/health'
这个结果可以粗略分辨:
time_namelookup升高:优先检查DNS解析路径;time_connect升高:可能是链路、监听队列、防火墙或连接建立压力;time_appconnect升高:TLS握手、连接复用或网络抖动值得关注;time_starttransfer升高:服务器处理或上游等待可能增加;time_total明显高于time_starttransfer:响应体传输阶段可能受带宽、丢包或客户端接收速度影响。
单次 curl 不能代替监控。应在相同时间内连续取样,并与Nginx的请求日志进行对照。
观察网络指标的联动关系
可以先确认工具是否存在,再进行短时采样:
command -v ss
command -v sar
command -v ip
ss -s
ip -s link
如果系统已安装 sysstat,可以使用:
sar -n DEV,TCP 1 10
重点观察以下组合,而不是单独看带宽使用率:
| 请求表现 | 网络指标联动 | 更可能的方向 |
|---|---|---|
| P95、P99升高,RTT同步升高 | TCP重传、重传率或丢包同步上升 | 访问链路、出口或跨地域网络 |
| 总耗时升高,但首字节时间基本稳定 | 收发流量接近出口能力,响应体较大 | 响应传输或带宽限制 |
| 连接耗时升高,应用处理时间平稳 | 新建连接数增加、SYN队列或连接数上升 | 连接建立、入口队列或连接复用问题 |
| 网络指标平稳,首字节时间和上游时间升高 | 应用、数据库或存储等待上升 | 服务器内部处理链路 |
| 只有一台主机异常,其他节点正常 | 异常节点网卡错误、路由或本机负载变化 | 主机、网卡或单节点配置 |
网卡统计中的错误和丢包需要结合接口名称、虚拟化环境和监控周期判断。短时间内计数增加不一定代表业务流量已经丢失,但如果它与请求P99、TCP重传在同一分钟同步上升,关联性就明显增强。
从Nginx入口定位等待位置
如果新加坡存储服务器前面有Nginx反向代理或负载均衡,入口日志通常是最有价值的第一层证据。建议至少记录:
- 请求时间和请求ID;
- HTTP状态码;
request_time;upstream_connect_time;upstream_header_time;upstream_response_time;- 请求方法、URI分类和响应体大小。
不建议只看所有接口的平均值。文件列表、对象读取、上传、下载和健康检查的响应特征不同,应按接口或请求类型分组。
通过时间字段判断方向
可以按以下逻辑建立初步判断:
upstream_response_time明显升高,且Nginxrequest_time同步升高,说明请求主要在等待上游应用或存储接口。upstream_connect_time升高,但上游处理时间没有明显变化,说明连接建立、连接池或网络路径可能有问题。upstream_response_time较低,而request_time明显更高,说明响应返回阶段、客户端接收速度或出口网络值得检查。request_time和上游时间都较低,但入口连接数、排队数和连接错误增加,可能是Nginx监听、连接资源或前置网络的问题。- 502、504与上游响应时间同步增加,通常表示上游处理超过超时边界;499增加则要结合客户端断开和网络传输阶段分析,不能直接等同于服务器故障。
例如,某一时间段的模拟数据如下:
| 时间 | 请求P95 | upstream_response_time P95 | TCP重传 | 磁盘await | 错误率 |
|---|---|---|---|---|---|
| 10:00 | 280 ms | 240 ms | 0.2% | 6 ms | 0.3% |
| 10:05 | 920 ms | 870 ms | 0.2% | 68 ms | 1.1% |
| 10:10 | 1,240 ms | 1,180 ms | 0.3% | 96 ms | 2.4% |
这组数据只能说明“上游等待”和“磁盘等待”同向变化,不能单独证明磁盘是根因。还需继续查看数据库写入等待、应用队列、备份任务和存储服务器本身的网络指标。
检查应用资源与队列,而不是只看CPU百分比
CPU使用率不高,并不代表应用没有资源瓶颈。大量线程可能在等待磁盘、数据库连接或外部接口,CPU反而维持在中等水平。相反,CPU较高也不一定是响应慢的根因,可能只是请求量增加后的正常结果。
Linux主机可以先进行短时、低风险采样:
vmstat 1 10
输出中的重点包括:
r:可运行任务数量。长期明显高于CPU逻辑核数,说明运行队列有压力;si、so:Swap换入换出。持续非零时,需要关注内存压力;bi、bo:块设备读写活动,可与磁盘监控对照;wa:CPU等待I/O的比例。它是线索,不是磁盘故障的直接证明;st:虚拟化环境下被宿主机占用的CPU时间,持续升高时可能影响请求处理。
如果系统安装了 pidstat,可以查看进程级CPU和I/O:
command -v pidstat
pidstat -druwt 1 10
典型关联关系如下:
- CPU user持续接近核数上限,运行队列增加,应用线程处于计算状态:偏向CPU或应用代码压力;
- CPU不高,但
wa、磁盘await和应用等待队列同时升高:偏向存储等待; - 内存接近上限,Swap活动与P99同步升高:偏向内存回收或换页;
- CPU、磁盘和网络均不高,但线程池队列增加:检查数据库连接池、下游服务和锁等待;
steal升高而本机业务指标异常:需要检查虚拟化资源争用,而不是盲目调整应用参数。
应用队列必须结合吞吐量看。请求量翻倍后,队列从10增至20并不一定是故障;但请求量不变、处理线程数不变,队列持续增长且P99不断拉长,则说明服务能力或下游等待出现变化。
把磁盘I/O拆成吞吐、延迟和队列
存储服务器响应慢,不能只用“磁盘利用率达到多少”来判断。不同磁盘、阵列、虚拟块设备和远程块存储,对利用率的含义并不完全相同。
采集设备级指标
确认工具和挂载关系后,再进行只读采样:
command -v iostat
lsblk -o NAME,TYPE,FSTYPE,MOUNTPOINTS
findmnt -T /path/to/data
df -h /path/to/data
df -i /path/to/data
如果存在 iostat,可以执行:
iostat -xz 1 10
主要看以下字段:
r/s、w/s:每秒读写请求数;rkB/s、wkB/s:每秒读写吞吐;await:请求从提交到完成的平均等待时间;aqu-sz:平均请求队列长度;%util:设备处于忙碌状态的时间比例;- 设备对应的挂载点和业务数据路径。
不同字段要组合解释:
| 变化组合 | 可能含义 | 需要补充排查 |
|---|---|---|
await、aqu-sz和P99同步升高 | 请求在设备或存储链路中排队 | 并发读写、数据库刷盘、备份任务 |
吞吐接近设备能力,但await变化不大 | 可能是带宽或顺序吞吐上限 | 读写方向、块大小、设备规格 |
%util高,await低且请求量稳定 | 设备持续工作但未明显排队 | 业务是否正常使用,不能仅据此判故障 |
await高,但设备吞吐很低 | 小块随机I/O、同步写或底层延迟 | fsync、数据库日志、远程存储路径 |
| 主机I/O等待高,存储服务器磁盘正常 | 客户端到存储端网络或挂载层问题 | 两端网络、存储协议和服务端队列 |
| 磁盘指标正常,数据库锁等待升高 | 存储不是主要瓶颈 | 锁竞争、事务持续时间、SQL计划 |
iowait高并不等于本地磁盘损坏。它表示CPU有时间在等待I/O完成,I/O可能来自本地盘、远程块设备、网络文件系统或其他内核路径。
区分本地盘和远程存储
如果应用服务器与存储服务器分离,需要在两端同时观察:

- 应用端:挂载路径访问延迟、网络RTT、TCP重传、I/O等待;
- 存储端:服务端网卡吞吐、磁盘
await、设备队列、服务进程线程池; - 应用日志:文件读取、写入、刷新和提交事务分别耗时;
- 存储服务日志:请求排队、超时、连接断开和后端设备错误。
例如,应用端的I/O请求延迟从10毫秒升到150毫秒,但存储端磁盘await仍为5毫秒,同时应用端到存储端的TCP重传从0.1%升到3%,则应优先考虑存储网络或传输层,而不是更换磁盘。
反过来,如果两端网络稳定,存储端磁盘队列和await与应用端请求延迟同时升高,且正好有备份、快照、批量导入或日志归档任务启动,存储后端才更像主要瓶颈。
围绕存储业务部署,A5idc数据提供新加坡等地区的物理服务器方案,也有面向大容量文件、备份与归档场景的存储配置:香港存储系列配备企业级机械硬盘,日本部分方案提供大容量HDD或多块SSD。不同地区的硬件与网络配置各有侧重,可为应用、数据库与存储服务的分布式部署提供资源选择。
继续向数据库和事务等待追踪
很多“磁盘慢”的现象实际发生在数据库层。数据库可能因为锁等待、连接池耗尽、检查点、日志刷盘或缓存命中率变化,使应用看起来像是在等待存储。
应将数据库耗时拆成至少几类:
- SQL执行时间;
- 锁等待时间;
- 获取数据库连接的时间;
- 日志写入或事务提交时间;
- 数据文件读写等待;
- 结果集返回和序列化时间。
判断时可参考以下组合:
| 应用侧表现 | 数据库侧表现 | 可能判断 |
|---|---|---|
| 获取连接时间升高,SQL执行时间稳定 | 活跃连接接近连接池上限 | 连接池或数据库并发配置 |
| SQL执行时间升高,锁等待同步升高 | 被阻塞事务增加 | 锁竞争或事务持续时间 |
提交时间升高,日志写入和磁盘await升高 | 日志刷盘受存储影响 | 数据库日志盘或后端存储 |
| 查询时间升高,缓存命中率下降,读I/O增加 | 工作集扩大或缓存失效 | 内存、索引和查询访问模式 |
| 数据库指标稳定,应用总耗时升高 | 应用线程、序列化或网络返回阶段 | 数据库不是首要瓶颈 |
数据库排查应优先使用现有监控、慢查询日志和只读诊断视图,不要在生产环境直接执行清理缓存、重建索引、终止事务或修改参数。任何会改变数据、锁状态或缓存状态的操作,都应先确认备份、影响范围、维护窗口和回滚方式。
用同一时间线形成判断
可以把一次异常按分钟对齐。下面是一组用于说明方法的模拟数据,并非实际监控结果:

| 时间 | 请求P95 | CPU user | iowait | 磁盘await | aqu-sz | TCP重传 | DB锁等待 |
|---|---|---|---|---|---|---|---|
| 14:00 | 310 ms | 42% | 3% | 7 ms | 0.3 | 0.2% | 12 ms |
| 14:05 | 460 ms | 48% | 8% | 21 ms | 1.2 | 0.2% | 18 ms |
| 14:10 | 980 ms | 51% | 24% | 76 ms | 8.7 | 0.3% | 96 ms |
| 14:15 | 1,360 ms | 54% | 31% | 112 ms | 14.1 | 0.3% | 170 ms |
| 14:20 | 390 ms | 44% | 4% | 9 ms | 0.5 | 0.2% | 15 ms |
可按以下顺序分析:

- 建立窗口:14:05至14:15是异常阶段,14:00和14:20可作为前后基线。
- 看指标A:请求P95从310毫秒升到1,360毫秒。
- 找联动指标:iowait、磁盘
await、I/O队列和数据库锁等待同步升高。 - 排除替代解释:CPU没有接近饱和,TCP重传保持稳定,因此网络丢包和CPU耗尽暂时不是首要解释。
- 形成判断:存储等待或由存储放大出的数据库事务等待,是当前更有依据的候选。
- 复测:异常任务结束后,各项指标同时恢复,说明时间关联得到加强;如果只有请求延迟恢复而磁盘队列仍高,还需继续查找其他并发任务。
但如果数据变成“请求P95升高、磁盘await稳定、TCP重传和RTT同步升高”,判断就应转向网络。若“请求P95升高、网络稳定、磁盘稳定、数据库锁等待升高”,则应优先分析锁竞争和事务边界。
复测时控制变量,避免把修复和偶然恢复混在一起
完成初步判断后,不要立刻同时重启应用、切换存储、清理日志和修改连接池。一次改动多个变量,可能让服务暂时恢复,却无法确定根因,也增加回滚难度。
建议采用低风险复测方式:
- 使用固定接口、固定请求参数和有限并发;
- 在业务低峰进行,不对生产盘执行高强度基准测试;
- 每次测试都记录请求P50/P95/P99、错误率和吞吐;
- 同时记录应用队列、数据库等待、磁盘
await、I/O队列、网络RTT和重传; - 对远程存储分别记录应用端与存储端指标;
- 至少保留一段异常前基线和一段恢复后数据。
不同结果的含义也要记录清楚:
- 降低批量备份或归档并发后,磁盘队列、数据库提交等待和请求P99同时下降:存储竞争的证据增强;
- 切换到备用网络路径后,RTT、重传和请求延迟同时下降,但磁盘指标不变:网络因素更明确;
- 增加应用实例后,CPU与磁盘不变,队列仍增长:瓶颈可能在数据库连接、锁或共享存储;
- 请求延迟偶尔恢复,但指标没有同步变化:可能是采样粒度过粗、请求分类混杂,或故障并非同一来源。
下一次应同时观察的指标组合
为了避免再次陷入“只看一个图表”的判断,建议按故障类型准备固定的联动视图:
| 排查对象 | 必须同时观察的指标 |
|---|---|
| 访问链路 | 客户端到新加坡的RTT、TCP重传、连接时间、响应总时长 |
| Nginx入口 | 活跃连接、连接错误、request_time、上游连接时间、502/504/499 |
| 应用层 | P50/P95/P99、线程池、任务队列、CPU user/system、GC或运行队列 |
| 本地存储 | await、aqu-sz、读写吞吐、读写次数、%util、iowait |
| 远程存储 | 应用端I/O等待、两端网络、存储端磁盘队列、服务端请求延迟 |
| 数据库 | 连接池、SQL耗时、锁等待、事务提交、日志刷盘、缓存命中情况 |
| 结果验证 | 错误率、吞吐、请求分位延迟,以及变更前后的同一时间窗口 |
真正可靠的判断通常不是“磁盘利用率超过某个百分比”,而是多个指标在同一时间发生有方向的变化,并且能够排除网络、CPU、内存、连接池和锁等待等替代解释。对新加坡存储服务器而言,尤其要把“访问端到机房的网络延迟”和“应用端到存储端的内部链路”分开记录,再将它们与Nginx上游时间、数据库等待和磁盘队列对齐,才能知道慢在哪里、为什么慢,以及复测后是否真的恢复。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7161.html



