香港存储服务器响应慢,如何区分磁盘I/O、网络与应用瓶颈?

发布人:A5数据发布时间:2026-10-15 14:36阅读量:133

香港存储服务器响应慢,不能仅凭页面加载时间或 iowait 偏高,就直接判断为硬盘故障。更可靠的做法是把一次请求拆成 DNS、TCP 连接、TLS、服务器排队、应用处理、数据库等待和数据传输等阶段,再将这些阶段与网络丢包、磁盘延迟、队列长度、应用线程池和数据库锁等待进行时间对齐。

通常可以这样初步区分:所有接口和静态文件都变慢,同时连接耗时、重传或丢包升高,优先检查网络链路;静态文件正常,动态请求的首字节时间明显增加,则重点看 Web 入口、应用和数据库;只有读取大文件或特定目录时变慢,并且磁盘 await、队列长度与业务延迟同步升高,才更接近磁盘 I/O 瓶颈。实际故障可能由多个因素叠加,以下排查顺序用于逐层缩小范围,而不是用单一指标下结论。

一、先确认“慢”影响了什么

排障的第一步不是重启服务,而是明确慢的范围、开始时间和请求类型。相同的“响应慢”,可能分别代表连接建立慢、服务器处理慢、响应体传输慢,或客户端在等待浏览器渲染。

1. 区分访问范围

先按以下维度记录现象:

  • 是所有用户都慢,还是某个地区、运营商或办公出口访问慢;
  • 是整个网站慢,还是某个域名、端口、API 或下载地址慢;
  • 是静态文件慢,还是只有需要查询数据库的动态页面慢;
  • 是小文件慢,还是大文件、目录遍历、备份文件读取慢;
  • 是持续变慢,还是在整点任务、备份、报表生成时周期性变慢;
  • 是响应时间增加,还是出现超时、连接重置、5xx 状态码;
  • 是单台服务器慢,还是同一集群中的多台服务器同时慢。

如果只有一个接口变慢,直接查看整台服务器的磁盘利用率,容易把无关指标当成根因。反过来,如果所有服务同时出现超时,即使某个应用日志中出现了慢查询,也不能忽略网络、宿主机资源或存储后端的共同影响。

2. 将一次 HTTP 请求拆成时间阶段

可以使用 curl 查看请求各阶段耗时。以下命令只发起一个普通请求,不会修改服务端数据:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s starttransfer=%{time_starttransfer}s total=%{time_total}s code=%{http_code} size=%{size_download} speed=%{speed_download}B/s\n' \
  https://example.com/health

输出字段可以这样理解:

一条从请求开始到响应接收完成的时间轴,上方标出curl累计时间点,下方用分段色带标出各阶段耗时;首字节前等待段显著长于连接阶段,提示继续查入口、应用和依赖

指标主要反映异常时优先检查
dns域名解析耗时DNS 服务、解析链路、客户端缓存
connectTCP 连接建立耗时路由、丢包、防火墙、连接数
tlsTLS 握手完成耗时网络往返、证书链、加密计算
starttransfer收到首字节的时间Web 排队、应用、数据库、磁盘读取
total完整响应耗时首字节延迟与响应体传输速度
speed_download平均接收速度网络带宽、拥塞、限速、发送端读盘

例如,connect 和 tls 基本正常,而 starttransfer 从几十毫秒增加到数秒,说明请求已经到达服务器,但服务器在产生响应之前等待了某个环节。此时不应先把问题归类为网络带宽不足。

如果 starttransfer 正常、total 很高,同时响应体较大,则要检查发送链路、出口带宽、限速策略以及存储读取速度。以十进制口径估算,1 GB 文件通过 100 Mbps 链路传输,理论时间为:

  1. 100 Mbps ÷ 8 = 12.5 MB/s;
  2. 1 GB 按 1000 MB 计算;
  3. 1000 MB ÷ 12.5 MB/s = 80 秒。

实际还会受到 TCP 拥塞、协议开销、磁盘读取和并发共享带宽的影响,因此不能将理论值当作实际承诺。

3. 固定观察窗口

需要记录一个明确的故障窗口,例如“14:00 至 14:20”。在同一时间段保存:

  • 客户端或探针的 curl 分阶段结果;
  • Web 访问日志和错误日志;
  • vmstat、iostat、网络统计;
  • 应用请求日志、线程池和连接池指标;
  • 数据库活动会话、锁等待和慢查询信息。

所有机器的时间应尽量通过时间同步服务保持一致,否则日志中的先后关系可能被误判。示例日志和指标只能用于说明判断方式,不能替代实际环境采样。

二、建立响应缓慢的原因树

可以先把问题拆成五个层次,再按照由外到内、由低风险到高影响的顺序排查:

响应缓慢
├─ 客户端到香港机房的链路
│  ├─ DNS、TCP、TLS建立慢
│  ├─ RTT升高、丢包、重传
│  └─ 出口带宽拥塞或连接数异常
├─ Web入口与反向代理
│  ├─ worker忙、连接排队
│  ├─ 上游连接池耗尽
│  └─ 超时、限速、请求体或响应体处理异常
├─ 应用服务
│  ├─ CPU、内存、线程池或协程资源不足
│  ├─ GC、锁等待、下游调用慢
│  └─ 同步读取文件或批量任务阻塞请求
├─ 数据库与缓存
│  ├─ 慢查询、锁等待、连接池耗尽
│  ├─ 缓存未命中或缓存击穿
│  └─ 数据库所在存储延迟升高
└─ 操作系统与存储
   ├─ 磁盘读写延迟、队列堆积
   ├─ 内存回收、交换分区活动
   ├─ RAID重建、快照、备份任务
   └─ 远程挂载存储或存储网络异常

这棵原因树的关键是“逐层排除”。例如,应用响应慢不一定是应用代码本身有问题,可能是应用线程都在等待数据库;数据库查询慢也不一定是 SQL 写得差,可能是数据库所在磁盘正在进行大量随机写入。

三、先排除网络与入口层问题

1. 判断是否为链路问题

从与业务接近的访问位置执行多次测试,比只在服务器本机访问更有价值。可以使用 ping 观察基本往返时间,使用 mtr 观察路径上的丢包和延迟变化:

ping -c 20 example.com
mtr -rwzc 50 example.com

ping 可能被防火墙或运营商策略限制,不能因为 ICMP 不通就断定业务不可达。mtr 中某个中间节点显示丢包,也不一定代表最终链路丢包;如果只有中间节点丢包而后续节点恢复正常,可能只是该节点限制 ICMP 响应。真正需要关注的是最终目标地址的丢包、延迟抖动,以及是否与业务慢的时间段重合。

网络瓶颈通常有以下特征:

  • 多个无关域名、端口或服务同时变慢;
  • curl 的 TCP 连接或 TLS 阶段明显增加;
  • 同一服务器从不同访问位置测试,结果差异很大;
  • TCP 重传、连接重置或丢包在故障窗口同步上升;
  • 服务器出口流量接近带宽上限;
  • 静态文件和动态接口都受到影响。

香港服务器面向不同地区访问时,路径可能经过不同运营商和国际链路。不能用“服务器在香港”直接解释慢,也不能仅凭一次高延迟测试判断机房或磁盘有问题。应至少对比本地、业务主要访问地区和服务器本机三个位置。

2. 查看服务器网络状态

在 Linux 服务器上,可以先使用低风险的只读命令:

ss -s
ip -s link
sar -n DEV 1 5

重点观察:

  • TCP 当前连接数、TIME-WAIT 和 SYN-RECV 是否异常;
  • 网卡是否出现 drop、errors、overruns;
  • 接收和发送速率是否长期接近端口上限;
  • 故障发生时是否伴随连接数突增;
  • 某个网卡是否承担了不符合预期的流量。

如果 ss -s 显示连接数明显增加,但应用请求量没有相应增长,可能存在连接未及时释放、健康检查过多、客户端重试或攻击流量。此时不要直接扩大连接上限,应先确认连接来源、状态分布和应用处理能力。

可以查看 TCP 统计信息:

nstat -az | egrep 'TcpRetransSegs|TcpExtTCPTimeouts|TcpExtTCPSynRetrans'

不同发行版和内核版本的计数器名称可能存在差异,命令无输出时先运行 nstat -az 查看实际字段。重传计数上升说明传输过程存在问题,但还需要结合网卡错误、路径测试和应用超时判断来源。

3. 看 Web 入口是否在等待上游

如果使用 Nginx 或其他 Web 入口,最有价值的字段通常是:

  • 请求总耗时;
  • 上游响应耗时;
  • 上游连接建立耗时;
  • 请求状态码;
  • 响应体大小;
  • 客户端地址或请求来源。

如果现有访问日志已经记录了这些字段,应优先直接查询故障时间段。例如,下面是一条用于说明格式的示例日志,并非某个实际环境的记录:

2025-03-08T14:06:12+08:00 method=GET uri=/api/report status=200 request_time=2.481 upstream_response_time=2.470 bytes=18432

这条记录表示 Web 入口本身只增加了很少处理时间,主要等待上游应用。如果是:

2025-03-08T14:06:12+08:00 method=GET uri=/download/a.zip status=200 request_time=18.200 upstream_response_time=- bytes=104857600

则可能是静态文件传输、磁盘读取或出口带宽问题,不能使用上游应用耗时来解释。

若现有日志没有时间字段,可以在确认配置文件位置和当前日志格式后,规划性地加入类似配置:

log_format main_timing '$remote_addr [$time_iso8601] '
                       '"$request" $status $body_bytes_sent '
                       'rt=$request_time '
                       'uct=$upstream_connect_time '
                       'uht=$upstream_header_time '
                       'urt=$upstream_response_time';

access_log /var/log/nginx/access.log main_timing;

修改配置前应备份当前配置,确认日志目录和权限,并先执行语法检查:

nginx -t

只有检查通过后,才在可控时间执行平滑重载。若重载后出现配置错误,应立即恢复备份配置并再次执行 nginx -t,不要在故障中直接覆盖原配置。生产环境已经具备访问日志时,不建议为了采样而频繁改动 Web 配置。

四、判断是否为磁盘 I/O 或存储路径瓶颈

1. 先看系统是否真的在等待 I/O

iowait 高表示 CPU 有任务在等待 I/O 完成,但它不是“磁盘故障”的同义词。内存不足导致交换、远程文件系统卡顿、块设备队列拥堵,都可能带来较高的 I/O 等待。

先采样系统总体状态:

vmstat 1 5
free -h

vmstat 中可以重点关注:

  • r:等待运行的任务数量;
  • si、so:交换分区换入换出;
  • wa:I/O 等待占比;
  • st:虚拟化环境中被宿主机“偷走”的 CPU 时间;
  • us、sy:用户态和内核态 CPU 使用情况。

如果 wa 高,同时 si/so 也持续有数据,优先排查内存压力和交换活动;如果 wa 高但本地块设备没有明显延迟,可能是远程挂载、网络存储或其他不可直接反映在本地磁盘统计中的等待。

2. 使用设备级指标观察延迟和队列

安装了 sysstat 的 Linux 系统,可以使用:

iostat -xz 1 5

常见字段的含义如下:

字段含义判断重点
r/s、w/s每秒读写请求数读写类型和请求量
rkB/s、wkB/s每秒读写数据量吞吐是否接近设备能力
await读写请求平均等待时间设备或路径响应延迟
aqu-sz平均队列长度请求是否在设备前堆积
%util设备忙碌时间比例是否持续处于繁忙状态
rareq-sz、wareq-sz平均请求大小顺序或随机访问的线索

比较有代表性的磁盘瓶颈组合是:业务响应变慢的同时,await 持续升高,aqu-sz 增大,读写请求量或吞吐量明显上升,并且对应进程正在执行文件读写。

但 %util 不能单独作为结论。某些高性能 SSD 在并发较高时可能接近 100% 忙碌,但延迟仍在业务可接受范围;相反,设备利用率不高时,如果单个请求延迟已经很高,应用仍然会变慢。因此,应把 await、队列、业务读写类型和应用响应时间放在一起看。

3. 找到具体产生 I/O 的进程

可以用 pidstat 观察进程级读写:

pidstat -d -p ALL 1 5

需要关注:

  • 哪个进程的 kB_rd/s、kB_wr/s 持续升高;
  • I/O 是否来自数据库、Web 服务、备份程序或压缩程序;
  • 业务慢时是否同时运行快照、同步、日志压缩或扫描任务;
  • 读写量变化是否与慢接口或大文件请求相符。

也可以查看文件系统容量和挂载关系:

df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
findmnt -t ext4,xfs,nfs,cifs

磁盘空间不足、inode 用尽、日志分区满、挂载点异常,都会表现为写入阻塞或应用报错。若业务使用的是 NFS、CIFS 或其他远程挂载,应用感知到的“磁盘慢”实际上可能是存储网络或远端存储服务慢。此时应同时查看挂载类型、网络流量、远端存储指标和客户端等待情况。

4. 排除内存、快照和后台任务干扰

存储服务器常见的干扰源包括:

  • 内存不足触发频繁回收或交换;
  • RAID 重建或磁盘降级后的同步;
  • 定时备份、快照合并、压缩和校验;
  • 大量小文件扫描;
  • 日志集中写入;
  • 数据库检查点或批量导入;
  • 文件系统空间或 inode 接近耗尽。

可以使用只读方式查看内核和系统日志:

journalctl -k --since "30 min ago" --no-pager
dmesg -T | egrep -i 'error|fail|timeout|reset|I/O|nvme|scsi|raid'

日志中出现一次设备重置,不等于已经确认硬盘损坏;需要结合出现时间、设备名称、SMART 或 RAID 管理工具的状态进一步核对。不要在业务高峰随意执行磁盘性能测试。fio 等工具可能产生大量读写,若确需测试,应使用独立测试盘或预先规划的低风险窗口,并明确测试文件、IO 模式、并发数和清理方式,不能直接对生产数据盘执行破坏性参数。

五、从应用层确认是不是“等待”而不是“计算”

当网络连接正常、磁盘指标没有与业务延迟同步变化时,应转向应用层。应用瓶颈并不一定表现为 CPU 100%,常见情况包括:

  • 工作线程全部等待数据库连接;
  • 线程池或协程池达到上限;
  • 应用等待外部接口返回;
  • 全局锁、文件锁或缓存锁竞争;
  • GC 停顿或运行时内存回收;
  • 同步读取大文件;
  • 请求进入队列,但实际处理线程不足;
  • 单个慢请求占满连接池。

1. 对比 Web 总耗时和上游耗时

如果 request_time 与 upstream_response_time 都很高,说明主要等待应用。若 Web 总耗时明显高于上游耗时,则应看响应发送、客户端网络、限速和入口层处理。

可以按接口、状态码和时间段聚合日志,而不是只看平均值。平均值容易被大量正常请求掩盖,建议至少比较:

  • p50:典型请求;
  • p95:多数慢请求;
  • p99:极端慢请求;
  • 超时比例和 5xx 比例;
  • 各接口的请求量和响应体大小。

例如,p50 仍为 100 ms、p99 升至 8 秒,通常说明少量请求受到锁、I/O、下游服务或特定数据影响;如果 p50、p95、p99 同时上升,更像是公共依赖或整体资源不足。

2. 观察 CPU、线程和连接池

可以使用以下命令查看进程和线程状态:

top -H -p <应用进程PID>
pidstat -u -w -p <应用进程PID> 1 5

将 <应用进程PID> 替换为实际进程号,不要盲目复制。查看进程号可以使用:

pgrep -af 'java|node|python|php-fpm'

不同运行时的判断方式不同:

  • CPU 持续接近上限,且热点线程集中在序列化、压缩、加密或业务计算,偏向 CPU 瓶颈;
  • CPU 不高但线程大量处于等待状态,优先看数据库、锁、文件或下游网络;
  • 上下文切换显著增加,可能是线程数过多、锁竞争或频繁唤醒;
  • 应用连接池使用率接近 100%,但数据库本身空闲,可能是连接未释放或请求被某个下游阻塞;
  • GC 时间上升并伴随堆使用率接近上限,需要查看运行时日志和内存配置;
  • 只有处理文件的接口慢,而普通 API 正常,应把文件读取路径与磁盘、远程挂载联系起来。

应用日志应尽量包含请求 ID、接口、开始时间、结束时间、下游调用耗时和异常类型。没有调用链时,可以先对慢请求做局部计时,不必立即引入大范围代码改造。

六、确认数据库是否是应用慢的根因

数据库问题经常被误认为“应用服务器磁盘慢”。应用只记录了“查询耗时 5 秒”,但真正原因可能是锁等待、连接池排队、执行计划变化、缓存未命中或数据库所在设备延迟上升。

1. 区分查询执行慢和连接等待

应用侧应分别记录:

  • 从连接池取得连接所需时间;
  • SQL 实际执行时间;
  • 结果集读取和序列化时间;
  • 等待事务锁的时间;
  • 连接池当前使用数、空闲数和等待数。

如果取得连接就要等待数秒,但数据库执行的 SQL 很快,问题更接近连接池配置、连接泄漏或数据库最大连接数限制。若连接很快取得,但 SQL 执行时间增长,则进一步查看执行计划、锁和数据库存储。

2. 使用只读方式查看数据库活动

MySQL 或兼容数据库可以在具备权限的情况下查看:

SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Threads_running';
SHOW FULL PROCESSLIST;

PostgreSQL 可以查询当前活动会话:

SELECT pid,
       usename,
       state,
       wait_event_type,
       wait_event,
       query_start,
       now() - query_start AS elapsed,
       left(query, 160) AS query_sample
FROM pg_stat_activity
WHERE state <> 'idle'
ORDER BY query_start;

这些查询本身用于观察状态,不应在未确认权限和版本的情况下执行修改操作。SHOW FULL PROCESSLIST 或活动会话查询可能包含业务 SQL 和敏感参数,应限制访问权限并注意日志脱敏。

判断时重点看:

  • 是否存在大量相同 SQL 长时间运行;
  • wait_event 是否集中在锁、磁盘或客户端读取;
  • 活动连接数是否接近上限;
  • 慢查询是否与业务接口慢的时间点一致;
  • 数据库的读写 I/O 是否同步出现 await 和队列升高;
  • 是否有批量导入、索引维护或备份任务。

不要因为看到一条长时间运行的 SQL 就直接终止会话。终止查询可能触发回滚,反而产生更多磁盘写入和锁等待。任何终止、修改参数或重建索引操作,都应先确认事务影响、备份情况、执行窗口和回滚方式。

3. 数据库存储与应用存储要分开看

一台香港存储服务器可能同时承载应用文件、数据库数据目录、日志和备份目录。此时要区分:

  • 应用读取文件慢;
  • 数据库随机读写慢;
  • 数据库日志写入慢;
  • 备份任务占用吞吐;
  • 远程客户端从存储服务器下载慢。

如果 iostat 显示数据库所在设备的随机写延迟升高,同时数据库出现提交等待,应用接口的响应时间也同步增加,则数据库存储路径很可能是共同根因。反之,如果只有下载接口响应体传输慢,数据库指标正常,就不应优先调整数据库参数。

围绕香港业务中的文件存储、数据库与应用运行需求,A5数据提供不同侧重的物理服务器资源:香港存储系列以多块企业级机械硬盘搭配存储控制器,承载大容量文件、备份与归档;Xeon Gold及AMD EPYC系列提供大内存与SSD或NVMe配置,为数据库缓存、接口服务和多任务运行提供硬件基础。香港产品另有CN2与国际带宽方案,可结合业务访问地区,形成计算、存储与网络资源分层配置的部署基础。

七、用证据组合而不是单一指标定位

下面的对照表可用于第一次分流。表中的“典型现象”是判断线索,不是固定阈值。

观察组合更可能的方向还需要核对不应直接得出的结论
connect、TLS耗时升高,多个服务同时慢网络路径或入口连接问题丢包、重传、连接数、网卡错误不能直接认定香港机房网络故障
TCP正常,starttransfer升高,Web上游耗时同步升高应用、数据库或应用依赖线程池、连接池、慢查询、锁等待不能只归因于应用代码
静态文件正常,动态接口慢应用或数据库SQL、缓存、下游调用、应用队列不能据此排除所有存储问题
大文件传输慢,首字节正常,总耗时升高出口带宽、发送端读盘或限速文件大小、发送速率、磁盘读吞吐不能用页面首屏时间解释
await、aqu-sz与接口延迟同时升高本地磁盘或存储路径产生 I/O 的进程、挂载类型、后台任务%util高不等于磁盘已损坏
wa高且si/so持续有值内存压力或交换内存使用、进程增长、交换设备不能只更换磁盘
应用CPU不高但线程池满下游等待、锁或连接池问题线程状态、数据库活动、调用耗时低CPU不代表应用正常
数据库会话等待锁,I/O不高事务锁或业务并发问题阻塞链、事务持续时间不能通过扩容磁盘解决
只有远端挂载目录慢,本地目录正常远程存储或存储网络findmnt、网络指标、远端监控不能直接判定本地盘故障

最有价值的证据不是“某项指标超过某个数字”,而是多个指标在同一时间窗口内共同变化。例如:

七、用证据组合而不是单一指标定位配图

  • 14:05 开始,所有地区 connect 从 20 ms 上升到 400 ms,重传计数增加,静态和动态请求均受影响:优先排查网络;
  • 14:05 开始,connect 保持正常,API 的 upstream_response_time 从 80 ms 上升到 3 秒,数据库活动会话出现锁等待:优先处理事务和锁;
  • 14:05 开始,下载接口的首字节仍为 100 ms,但磁盘读 await 从 5 ms 上升到 180 ms,文件传输速度下降:优先检查存储读路径或并发任务。

八、推荐的实际排查顺序

第一步:保存现象,不立即重启

先保存请求示例、时间范围、状态码、日志和当前资源指标。重启可能暂时释放连接、清空线程状态或刷新缓存,却会丢失最有价值的现场证据,也无法解释问题为何发生。

第二步:从多个位置测试请求阶段

选择业务主要访问地区、可控的运维网络和服务器本机进行对比。每个位置对同一健康检查接口和一个真实但低风险的业务接口测试,记录 dns、connect、tls、starttransfer 和 total。

如果只有某一访问位置异常,方向偏向该位置到香港服务器之间的链路;如果本机访问也慢,则继续向 Web、应用、数据库和存储层排查。

第三步:比较静态和动态请求

准备一个小型静态文件、一个健康检查接口和一个需要数据库的动态接口:

  • 静态、健康检查、动态接口都慢:检查入口、主机和网络;
  • 静态正常,健康检查正常,动态接口慢:检查应用和数据库;
  • 小文件正常,大文件慢:检查传输、出口带宽和文件读取;
  • 只有特定目录慢:检查目录所在挂载、权限、文件数量和存储设备。

健康检查接口应尽量避免访问数据库和远程依赖,否则无法作为纯粹的入口层对照。

第四步:同步采集主机指标

在不改变配置的前提下,采样 vmstat、iostat、pidstat、ss 和网卡统计。重点不是收集越多越好,而是回答三个问题:

  1. 请求变慢时,是否存在网络重传或连接堆积;
  2. 是否有具体设备出现延迟和队列增加;
  3. 哪个进程在消耗 CPU、内存或 I/O。

第五步:向应用和数据库内部下钻

确认 Web 日志中的上游耗时后,再查看应用线程、下游调用、连接池和数据库活动。这样可以避免先修改数据库参数、扩容磁盘或重启应用。

第六步:一次只改变一个变量

如果已经确认备份任务造成 I/O 堵塞,可以在明确影响范围、保留任务状态和确认恢复方式后暂缓或限速;如果确认某个应用批处理占满线程池,应按应用提供的安全方式暂停。不要同时重启 Web、应用和数据库,否则即便恢复,也无法知道哪个动作真正有效。

九、验证恢复,而不是只看页面重新打开

处理措施执行后,应使用同一组请求和同一观察窗口验证。至少保留 15 至 30 分钟,或覆盖一次原先的业务高峰,观察:

  • connect、starttransfer、total 是否恢复;
  • p95、p99 是否下降,而不是只看平均值;
  • 5xx、超时、连接重置是否停止;
  • 磁盘 await 和 aqu-sz 是否回到基线;
  • TCP 重传和网卡丢包是否停止增长;
  • 应用线程池、连接池是否仍然接近上限;
  • 数据库锁等待和长事务是否消失;
  • 恢复后是否只是缓存生效,缓存失效时是否再次变慢。

例如,停止备份后磁盘延迟下降、下载接口恢复,但数据库接口仍然慢,说明只解决了存储读写竞争,数据库或应用仍有独立问题。相反,如果所有指标都同时恢复,应继续核对是否存在定时任务重新启动、带宽再次达到上限或磁盘队列周期性堆积。

建立复发监控与告警闭环

为了避免下次只能依靠人工登录服务器,建议把监控分为请求、网络、应用、数据库和存储五组。

请求与网络层

记录并告警:

  • HTTP 请求量、状态码和超时比例;
  • p50、p95、p99 响应时间;
  • TCP 连接耗时和 TLS 握手耗时;
  • 服务器出口、入口带宽;
  • TCP 重传、连接重置和网卡错误;
  • 来自主要访问地区的多点探测结果。

网络告警不宜只设置一个固定延迟阈值。更适合同时关注基线偏离、丢包比例和多个探测点是否同时异常。

Web 与应用层

至少采集:

  • 请求总耗时和上游耗时;
  • 线程池、协程池和队列长度;
  • 数据库连接池使用率;
  • 外部依赖调用耗时;
  • GC 停顿、进程内存和重启次数;
  • 慢请求对应的接口、请求 ID 和状态码。

数据库层

关注:

  • 活跃连接数和运行中会话;
  • 连接池等待时间;
  • 慢查询数量和执行时间分布;
  • 锁等待、长事务和阻塞链;
  • 数据库读写延迟;
  • 缓存命中率和检查点、刷盘等待。

系统与存储层

建议保留:

  • 设备读写吞吐、IOPS、await、队列长度;
  • 文件系统容量和 inode 使用率;
  • 内存、交换活动和 CPU steal;
  • RAID、NVMe、SCSI 或存储后端错误;
  • 远程挂载可用性和存储网络延迟;
  • 备份、快照、同步任务的运行时间。

监控指标要带有统一时间戳,并尽量将请求 ID、主机名、挂载点、设备名和任务名称关联起来。这样下一次出现“香港存储服务器响应慢”时,可以先判断是访问路径变慢、Web 在排队、应用在等待数据库,还是存储设备确实出现了延迟和队列,而不是再次依赖猜测或单项指标归因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3910.html

相关推荐