香港存储服务器响应慢,如何区分磁盘I/O、网络与应用瓶颈?
香港存储服务器响应慢,不能仅凭页面加载时间或 iowait 偏高,就直接判断为硬盘故障。更可靠的做法是把一次请求拆成 DNS、TCP 连接、TLS、服务器排队、应用处理、数据库等待和数据传输等阶段,再将这些阶段与网络丢包、磁盘延迟、队列长度、应用线程池和数据库锁等待进行时间对齐。
通常可以这样初步区分:所有接口和静态文件都变慢,同时连接耗时、重传或丢包升高,优先检查网络链路;静态文件正常,动态请求的首字节时间明显增加,则重点看 Web 入口、应用和数据库;只有读取大文件或特定目录时变慢,并且磁盘 await、队列长度与业务延迟同步升高,才更接近磁盘 I/O 瓶颈。实际故障可能由多个因素叠加,以下排查顺序用于逐层缩小范围,而不是用单一指标下结论。
一、先确认“慢”影响了什么
排障的第一步不是重启服务,而是明确慢的范围、开始时间和请求类型。相同的“响应慢”,可能分别代表连接建立慢、服务器处理慢、响应体传输慢,或客户端在等待浏览器渲染。
1. 区分访问范围
先按以下维度记录现象:
- 是所有用户都慢,还是某个地区、运营商或办公出口访问慢;
- 是整个网站慢,还是某个域名、端口、API 或下载地址慢;
- 是静态文件慢,还是只有需要查询数据库的动态页面慢;
- 是小文件慢,还是大文件、目录遍历、备份文件读取慢;
- 是持续变慢,还是在整点任务、备份、报表生成时周期性变慢;
- 是响应时间增加,还是出现超时、连接重置、5xx 状态码;
- 是单台服务器慢,还是同一集群中的多台服务器同时慢。
如果只有一个接口变慢,直接查看整台服务器的磁盘利用率,容易把无关指标当成根因。反过来,如果所有服务同时出现超时,即使某个应用日志中出现了慢查询,也不能忽略网络、宿主机资源或存储后端的共同影响。
2. 将一次 HTTP 请求拆成时间阶段
可以使用 curl 查看请求各阶段耗时。以下命令只发起一个普通请求,不会修改服务端数据:
curl -sS -o /dev/null \
-w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s starttransfer=%{time_starttransfer}s total=%{time_total}s code=%{http_code} size=%{size_download} speed=%{speed_download}B/s\n' \
https://example.com/health
输出字段可以这样理解:

| 指标 | 主要反映 | 异常时优先检查 |
|---|---|---|
dns | 域名解析耗时 | DNS 服务、解析链路、客户端缓存 |
connect | TCP 连接建立耗时 | 路由、丢包、防火墙、连接数 |
tls | TLS 握手完成耗时 | 网络往返、证书链、加密计算 |
starttransfer | 收到首字节的时间 | Web 排队、应用、数据库、磁盘读取 |
total | 完整响应耗时 | 首字节延迟与响应体传输速度 |
speed_download | 平均接收速度 | 网络带宽、拥塞、限速、发送端读盘 |
例如,connect 和 tls 基本正常,而 starttransfer 从几十毫秒增加到数秒,说明请求已经到达服务器,但服务器在产生响应之前等待了某个环节。此时不应先把问题归类为网络带宽不足。
如果 starttransfer 正常、total 很高,同时响应体较大,则要检查发送链路、出口带宽、限速策略以及存储读取速度。以十进制口径估算,1 GB 文件通过 100 Mbps 链路传输,理论时间为:
- 100 Mbps ÷ 8 = 12.5 MB/s;
- 1 GB 按 1000 MB 计算;
- 1000 MB ÷ 12.5 MB/s = 80 秒。
实际还会受到 TCP 拥塞、协议开销、磁盘读取和并发共享带宽的影响,因此不能将理论值当作实际承诺。
3. 固定观察窗口
需要记录一个明确的故障窗口,例如“14:00 至 14:20”。在同一时间段保存:
- 客户端或探针的
curl分阶段结果; - Web 访问日志和错误日志;
vmstat、iostat、网络统计;- 应用请求日志、线程池和连接池指标;
- 数据库活动会话、锁等待和慢查询信息。
所有机器的时间应尽量通过时间同步服务保持一致,否则日志中的先后关系可能被误判。示例日志和指标只能用于说明判断方式,不能替代实际环境采样。
二、建立响应缓慢的原因树
可以先把问题拆成五个层次,再按照由外到内、由低风险到高影响的顺序排查:
响应缓慢
├─ 客户端到香港机房的链路
│ ├─ DNS、TCP、TLS建立慢
│ ├─ RTT升高、丢包、重传
│ └─ 出口带宽拥塞或连接数异常
├─ Web入口与反向代理
│ ├─ worker忙、连接排队
│ ├─ 上游连接池耗尽
│ └─ 超时、限速、请求体或响应体处理异常
├─ 应用服务
│ ├─ CPU、内存、线程池或协程资源不足
│ ├─ GC、锁等待、下游调用慢
│ └─ 同步读取文件或批量任务阻塞请求
├─ 数据库与缓存
│ ├─ 慢查询、锁等待、连接池耗尽
│ ├─ 缓存未命中或缓存击穿
│ └─ 数据库所在存储延迟升高
└─ 操作系统与存储
├─ 磁盘读写延迟、队列堆积
├─ 内存回收、交换分区活动
├─ RAID重建、快照、备份任务
└─ 远程挂载存储或存储网络异常
这棵原因树的关键是“逐层排除”。例如,应用响应慢不一定是应用代码本身有问题,可能是应用线程都在等待数据库;数据库查询慢也不一定是 SQL 写得差,可能是数据库所在磁盘正在进行大量随机写入。
三、先排除网络与入口层问题
1. 判断是否为链路问题
从与业务接近的访问位置执行多次测试,比只在服务器本机访问更有价值。可以使用 ping 观察基本往返时间,使用 mtr 观察路径上的丢包和延迟变化:
ping -c 20 example.com
mtr -rwzc 50 example.com
ping 可能被防火墙或运营商策略限制,不能因为 ICMP 不通就断定业务不可达。mtr 中某个中间节点显示丢包,也不一定代表最终链路丢包;如果只有中间节点丢包而后续节点恢复正常,可能只是该节点限制 ICMP 响应。真正需要关注的是最终目标地址的丢包、延迟抖动,以及是否与业务慢的时间段重合。
网络瓶颈通常有以下特征:
- 多个无关域名、端口或服务同时变慢;
curl的 TCP 连接或 TLS 阶段明显增加;- 同一服务器从不同访问位置测试,结果差异很大;
- TCP 重传、连接重置或丢包在故障窗口同步上升;
- 服务器出口流量接近带宽上限;
- 静态文件和动态接口都受到影响。
香港服务器面向不同地区访问时,路径可能经过不同运营商和国际链路。不能用“服务器在香港”直接解释慢,也不能仅凭一次高延迟测试判断机房或磁盘有问题。应至少对比本地、业务主要访问地区和服务器本机三个位置。
2. 查看服务器网络状态
在 Linux 服务器上,可以先使用低风险的只读命令:
ss -s
ip -s link
sar -n DEV 1 5
重点观察:
- TCP 当前连接数、
TIME-WAIT和SYN-RECV是否异常; - 网卡是否出现
drop、errors、overruns; - 接收和发送速率是否长期接近端口上限;
- 故障发生时是否伴随连接数突增;
- 某个网卡是否承担了不符合预期的流量。
如果 ss -s 显示连接数明显增加,但应用请求量没有相应增长,可能存在连接未及时释放、健康检查过多、客户端重试或攻击流量。此时不要直接扩大连接上限,应先确认连接来源、状态分布和应用处理能力。
可以查看 TCP 统计信息:
nstat -az | egrep 'TcpRetransSegs|TcpExtTCPTimeouts|TcpExtTCPSynRetrans'
不同发行版和内核版本的计数器名称可能存在差异,命令无输出时先运行 nstat -az 查看实际字段。重传计数上升说明传输过程存在问题,但还需要结合网卡错误、路径测试和应用超时判断来源。
3. 看 Web 入口是否在等待上游
如果使用 Nginx 或其他 Web 入口,最有价值的字段通常是:
- 请求总耗时;
- 上游响应耗时;
- 上游连接建立耗时;
- 请求状态码;
- 响应体大小;
- 客户端地址或请求来源。
如果现有访问日志已经记录了这些字段,应优先直接查询故障时间段。例如,下面是一条用于说明格式的示例日志,并非某个实际环境的记录:
2025-03-08T14:06:12+08:00 method=GET uri=/api/report status=200 request_time=2.481 upstream_response_time=2.470 bytes=18432
这条记录表示 Web 入口本身只增加了很少处理时间,主要等待上游应用。如果是:
2025-03-08T14:06:12+08:00 method=GET uri=/download/a.zip status=200 request_time=18.200 upstream_response_time=- bytes=104857600
则可能是静态文件传输、磁盘读取或出口带宽问题,不能使用上游应用耗时来解释。
若现有日志没有时间字段,可以在确认配置文件位置和当前日志格式后,规划性地加入类似配置:
log_format main_timing '$remote_addr [$time_iso8601] '
'"$request" $status $body_bytes_sent '
'rt=$request_time '
'uct=$upstream_connect_time '
'uht=$upstream_header_time '
'urt=$upstream_response_time';
access_log /var/log/nginx/access.log main_timing;
修改配置前应备份当前配置,确认日志目录和权限,并先执行语法检查:
nginx -t
只有检查通过后,才在可控时间执行平滑重载。若重载后出现配置错误,应立即恢复备份配置并再次执行 nginx -t,不要在故障中直接覆盖原配置。生产环境已经具备访问日志时,不建议为了采样而频繁改动 Web 配置。
四、判断是否为磁盘 I/O 或存储路径瓶颈
1. 先看系统是否真的在等待 I/O
iowait 高表示 CPU 有任务在等待 I/O 完成,但它不是“磁盘故障”的同义词。内存不足导致交换、远程文件系统卡顿、块设备队列拥堵,都可能带来较高的 I/O 等待。
先采样系统总体状态:
vmstat 1 5
free -h
vmstat 中可以重点关注:
r:等待运行的任务数量;si、so:交换分区换入换出;wa:I/O 等待占比;st:虚拟化环境中被宿主机“偷走”的 CPU 时间;us、sy:用户态和内核态 CPU 使用情况。
如果 wa 高,同时 si/so 也持续有数据,优先排查内存压力和交换活动;如果 wa 高但本地块设备没有明显延迟,可能是远程挂载、网络存储或其他不可直接反映在本地磁盘统计中的等待。
2. 使用设备级指标观察延迟和队列
安装了 sysstat 的 Linux 系统,可以使用:
iostat -xz 1 5
常见字段的含义如下:
| 字段 | 含义 | 判断重点 |
|---|---|---|
r/s、w/s | 每秒读写请求数 | 读写类型和请求量 |
rkB/s、wkB/s | 每秒读写数据量 | 吞吐是否接近设备能力 |
await | 读写请求平均等待时间 | 设备或路径响应延迟 |
aqu-sz | 平均队列长度 | 请求是否在设备前堆积 |
%util | 设备忙碌时间比例 | 是否持续处于繁忙状态 |
rareq-sz、wareq-sz | 平均请求大小 | 顺序或随机访问的线索 |
比较有代表性的磁盘瓶颈组合是:业务响应变慢的同时,await 持续升高,aqu-sz 增大,读写请求量或吞吐量明显上升,并且对应进程正在执行文件读写。
但 %util 不能单独作为结论。某些高性能 SSD 在并发较高时可能接近 100% 忙碌,但延迟仍在业务可接受范围;相反,设备利用率不高时,如果单个请求延迟已经很高,应用仍然会变慢。因此,应把 await、队列、业务读写类型和应用响应时间放在一起看。
3. 找到具体产生 I/O 的进程
可以用 pidstat 观察进程级读写:
pidstat -d -p ALL 1 5
需要关注:
- 哪个进程的
kB_rd/s、kB_wr/s持续升高; - I/O 是否来自数据库、Web 服务、备份程序或压缩程序;
- 业务慢时是否同时运行快照、同步、日志压缩或扫描任务;
- 读写量变化是否与慢接口或大文件请求相符。
也可以查看文件系统容量和挂载关系:
df -hT
df -ih
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
findmnt -t ext4,xfs,nfs,cifs
磁盘空间不足、inode 用尽、日志分区满、挂载点异常,都会表现为写入阻塞或应用报错。若业务使用的是 NFS、CIFS 或其他远程挂载,应用感知到的“磁盘慢”实际上可能是存储网络或远端存储服务慢。此时应同时查看挂载类型、网络流量、远端存储指标和客户端等待情况。
4. 排除内存、快照和后台任务干扰
存储服务器常见的干扰源包括:
- 内存不足触发频繁回收或交换;
- RAID 重建或磁盘降级后的同步;
- 定时备份、快照合并、压缩和校验;
- 大量小文件扫描;
- 日志集中写入;
- 数据库检查点或批量导入;
- 文件系统空间或 inode 接近耗尽。
可以使用只读方式查看内核和系统日志:
journalctl -k --since "30 min ago" --no-pager
dmesg -T | egrep -i 'error|fail|timeout|reset|I/O|nvme|scsi|raid'
日志中出现一次设备重置,不等于已经确认硬盘损坏;需要结合出现时间、设备名称、SMART 或 RAID 管理工具的状态进一步核对。不要在业务高峰随意执行磁盘性能测试。fio 等工具可能产生大量读写,若确需测试,应使用独立测试盘或预先规划的低风险窗口,并明确测试文件、IO 模式、并发数和清理方式,不能直接对生产数据盘执行破坏性参数。
五、从应用层确认是不是“等待”而不是“计算”
当网络连接正常、磁盘指标没有与业务延迟同步变化时,应转向应用层。应用瓶颈并不一定表现为 CPU 100%,常见情况包括:
- 工作线程全部等待数据库连接;
- 线程池或协程池达到上限;
- 应用等待外部接口返回;
- 全局锁、文件锁或缓存锁竞争;
- GC 停顿或运行时内存回收;
- 同步读取大文件;
- 请求进入队列,但实际处理线程不足;
- 单个慢请求占满连接池。
1. 对比 Web 总耗时和上游耗时
如果 request_time 与 upstream_response_time 都很高,说明主要等待应用。若 Web 总耗时明显高于上游耗时,则应看响应发送、客户端网络、限速和入口层处理。
可以按接口、状态码和时间段聚合日志,而不是只看平均值。平均值容易被大量正常请求掩盖,建议至少比较:
- p50:典型请求;
- p95:多数慢请求;
- p99:极端慢请求;
- 超时比例和 5xx 比例;
- 各接口的请求量和响应体大小。
例如,p50 仍为 100 ms、p99 升至 8 秒,通常说明少量请求受到锁、I/O、下游服务或特定数据影响;如果 p50、p95、p99 同时上升,更像是公共依赖或整体资源不足。
2. 观察 CPU、线程和连接池
可以使用以下命令查看进程和线程状态:
top -H -p <应用进程PID>
pidstat -u -w -p <应用进程PID> 1 5
将 <应用进程PID> 替换为实际进程号,不要盲目复制。查看进程号可以使用:
pgrep -af 'java|node|python|php-fpm'
不同运行时的判断方式不同:
- CPU 持续接近上限,且热点线程集中在序列化、压缩、加密或业务计算,偏向 CPU 瓶颈;
- CPU 不高但线程大量处于等待状态,优先看数据库、锁、文件或下游网络;
- 上下文切换显著增加,可能是线程数过多、锁竞争或频繁唤醒;
- 应用连接池使用率接近 100%,但数据库本身空闲,可能是连接未释放或请求被某个下游阻塞;
- GC 时间上升并伴随堆使用率接近上限,需要查看运行时日志和内存配置;
- 只有处理文件的接口慢,而普通 API 正常,应把文件读取路径与磁盘、远程挂载联系起来。
应用日志应尽量包含请求 ID、接口、开始时间、结束时间、下游调用耗时和异常类型。没有调用链时,可以先对慢请求做局部计时,不必立即引入大范围代码改造。
六、确认数据库是否是应用慢的根因
数据库问题经常被误认为“应用服务器磁盘慢”。应用只记录了“查询耗时 5 秒”,但真正原因可能是锁等待、连接池排队、执行计划变化、缓存未命中或数据库所在设备延迟上升。
1. 区分查询执行慢和连接等待
应用侧应分别记录:
- 从连接池取得连接所需时间;
- SQL 实际执行时间;
- 结果集读取和序列化时间;
- 等待事务锁的时间;
- 连接池当前使用数、空闲数和等待数。
如果取得连接就要等待数秒,但数据库执行的 SQL 很快,问题更接近连接池配置、连接泄漏或数据库最大连接数限制。若连接很快取得,但 SQL 执行时间增长,则进一步查看执行计划、锁和数据库存储。
2. 使用只读方式查看数据库活动
MySQL 或兼容数据库可以在具备权限的情况下查看:
SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Threads_running';
SHOW FULL PROCESSLIST;
PostgreSQL 可以查询当前活动会话:
SELECT pid,
usename,
state,
wait_event_type,
wait_event,
query_start,
now() - query_start AS elapsed,
left(query, 160) AS query_sample
FROM pg_stat_activity
WHERE state <> 'idle'
ORDER BY query_start;
这些查询本身用于观察状态,不应在未确认权限和版本的情况下执行修改操作。SHOW FULL PROCESSLIST 或活动会话查询可能包含业务 SQL 和敏感参数,应限制访问权限并注意日志脱敏。
判断时重点看:
- 是否存在大量相同 SQL 长时间运行;
wait_event是否集中在锁、磁盘或客户端读取;- 活动连接数是否接近上限;
- 慢查询是否与业务接口慢的时间点一致;
- 数据库的读写 I/O 是否同步出现
await和队列升高; - 是否有批量导入、索引维护或备份任务。
不要因为看到一条长时间运行的 SQL 就直接终止会话。终止查询可能触发回滚,反而产生更多磁盘写入和锁等待。任何终止、修改参数或重建索引操作,都应先确认事务影响、备份情况、执行窗口和回滚方式。
3. 数据库存储与应用存储要分开看
一台香港存储服务器可能同时承载应用文件、数据库数据目录、日志和备份目录。此时要区分:
- 应用读取文件慢;
- 数据库随机读写慢;
- 数据库日志写入慢;
- 备份任务占用吞吐;
- 远程客户端从存储服务器下载慢。
如果 iostat 显示数据库所在设备的随机写延迟升高,同时数据库出现提交等待,应用接口的响应时间也同步增加,则数据库存储路径很可能是共同根因。反之,如果只有下载接口响应体传输慢,数据库指标正常,就不应优先调整数据库参数。
围绕香港业务中的文件存储、数据库与应用运行需求,A5数据提供不同侧重的物理服务器资源:香港存储系列以多块企业级机械硬盘搭配存储控制器,承载大容量文件、备份与归档;Xeon Gold及AMD EPYC系列提供大内存与SSD或NVMe配置,为数据库缓存、接口服务和多任务运行提供硬件基础。香港产品另有CN2与国际带宽方案,可结合业务访问地区,形成计算、存储与网络资源分层配置的部署基础。
七、用证据组合而不是单一指标定位
下面的对照表可用于第一次分流。表中的“典型现象”是判断线索,不是固定阈值。
| 观察组合 | 更可能的方向 | 还需要核对 | 不应直接得出的结论 |
|---|---|---|---|
connect、TLS耗时升高,多个服务同时慢 | 网络路径或入口连接问题 | 丢包、重传、连接数、网卡错误 | 不能直接认定香港机房网络故障 |
TCP正常,starttransfer升高,Web上游耗时同步升高 | 应用、数据库或应用依赖 | 线程池、连接池、慢查询、锁等待 | 不能只归因于应用代码 |
| 静态文件正常,动态接口慢 | 应用或数据库 | SQL、缓存、下游调用、应用队列 | 不能据此排除所有存储问题 |
| 大文件传输慢,首字节正常,总耗时升高 | 出口带宽、发送端读盘或限速 | 文件大小、发送速率、磁盘读吞吐 | 不能用页面首屏时间解释 |
await、aqu-sz与接口延迟同时升高 | 本地磁盘或存储路径 | 产生 I/O 的进程、挂载类型、后台任务 | %util高不等于磁盘已损坏 |
wa高且si/so持续有值 | 内存压力或交换 | 内存使用、进程增长、交换设备 | 不能只更换磁盘 |
| 应用CPU不高但线程池满 | 下游等待、锁或连接池问题 | 线程状态、数据库活动、调用耗时 | 低CPU不代表应用正常 |
| 数据库会话等待锁,I/O不高 | 事务锁或业务并发问题 | 阻塞链、事务持续时间 | 不能通过扩容磁盘解决 |
| 只有远端挂载目录慢,本地目录正常 | 远程存储或存储网络 | findmnt、网络指标、远端监控 | 不能直接判定本地盘故障 |
最有价值的证据不是“某项指标超过某个数字”,而是多个指标在同一时间窗口内共同变化。例如:

- 14:05 开始,所有地区
connect从 20 ms 上升到 400 ms,重传计数增加,静态和动态请求均受影响:优先排查网络; - 14:05 开始,
connect保持正常,API 的upstream_response_time从 80 ms 上升到 3 秒,数据库活动会话出现锁等待:优先处理事务和锁; - 14:05 开始,下载接口的首字节仍为 100 ms,但磁盘读
await从 5 ms 上升到 180 ms,文件传输速度下降:优先检查存储读路径或并发任务。
八、推荐的实际排查顺序
第一步:保存现象,不立即重启
先保存请求示例、时间范围、状态码、日志和当前资源指标。重启可能暂时释放连接、清空线程状态或刷新缓存,却会丢失最有价值的现场证据,也无法解释问题为何发生。
第二步:从多个位置测试请求阶段
选择业务主要访问地区、可控的运维网络和服务器本机进行对比。每个位置对同一健康检查接口和一个真实但低风险的业务接口测试,记录 dns、connect、tls、starttransfer 和 total。
如果只有某一访问位置异常,方向偏向该位置到香港服务器之间的链路;如果本机访问也慢,则继续向 Web、应用、数据库和存储层排查。
第三步:比较静态和动态请求
准备一个小型静态文件、一个健康检查接口和一个需要数据库的动态接口:
- 静态、健康检查、动态接口都慢:检查入口、主机和网络;
- 静态正常,健康检查正常,动态接口慢:检查应用和数据库;
- 小文件正常,大文件慢:检查传输、出口带宽和文件读取;
- 只有特定目录慢:检查目录所在挂载、权限、文件数量和存储设备。
健康检查接口应尽量避免访问数据库和远程依赖,否则无法作为纯粹的入口层对照。
第四步:同步采集主机指标
在不改变配置的前提下,采样 vmstat、iostat、pidstat、ss 和网卡统计。重点不是收集越多越好,而是回答三个问题:
- 请求变慢时,是否存在网络重传或连接堆积;
- 是否有具体设备出现延迟和队列增加;
- 哪个进程在消耗 CPU、内存或 I/O。
第五步:向应用和数据库内部下钻
确认 Web 日志中的上游耗时后,再查看应用线程、下游调用、连接池和数据库活动。这样可以避免先修改数据库参数、扩容磁盘或重启应用。
第六步:一次只改变一个变量
如果已经确认备份任务造成 I/O 堵塞,可以在明确影响范围、保留任务状态和确认恢复方式后暂缓或限速;如果确认某个应用批处理占满线程池,应按应用提供的安全方式暂停。不要同时重启 Web、应用和数据库,否则即便恢复,也无法知道哪个动作真正有效。
九、验证恢复,而不是只看页面重新打开
处理措施执行后,应使用同一组请求和同一观察窗口验证。至少保留 15 至 30 分钟,或覆盖一次原先的业务高峰,观察:
connect、starttransfer、total是否恢复;- p95、p99 是否下降,而不是只看平均值;
- 5xx、超时、连接重置是否停止;
- 磁盘
await和aqu-sz是否回到基线; - TCP 重传和网卡丢包是否停止增长;
- 应用线程池、连接池是否仍然接近上限;
- 数据库锁等待和长事务是否消失;
- 恢复后是否只是缓存生效,缓存失效时是否再次变慢。
例如,停止备份后磁盘延迟下降、下载接口恢复,但数据库接口仍然慢,说明只解决了存储读写竞争,数据库或应用仍有独立问题。相反,如果所有指标都同时恢复,应继续核对是否存在定时任务重新启动、带宽再次达到上限或磁盘队列周期性堆积。
建立复发监控与告警闭环
为了避免下次只能依靠人工登录服务器,建议把监控分为请求、网络、应用、数据库和存储五组。
请求与网络层
记录并告警:
- HTTP 请求量、状态码和超时比例;
- p50、p95、p99 响应时间;
- TCP 连接耗时和 TLS 握手耗时;
- 服务器出口、入口带宽;
- TCP 重传、连接重置和网卡错误;
- 来自主要访问地区的多点探测结果。
网络告警不宜只设置一个固定延迟阈值。更适合同时关注基线偏离、丢包比例和多个探测点是否同时异常。
Web 与应用层
至少采集:
- 请求总耗时和上游耗时;
- 线程池、协程池和队列长度;
- 数据库连接池使用率;
- 外部依赖调用耗时;
- GC 停顿、进程内存和重启次数;
- 慢请求对应的接口、请求 ID 和状态码。
数据库层
关注:
- 活跃连接数和运行中会话;
- 连接池等待时间;
- 慢查询数量和执行时间分布;
- 锁等待、长事务和阻塞链;
- 数据库读写延迟;
- 缓存命中率和检查点、刷盘等待。
系统与存储层
建议保留:
- 设备读写吞吐、IOPS、
await、队列长度; - 文件系统容量和 inode 使用率;
- 内存、交换活动和 CPU
steal; - RAID、NVMe、SCSI 或存储后端错误;
- 远程挂载可用性和存储网络延迟;
- 备份、快照、同步任务的运行时间。
监控指标要带有统一时间戳,并尽量将请求 ID、主机名、挂载点、设备名和任务名称关联起来。这样下一次出现“香港存储服务器响应慢”时,可以先判断是访问路径变慢、Web 在排队、应用在等待数据库,还是存储设备确实出现了延迟和队列,而不是再次依赖猜测或单项指标归因。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3910.html


