台湾服务器运行Linux响应变慢,性能优化前如何找出瓶颈?

发布人:A5数据发布时间:2026-11-03 11:43阅读量:85

一台台湾服务器的 CPU 使用率突然升高,不一定是 CPU 不够;CPU 使用率不高,也不能说明服务器没有性能瓶颈。磁盘等待、数据库锁、网络重传,甚至某个工作进程只占满一个核心,都可能让网页或接口变慢。判断瓶颈的关键,是把响应时间、请求量、错误率和系统指标放到同一段时间里,看它们如何一起变化。

性能优化前,先回答三个问题:慢的是哪些请求,变慢时还有什么指标同步变化,以及是否存在另一种更合理的解释。由此才能区分应该处理 CPU、内存、磁盘、网络,还是应用与数据库;否则,扩容或修改参数可能只会暂时掩盖问题。

先固定观察窗口,避免拿不同时刻的数据作比较

应选择同一业务的正常窗口、变慢窗口和恢复窗口,例如各取连续 10 分钟,并尽量保持统计口径一致。每个窗口至少记录请求量、响应时间分位数、错误率和并发或排队情况。平均响应时间可能被大量快速请求稀释,排查用户感知的卡顿时,P95 或 P99 通常更有参考价值。

同一时间轴上,再对齐服务器的 CPU、内存、磁盘 I/O、网络指标,以及应用和数据库指标。注意记录是否恰逢定时任务、备份、发布、流量突增或上游服务异常。如果正常窗口每秒处理 30 个请求,变慢窗口每秒处理 300 个请求,两个窗口的资源占用不能直接解释为“机器性能退化”。

一个实用的记录框架是:

观察层级同时记录的指标要回答的问题
用户与请求请求量、P95/P99 响应时间、错误率、受影响接口是全部请求变慢,还是少数路径变慢?
应用活跃请求、工作进程或线程、连接池等待、内部队列请求进入应用后,卡在哪一段?
Linux 主机各核心 CPU、内存与交换、磁盘延迟与队列、网络收发与重传哪种资源在变慢时出现压力?
数据库与依赖查询耗时、锁等待、连接数、慢查询、上游调用耗时应用是在计算,还是在等待其他组件?

这里的“同时”很重要:监控采样间隔不同、服务器时钟不一致,都会让两个本不相邻的事件看起来有因果关系。先确认时间同步,并尽量使用同一分钟内的数据比较。

看 CPU:区分算力不足、单核热点和等待

CPU 瓶颈的典型联动是:请求量上升时,用户态或系统态 CPU 持续升高,运行队列增长,应用处理时间随之拉长;与此同时,磁盘等待、数据库锁等待和外部调用耗时没有同步增加。此时再看是哪一个进程、线程或核心繁忙。

总 CPU 使用率尤其容易误导。一台多核服务器上,单线程任务占满一个核心,整机 CPU 占比仍可能不高;但负责该请求的工作线程已经无法更快处理。虚拟化环境还应留意 steal:它表示虚拟 CPU 等待宿主机调度的时间,不能简单当作应用自身计算量。

可先用只读命令观察短时间变化:

uptime
vmstat 1 5

vmstat 中的 r 可辅助判断等待运行的任务是否积压,us、sy、id、wa、st 分别提供不同方向的线索。第一行通常包含启动以来的平均情况,重点看后续采样。若系统已安装 sysstat,还可以查看各核心和进程:

mpstat -P ALL 1 5
pidstat -u 1 5

不要只凭 r 超过 CPU 核数就立即扩容。还要排除线程锁竞争、容器 CPU 配额限制,以及应用等待数据库或外部接口后集中唤醒的情况。若 wa 明显增加,下一步应先查 I/O,而不是把“CPU 忙”直接判为算力不足。

看内存与磁盘:确认进程是否真的在等数据

Linux 会利用空闲内存做文件缓存,因此“已用内存很高”不等于内存不足。更有价值的联动是:MemAvailable 持续下降,交换分区读写出现,主要进程内存持续增长,并且响应时间、请求队列同步恶化。若出现进程被 OOM 机制终止,还可能表现为请求错误率突增,而不只是变慢。

free -h
vmstat 1 5

vmstat 的 si、so 可用于观察交换分区换入、换出。一次短暂波动不足以证明内存是瓶颈;应继续检查是业务进程增长、流量带来的正常并发增长,还是缓存可回收但尚未产生实际压力。如果服务器运行在容器中,还需核对容器内存限制,不能只看宿主机剩余内存。

磁盘瓶颈则要把延迟、队列和实际读写量一起看。若已安装 sysstat,可采样:

iostat -xz 1 5
lsblk -o NAME,TYPE,SIZE,MOUNTPOINT

先用挂载点和设备关系确认业务数据所在磁盘,再观察对应设备的读写吞吐、await 与队列变化。吞吐不高但 await 和排队时间升高,可能是大量小随机 I/O;吞吐很高但请求响应稳定,也未必构成业务瓶颈。%util 在 SSD、NVMe 或虚拟化存储上不能单独作为“磁盘已满载”的判据。

尤其要区分“磁盘慢导致数据库慢”和“数据库行为使磁盘忙”。例如慢查询突然进行大量扫描,磁盘延迟与数据库耗时可能同时上升。此时需要结合查询数量、扫描行数、锁等待和 I/O 队列,才能决定先优化查询还是检查存储能力。

看网络:把台湾机房链路与服务器内部处理分开

台湾服务器面对的访问者可能位于台湾本地,也可能位于香港、东南亚或其他地区。不同来源的网络路径不一样,不能用机房内一次测试代表所有用户。判断网络瓶颈,应先按访问地区、运营商或入口分组:如果只有部分来源的连接建立时间和传输时间增加,而服务器本机处理时间稳定,网络路径更值得调查;如果所有来源的首字节时间一起增加,则应优先检查应用及其依赖。

看网络:把台湾机房链路与服务器内部处理分开配图

网络观察不能只看网卡流量是否接近标称带宽。还要联动查看连接数、接口丢包、TCP 重传,以及入口设备、负载均衡或 CDN 的记录。基础信息可用:

ss -s
ip -s link

接口丢包计数需要结合采样前后增量判断,也不能仅凭服务器接口没有丢包,就排除服务器之外的链路问题。ICMP 延迟与实际 HTTP 请求所走的处理路径也可能不同。

对同一个可安全重复访问的只读 URL,可分别从用户所在地区和服务器侧测量。下面的命令展示了连接、TLS 握手、首字节及总耗时;使用时应把示例地址换成实际业务地址,并保持请求方法、协议和缓存条件一致:

curl -sS -o /dev/null \
  -w 'connect=%{time_connect}s tls=%{time_appconnect}s first_byte=%{time_starttransfer}s total=%{time_total}s status=%{http_code}\n' \
  'https://www.example.com/api/read-only'

这些时间点是从请求开始计算的累计时间,不能直接相加。服务器本地请求若与异地请求差异很大,只能说明值得进一步检查 DNS、入口、链路或边缘缓存;还须确认两次请求确实到达同一后端、命中条件一致,才能缩小判断范围。

面向台湾及周边地区的业务部署,A5idc数据提供台北以及香港、日本、韩国、新加坡等地的物理服务器,配置覆盖不同CPU、内存与存储需求,并有相应的优化或国际线路方案。网站、业务后台和数据库等Linux负载,可结合访问人群与资源特点部署在适合的地区;多地区资源也为区分网络路径与服务器处理环节提供了部署基础。

看应用与数据库:资源空闲也可能排长队

当 CPU、内存和磁盘都没有明显压力,请求仍然慢,应沿请求链路寻找等待点。常见情况包括工作线程被慢外部调用占住、连接池耗尽、内部锁竞争、任务队列积压,或数据库事务等待。此时“服务器资源还有余量”与“应用处理能力不足”并不矛盾。

队列指标可以帮助判断延迟从哪里开始扩大。稳定流量下,并发中的请求数大致等于每秒完成请求数乘以平均耗时(秒)。例如同为每秒 120 个请求,平均耗时从 0.12 秒升到 0.8 秒,对应的并发请求量约从 14 增至 96。这个计算只能说明请求占用时间变长,不能单凭并发增长反推根因;还要看排队发生在 Web 工作进程、数据库连接池还是下游服务前。

数据库侧应分别检查查询执行耗时、锁等待、活跃连接、连接池等待和慢查询分布:

看应用与数据库:资源空闲也可能排长队配图

  • 只有少数 SQL 变慢,且扫描量或执行计划发生变化:优先核对查询与索引,而非直接增加服务器配置。
  • 大量不同 SQL 同时等待锁,数据库 CPU 与磁盘并不繁忙:优先追踪持锁事务及事务时长。
  • 应用连接池等待升高,但数据库本身仍有处理余量:检查连接池大小、连接泄漏和请求持有连接的时间。
  • 数据库磁盘对应设备的 await、队列与查询耗时同步上升,锁等待不突出:存储 I/O 是更强的候选原因。

查看慢查询日志或数据库统计视图时,也要确认所用数据库版本、日志配置和权限。不要在生产高峰为了验证猜测,直接对大查询执行可能产生额外负载的分析操作。

用联动关系形成判断,而不是套一个阈值

下面是一组示例监控数据:Web 应用与数据库位于同一台服务器,磁盘指标取自数据库数据目录所在设备,三个窗口的请求量接近。

用联动关系形成判断,而不是套一个阈值配图

指标正常窗口变慢窗口批处理结束后
每秒请求数约 110约 115约 112
请求 P95 响应时间180 ms1,100 ms210 ms
CPU 用户态+系统态35%40%36%
可用内存3.2 GiB3.1 GiB3.2 GiB
数据盘 await3 ms48 ms5 ms
数据库查询 P9535 ms580 ms43 ms
数据库等待中的请求数4756
客户端至入口往返延迟约 42 ms约 43 ms约 42 ms

这组数据不支持“流量翻倍导致 CPU 不足”,也没有显示明显的内存或客户端链路变化。数据盘延迟、数据库耗时和等待请求数同时升高,使数据库相关 I/O 成为优先排查方向。但批处理结束后三者恢复,只能加强这一判断,不能直接证明磁盘设备故障:还需要看批处理是否占用了 I/O、是否触发大量扫描,以及同期有没有锁等待。若锁等待同样大幅升高,判断就应调整。

排查时可以反过来问:如果当前判断是错的,还会出现什么证据?认为是 CPU 瓶颈,就核对是否其实只有数据库调用时间增加;认为是网络问题,就比较不同地区请求与服务器内部处理时间;认为是磁盘问题,就确认所看设备确实承载业务数据,并排除锁等待。能够经受这些替代解释检验的判断,才适合进入优化阶段。

完成一次调整后,用相同请求类型、相近负载和相同统计口径复测,不只看 P95 是否下降,还要确认错误率、队列长度以及被优化资源的指标是否同步改善。若响应时间改善而错误率上升,或只是把等待从应用队列转移到数据库连接池,就不能算问题已经解决。

下一次台湾服务器出现响应变慢时,至少同时留下这组数据:按地区和接口划分的请求量、P95 响应时间与错误率;应用及数据库队列;各核心 CPU 与内存交换;业务数据盘延迟;连接建立、首字节时间与网络重传。先让这些指标在同一时间线上说清楚“哪里开始等待”,再决定优化哪里。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7292.html

相关推荐