日本服务器上的Linux运行变慢,如何判断该先优化CPU、内存还是磁盘

发布人:A5数据发布时间:2026-11-05 11:16阅读量:89

日本服务器上的 Linux 运行变慢时,不应只看 CPU 使用率就决定优化方向。CPU 只有 30%,并不代表服务器没有瓶颈:进程可能正在等待磁盘,内存回收可能拖慢 I/O,应用线程可能卡在数据库锁上,或者日本机房到访问者所在地的网络延迟正在升高。更可靠的判断方式,是在同一时间窗口内把 CPU、内存、磁盘、网络、应用响应时间、错误率和队列放在一起观察。

通常可以这样确定优先级:运行队列持续增加且用户态或内核态 CPU 占用较高,先查 CPU;可用内存快速下降、内存压力和 swap 活动同时升高,先查内存;磁盘等待时间、I/O 队列和 iowait 联动上升,先查磁盘;服务器本地请求很快而日本以外访问变慢,则应先查网络路径。若这些资源指标都正常,却出现请求排队、数据库锁等待或错误重试,应把应用和数据库作为第一嫌疑,而不是继续调整服务器硬件参数。

先建立同一时间窗口

性能分析最容易出现的错误,是把不同时间点的指标拼在一起。例如,CPU 使用率来自 10:00,磁盘延迟来自 10:05,应用响应时间来自 10:10,最后得出的“CPU 瓶颈”可能并不存在。

建议至少记录一次故障高峰和一次正常时段。突发问题可观察 5~10 分钟,周期性变慢则应覆盖一个完整业务周期,例如整点任务、备份、报表生成或流量高峰。日本服务器通常使用日本标准时间(JST,UTC+9),监控系统、应用日志和数据库日志需要统一时区或明确记录时区。

可以先采集以下基础信息:

date '+%F %T %z'
uptime
nproc
free -h
vmstat 1 10
iostat -xz 1 10
pidstat -u -r -d -w 1 10
ss -s

iostat 和 pidstat 通常由 sysstat 提供。如果系统没有这些命令,应先确认监控平台是否已经采集了同类指标,不要在业务高峰临时安装大量诊断工具。重点不是执行一次命令,而是让以下数据具有相同时间戳:

  • CPU:用户态、内核态、I/O 等待、虚拟化窃取时间、每个核心的使用率;
  • 内存:可用内存、回收活动、swap 读写、内存压力;
  • 磁盘:读写吞吐、操作延迟、队列长度、设备繁忙度;
  • 网络:连接数、重传、丢包、吞吐、请求往返时间;
  • 应用:请求数量、P95/P99 延迟、线程或连接池队列、错误率;
  • 数据库:活跃连接、锁等待、慢查询、事务提交延迟。

用指标联动判断第一瓶颈

下面的表格适合作为初筛,但其中的数值只是典型参考,不是适用于所有服务器的固定阈值。CPU 核数、磁盘类型、业务模型和请求大小不同,正常范围也会不同。

主要怀疑对象需要同时看到的现象需要排除的替代解释优先检查方向
CPU用户态或内核态 CPU 持续较高,运行队列增加,应用处理时间变长高负载是否由 I/O 等待或虚拟化窃取造成进程、线程、热点代码、查询计算量
内存可用内存下降,内存 PSI 上升,si/so 或 swap 活动增加,磁盘读写同步变差swap 只是历史占用,是否真的发生换入换出内存泄漏、并发量、缓存、进程上限
磁盘await、队列长度、iowait 与请求延迟同时上升是否是数据库锁、文件系统容量或单个进程异常I/O 类型、设备性能、日志和数据库写入
网络RTT、重传或丢包上升,远程响应变慢,本机处理时间正常是否只是应用生成响应慢,或客户端线路不同访问路径、连接、带宽、TLS 和 DNS
应用资源使用正常,但线程池、任务队列、请求队列增长是否由数据库或外部服务阻塞超时、重试、连接池、依赖服务
数据库SQL 等待、锁等待、活跃连接和查询延迟上升数据库本身是否受内存或磁盘拖慢慢 SQL、索引、事务、连接池、锁

判断时应遵循“指标 A 变化—指标 B 联动—排除替代解释—形成判断”的顺序。例如,看到 CPU 使用率达到 90%,还需要确认运行队列是否增加,以及磁盘等待是否正常。如果 CPU 90% 但运行队列很短,可能只是少数核心短时繁忙;如果 CPU 30% 但 iowait、磁盘队列和接口延迟同时上升,CPU 就不是第一优化对象。

CPU 瓶颈:看运行队列和进程归因

CPU 瓶颈一般不是“CPU 百分比高”这么简单,而是计算资源被持续消耗,并且请求或任务开始排队。

重点观察:

  • vmstat 中的 r 是否持续接近或超过可运行 CPU 核数;
  • 用户态 CPU(us)是否由业务进程持续消耗;
  • 内核态 CPU(sy)是否因系统调用、网络包处理或文件操作升高;
  • iowait 是否同时升高;
  • 虚拟机的 steal 是否明显增加;
  • P95/P99 延迟是否和 CPU 高峰同步变化;
  • 数据库是否出现大量 CPU 密集型查询。

例如,一台 8 vCPU 的日本服务器在 10 分钟内出现以下模拟数据:

指标正常时段变慢时段
用户态 CPU42%86%
内核态 CPU8%10%
iowait2%3%
steal1%2%
运行队列 r2~412~18
应用 P95220 ms1.4 s
磁盘 await4 ms6 ms

这组关系更接近 CPU 受限:运行队列显著增加,用户态 CPU 占用高,磁盘等待和虚拟化窃取时间没有同步恶化。下一步应使用 pidstat、应用 APM 或进程级监控找出主要消耗者,而不是直接增加工作进程数量。

CPU 相关的替代解释包括:

  • 高 load 不等于高 CPU:处于不可中断睡眠状态的磁盘等待进程也可能抬高 load average;
  • 内核态 CPU 偏高:大量小文件、网络连接、日志写入或频繁系统调用都可能造成这种现象;
  • 虚拟化窃取时间偏高:虚拟机没有真正获得分配的 vCPU 时间,增加应用线程可能只会加重排队;
  • 单核心饱和:总 CPU 只有 50%,但某个核心已满,单线程应用仍会变慢。

形成 CPU 判断后,优化动作应优先针对具体进程或请求类型,例如减少不必要的计算、修正高开销查询、限制无效重试、调整并发模型或拆分后台任务。不要仅根据总 CPU 使用率盲目扩容,也不要在没有记录当前配置和回滚方案的情况下修改线程池、进程数或数据库并发参数。

内存瓶颈:确认是否真的发生回收和换入换出

Linux 使用空闲内存作为文件缓存是正常现象,因此 free -h 中的 free 很低,不代表内存已经耗尽。判断内存是否是第一瓶颈,关键是看 available、回收压力、swap 活动和应用延迟是否同向变化。

可以补充查看内存压力:

free -h
vmstat 1 10
cat /proc/pressure/memory
grep -E 'MemAvailable|SwapTotal|SwapFree|Dirty|Writeback|Slab' /proc/meminfo

以下组合更有说明力:

  1. MemAvailable 持续下降;
  2. /proc/pressure/memory 中的 some 或 full 增加;
  3. vmstat 的 si、so 出现持续活动,而不是偶尔的历史数据;
  4. 磁盘读写延迟和 iowait 同时升高;
  5. 应用 P95/P99 延迟、超时或 OOM 事件同步出现。

内存压力经常会伪装成磁盘瓶颈。系统为了回收页面或换入换出,可能让磁盘延迟升高。此时直接更换磁盘,效果可能有限;如果不减少内存压力,新的磁盘仍会被回收活动占用。

还要区分主机内存和容器内存。主机有大量可用内存时,某个容器仍可能达到自身的 memory limit。若业务运行在容器中,应同时查看容器限制、当前使用量和应用进程的内存增长。对于持续增长的 Java 堆、PHP-FPM 工作进程、缓存服务或数据库缓冲区,应先找出增长来源,再决定是降低并发、修复泄漏、调整缓存,还是增加内存。

不建议把“清空缓存”当作常规优化,也不建议为了消除 swap 使用而直接禁用 swap。前者会破坏本来有益的缓存,后者可能让突发内存压力更快演变为进程被终止。任何内存参数调整都应先记录原值,选择低峰期,准备恢复配置的方式,并通过应用延迟和 OOM 日志复测。

磁盘瓶颈:区分容量不足、延迟过高和 I/O 类型不匹配

磁盘问题至少包含三类:空间或 inode 用尽、设备本身延迟过高、应用产生了不适合当前存储介质的 I/O 模式。

先查看容量与设备级指标:

df -h
df -i
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
iostat -xz 1 10
pidstat -d 1 10

判断 iostat 时重点关注:

  • await:一次 I/O 从提交到完成的平均等待时间;
  • aqu-sz:平均等待队列;
  • r/s、w/s:读写操作次数;
  • rkB/s、wkB/s:读写吞吐;
  • %util:设备处于忙碌状态的比例,但不能脱离设备类型单独解释。

例如,模拟监控中 CPU 用户态只有 25%,内存压力正常,但磁盘 await 从 5 ms 升到 90 ms,aqu-sz 从 0.4 升到 14,iowait 从 3% 升到 28%,同时接口 P95 从 300 ms 升到 2 秒。这时磁盘等待与应用延迟形成了完整联动,磁盘或产生 I/O 的进程应优先调查。

还需要排除以下情况:

  • df -h 接近 100%,日志、临时文件或数据库写入失败;
  • inode 用尽,表现为无法创建新文件,即使还有剩余容量;
  • 单个日志进程、备份进程或扫描任务制造大量 I/O;
  • 数据库锁等待被误认为磁盘延迟;
  • 内存不足导致页面回收和 swap,使磁盘看起来繁忙;
  • 云服务器的共享存储在特定时段出现性能抖动。

如果确认是磁盘瓶颈,优化顺序通常是先查 I/O 来源,再决定调整应用、数据库或存储规格。例如,数据库随机读写较多时,需要检查查询计划和索引;日志量异常时,应检查日志级别和保留策略;备份、压缩、报表等后台任务影响在线请求时,可以错开执行时间或限制其 I/O 优先级。不要在未备份数据库、未确认业务影响和没有恢复方案时,直接删除日志、移动数据库文件或修改存储配置。

网络瓶颈:把日本机房与访问路径分开看

“日本服务器访问慢”可能有两种完全不同的含义:

  • 服务器自身处理请求慢;
  • 服务器处理很快,但访问者到日本机房之间的 RTT、丢包、重传或带宽存在问题。

因此,不能用服务器 CPU、内存和磁盘指标替代网络观测,也不能只用一次 ping 就判断业务网络。可以在服务器本地测试接口的各阶段耗时:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s ttfb=%{time_starttransfer}s total=%{time_total}s\n' \
  https://example.com/health

同时配合连接和网卡统计:

ss -s
sar -n DEV,TCP 1 5

这里的域名和接口应替换为实际业务地址。若本机请求的 ttfb 和 total 都很低,而日本以外的访问者 P95 明显升高,应进一步比较不同地区的 RTT、重传和丢包。若服务器本地请求也慢,则应回到应用、数据库、磁盘和 CPU 链路继续分析。

网络判断可以参考以下关系:

  • RTT 上升、重传上升、服务器本地处理时间稳定:优先查访问路径、线路质量或网络设备;
  • 带宽接近上限、发送队列增长:可能是大文件、备份、视频或异常流量占满出口;
  • 连接数暴增但 CPU 不高:可能是连接建立、连接池或应用并发控制问题;
  • 网络流量正常但 TTFB 很高:更可能是应用生成响应或后端查询慢;
  • 错误率与重试次数同步升高:重试可能进一步制造 CPU、连接和带宽压力。

日本服务器的地域位置只说明服务器端点在哪个机房,不代表所有访问者到该机房的路径都相同。监控中应同时保留服务器本地响应时间、不同地区探针的网络时间,以及应用自身处理时间。

应用和数据库瓶颈:资源不满也可能排队

当 CPU、内存和磁盘都没有明显压力,但请求仍然变慢,应重点查看应用队列和数据库等待。很多业务的瓶颈不是硬件已经达到 100%,而是少量连接、线程或事务被长时间占用。

应用侧建议同时关注:

  • 请求总量与并发数;
  • P50、P95、P99 延迟;
  • Web 服务器、应用线程池和任务队列长度;
  • 数据库连接池的使用量、等待量和超时数;
  • 外部接口调用耗时;
  • 5xx、超时、重试和熔断次数;
  • 垃圾回收、进程重启和工作进程退出。

数据库侧则要区分 CPU、I/O 和锁等待。例如:

  • SQL 执行时间上升,数据库 CPU 也升高,可能是查询计划或计算量问题;
  • SQL 等待时间上升,但数据库 CPU 不高,同时出现锁等待,优先查事务和锁;
  • 数据库读写延迟、磁盘队列和查询耗时一起上升,可能是存储或缓冲区不足;
  • 活跃连接接近连接池上限,而数据库资源正常,可能是连接未及时释放或外部依赖阻塞;
  • 应用错误率上升后开始大量重试,CPU 和连接数随后升高,根因可能在最初的数据库或依赖服务故障。

数据库查询计划、索引和事务参数属于高影响变更。修改前应保留配置和执行计划,确认备份可用,在低峰期小范围验证,并准备恢复原配置或撤销变更。不要因为看到数据库响应慢,就直接把连接池和并发数调大;排队只是被推迟,数据库锁和磁盘压力可能因此扩大。

一次完整的判断流程

可以把实际排查固定为六个动作:

  1. 建立观察窗口

记录故障开始和结束时间,统一服务器、应用、数据库与监控系统的时区,至少保留一个正常时段作为对照。

  1. 确认用户看到的慢在哪里

区分 DNS、建立连接、TLS、等待首字节、响应传输和应用内部处理时间。先确认是所有地区变慢,还是只有部分访问路径变慢。

  1. 寻找第一处同步变化

将响应时间曲线与 CPU、内存压力、磁盘延迟、网络重传、应用队列和数据库等待叠加。第一处持续出现、并且能解释后续排队的指标,更接近根因。

  1. 排除替代解释

CPU 高要排除 I/O 等待和虚拟化窃取;磁盘慢要排除内存回收;网络慢要排除应用 TTFB;数据库慢要排除锁等待和连接池耗尽。

  1. 形成单一优先级判断

在同一批证据中选择一个主要瓶颈,同时记录次要影响因素。例如“内存压力是主要原因,磁盘延迟是后果”,不要把所有异常指标都并列称为根因。

  1. 只做一类变更后复测

先控制并发、暂停高峰期后台任务或优化单个高耗时查询,观察相同时间窗口内 P95、错误率和相关资源指标是否一起恢复。若同时修改 CPU、内存、磁盘和数据库参数,就无法判断哪项措施真正有效。

用模拟数据复核判断

下面是一组用于说明分析方法的模拟数据,不代表任何实际监控结果:

时间段CPU 用户态iowait可用内存si/so磁盘 awaitI/O 队列应用 P95错误率
正常 10 分钟38%2%5.6 GB0/06 ms0.5240 ms0.1%
变慢前 5 分钟44%5%3.1 GB4/018 ms2.1480 ms0.2%
变慢高峰46%23%0.7 GB128/9686 ms12.71.9 s1.1%
缓解后 10 分钟41%4%4.8 GB0/08 ms0.7310 ms0.2%

这组数据中,CPU 没有明显饱和,但可用内存下降、swap 活动、磁盘等待和应用延迟同步恶化;缓解后这些指标也大体同时恢复。更合理的判断是内存压力优先,磁盘延迟属于连带表现,而不是先升级 CPU。

用模拟数据复核判断配图

相反,如果数据表现为用户态 CPU 从 40%升至 90%、运行队列从 3 增至 16,内存压力不变、await 仍为 6 ms、网络重传稳定,那么应先定位 CPU 消耗进程。若服务器本地响应正常,只有跨地区探针 RTT 和重传上升,则应先查网络路径。每一种判断都必须能在第二个或第三个指标上得到印证。

下一次遇到日本服务器上的 Linux 性能下降,建议至少同时观察“CPU 用户态/内核态 + 运行队列”“可用内存 + 内存 PSI + swap”“磁盘 await + I/O 队列 + iowait”“本地 TTFB + 远程 RTT/重传”“应用 P95 + 错误率 + 请求队列”“数据库连接池 + 锁等待 + 慢查询”这六组组合。只有把它们放进同一时间语境中,才能判断应该先优化 CPU、内存、磁盘,还是其实应从网络、应用或数据库入手。

A5idc数据提供日本机房的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备SSD、NVMe或大容量HDD存储方案,可承载Linux网站、数据库、接口服务及多任务运行。针对性能排查涉及的CPU、内存、磁盘和网络维度,日本产品还提供CIA、GIA、CN2、SoftBank等线路,以及多IP配置,为本地访问、跨境业务和不同数据规模提供相应的硬件与网络资源基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7695.html

相关推荐