美国洛杉矶服务器CPU突然升高,怎样区分正常流量与异常进程

发布人:A5数据发布时间:2026-11-06 11:02阅读量:81

美国洛杉矶服务器的 CPU 使用率突然达到 90% 以上,并不等于出现了异常进程。若请求量、业务进程的用户态 CPU、网络连接数和响应时间同时上升,且进程仍属于已部署的 Nginx、PHP-FPM、Java、Node.js 或数据库服务,更可能是流量或业务计算增加。相反,如果请求量基本不变,CPU 却持续被某个陌生 PID 占用,同时出现异常网络连接、磁盘写入或进程自动重启,就应进一步按异常进程方向核查。

判断时不要只看某一秒的 CPU 百分比,也不要把洛杉矶服务器的本地时间与日志时间混在一起。应先建立一段可比的观察窗口,再把 CPU、内存、磁盘 I/O、连接数、请求量、响应时间、错误率和进程状态放在同一时间线上,经过对照后再决定是正常负载、异常流量、资源争用,还是独立运行的异常进程。

先建立可比的观察窗口

统一时间与采样周期

洛杉矶地区通常使用太平洋时间,但服务器、Nginx、应用和监控平台可能分别使用 UTC、PST/PDT 或容器内部时间。排查前先记录服务器时间,并确认应用访问日志的时间格式。

建议至少保留以下两个时间点:

  • CPU 开始升高的时间;
  • CPU 恢复、进程退出或人工干预的时间。

如果告警只提供了一个时间点,先观察 10 至 15 分钟;如果负载周期性出现,观察窗口应延长到 30 至 60 分钟,以覆盖定时任务、备份、日志压缩和业务高峰。

以下命令适用于常见 Linux 服务器,主要用于读取系统状态,不会修改配置:

date -Is
uptime
nproc
free -h

uptime 会同时显示 1 分钟、5 分钟和 15 分钟负载,nproc 用于确认 CPU 逻辑核心数。比如 4 核服务器的 load average 为 4,并不能单独说明故障;还要结合 CPU 是否接近满载、进程是否处于可运行状态,以及磁盘是否有等待。

第一轮记录哪些指标

可以每隔 1 分钟记录一行,至少包含以下内容:

指标类别需要观察的项目主要用途
CPUuser、system、iowait、steal、idle、load average区分业务计算、内核开销、磁盘等待和宿主机争用
内存used、available、swap in/out判断是否因内存压力触发回收或交换
磁盘 I/OIOPS、吞吐、await、队列、utilization判断进程是否被磁盘拖慢
网络入站/出站速率、ESTABLISHED、TIME_WAIT、连接来源区分请求增长、连接异常和出站行为
业务QPS、P95/P99 延迟、4xx/5xx、超时率判断 CPU 增长是否由真实请求驱动
进程PID、PPID、用户、状态、线程数、CPU 和内存占用定位实际消耗资源的对象

监控系统如果已经提供这些指标,优先使用监控曲线;临时执行大量查询、频繁刷新 top 或遍历海量日志,本身也可能增加系统开销。

先看 CPU 是怎样升高的

CPU 总使用率只是结果,不能直接说明原因。重点是观察不同 CPU 时间的构成。

区分用户态、内核态和等待时间

可以使用 mpstat 查看整机及各核心的变化:

mpstat -P ALL 1 5

如果系统提示没有该命令,先确认是否安装了发行版提供的 sysstat 工具包,再按现有软件源安装。不要根据不确定的发行版名称直接执行安装命令。

常见字段可以这样理解:

  • %usr:应用程序在用户态执行的时间;
  • %sys:内核处理系统调用、网络、文件系统等占用的时间;
  • %iowait:CPU 等待磁盘或其他块设备 I/O 的时间;
  • %steal:虚拟机等待宿主机分配 CPU 的时间;
  • %idle:空闲时间。

如果 %usr 随请求量同步升高,通常是应用计算增加;如果 %sys 明显升高,可能与网络包处理、系统调用、文件系统或大量连接有关;如果 %iowait 较高,表面上看是 CPU 高负载,实际瓶颈可能在磁盘;如果 %steal 持续升高,则应考虑虚拟化宿主机的 CPU 争用。

单个核心 100% 也需要单独判断。一个单线程程序可能只占满一个核心,而多核服务器的总 CPU 百分比看起来并不高。反过来,所有核心都接近满载,通常比单核心饱和更容易影响并发请求。

将 CPU 时间与进程对应起来

使用 pidstat 可以观察进程在一段时间内的变化,而不是只看一次快照:

pidstat -u -r -d -w 1 10

该命令会同时显示 CPU、内存缺页、磁盘读写和上下文切换信息。重点观察:

  • 哪个 PID 在 10 秒内持续位于高位;
  • CPU 占用是否集中在一个进程或一组工作进程;
  • 进程是否频繁上下波动;
  • 上下文切换是否明显增加;
  • CPU 高的同时是否伴随大量读写。

也可以先查看当前排序靠前的进程:

ps -eo pid,ppid,user,stat,%cpu,%mem,etime,lstart,args --sort=-%cpu | head -n 20

这里的 args 可能包含命令参数、连接地址或敏感信息,输出不宜直接发布到公开工单或聊天群。进程短时间内退出时,下一次查询可能找不到原 PID,因此应保存带时间戳的输出。

让网络和业务指标参与判断

正常流量通常会留下完整的联动轨迹

真实请求增加时,通常会出现一组关联变化:

让网络和业务指标参与判断配图

  1. 入站带宽或请求数上升;
  2. Web 服务、应用服务或数据库的 CPU 增加;
  3. 活跃连接数、工作线程或连接池使用量增加;
  4. 响应时间有一定上升,但仍处于业务可接受范围;
  5. 错误率和超时率没有同步大幅恶化;
  6. 高 CPU 进程属于已知服务,父进程和启动时间也合理。

例如,电商活动期间访问量增加,Nginx、PHP-FPM 和数据库的 CPU 可能同时升高,但请求路径、来源、状态码和进程树都与正常业务一致。这种情况更接近容量压力,而不是独立异常进程。

只看连接数也容易得出错误结论

Linux 上可以使用以下命令快速查看连接概况:

ss -s
ss -Htan state established | wc -l
ss -Htan state time-wait | wc -l

ESTABLISHED 更接近当前建立的连接数量,但还需要结合服务类型、连接复用和连接持续时间判断。TIME_WAIT 较多不一定意味着攻击,短连接服务、客户端重试、负载均衡器行为和连接回收策略都可能造成大量 TIME_WAIT。

如果连接数增加,但请求数没有同步增加,可能存在以下情况:

  • 客户端连接建立后长时间空闲;
  • 上游服务响应缓慢,连接无法及时释放;
  • 应用连接池配置不合理;
  • 某类请求大量超时;
  • 来源连接模式异常。

因此,连接数应与响应时间、状态码和服务端进程线程数一起看,不能直接用“连接多”推断异常进程。

如果使用 Nginx,访问日志路径和格式可能因发行版及部署方式不同而变化。下面只是针对常见标准访问日志的读取示例,执行前应先确认路径和日志是否已轮转:

awk -v m="$(date '+%d/%b/%Y:%H:%M')" '$0 ~ m {n++} END {print n+0}' /var/log/nginx/access.log

该方法只能粗略统计当前分钟内匹配的日志行,不能替代应用指标。日志异步写入、容器日志、代理层缓存和多实例部署都可能使结果不完整。

三种常见变化模式

观察到的组合更可能的解释还需要确认的内容
请求量上升,业务进程 %usr 上升,延迟小幅增加,错误率稳定正常业务流量或可预期高峰是否接近容量上限,是否需要扩容或优化慢请求
请求量变化不大,某个陌生 PID 持续占用 CPU,网络或磁盘行为异常疑似异常进程或异常脚本PID 的路径、父进程、启动时间、文件归属和连接对象
连接数和错误率上升,CPU 主要消耗在 Web 或应用服务异常流量、请求重试或应用处理效率下降请求路径、来源分布、状态码、超时和上游响应
CPU 不高但 load 很高,iowait、磁盘队列或 D 状态进程增加磁盘或存储延迟导致的阻塞设备延迟、日志写入、备份任务和文件系统状态
虚拟机 %steal 长时间升高,业务请求变化不明显宿主机 CPU 争用或实例配额限制云平台监控、实例规格和同宿主机资源情况

用内存和磁盘排除替代解释

内存不足可能间接造成 CPU 升高

Linux 的 free 较低并不必然表示内存不足,因为文件缓存也会占用内存。更值得关注的是 available、swap 使用量,以及 vmstat 中的交换进出:

vmstat 1 10

重点查看:

  • si、so 是否持续非零;
  • r 是否长期高于逻辑 CPU 数;
  • b 是否明显增加;
  • wa 是否与磁盘延迟同步升高。

如果内存逐渐耗尽,系统可能频繁回收页面,应用响应变慢,随后出现请求重试和 CPU 增长。此时看到的高 CPU 可能只是连锁结果,而不是最初的原因。

还要注意应用自身的内存泄漏、缓存增长和容器内存限制。宿主机有剩余内存,不代表容器或 systemd 服务没有触及自己的 cgroup 限额。

磁盘 I/O 高时,不要误判成计算型负载

使用 iostat 查看设备层面的延迟和利用率:

iostat -xz 1 5

常见字段包括:

  • await:I/O 请求从发出到完成的平均等待时间;
  • %util:设备忙碌时间比例;
  • aqu-sz:平均队列长度;
  • 读写吞吐和 IOPS。

日志集中写入、数据库检查点、备份、压缩、扫描大量小文件,都可能导致磁盘队列上升。此时应用进程可能同时出现较高的系统态时间和 D 状态。D 表示不可中断睡眠,通常与 I/O 等待有关;处于 Z 状态的僵尸进程本身不会持续消耗 CPU,不能把它当成 CPU 根因。

如果 CPU 的 %iowait 和磁盘 await 同步升高,而应用请求量没有增加,应优先处理存储路径、写入任务或数据库 I/O,而不是直接寻找“占用 CPU 的恶意程序”。

识别真正的异常进程

当 CPU 曲线与业务请求不相关时,再进入进程级核查。判断陌生进程不能只凭名称,因为合法程序也可能以脚本、解释器或自定义二进制形式运行。

核对 PID、父进程和实际文件

先保存进程基本信息:

PID=12345

ps -p "$PID" -o pid,ppid,user,group,stat,%cpu,%mem,etime,lstart,args
readlink -f "/proc/$PID/exe"
tr '\0' ' ' < "/proc/$PID/cmdline"
echo

将 12345 替换为实际 PID。随后关注:

  • 运行用户是否符合服务设计;
  • PPID 是否来自已知服务管理器或应用主进程;
  • 进程启动时间是否与告警时间接近;
  • 可执行文件是否位于标准系统目录、应用目录或临时目录;
  • 命令参数是否包含异常路径、远程地址或循环执行逻辑。

查看进程树可以帮助识别是谁启动了它:

pstree -aps "$PID"

pstree 如果未安装,可根据现有系统工具替代,不要为了单个查询直接修改生产环境软件源。

检查文件归属和网络连接

确认二进制是否由系统软件包提供:

EXE=$(readlink -f "/proc/$PID/exe")
sha256sum "$EXE"

# Debian/Ubuntu 系列可按需执行
dpkg -S "$EXE"

# RHEL/CentOS/Rocky/AlmaLinux 系列可按需执行
rpm -qf "$EXE"

dpkg -S 和 rpm -qf 只适用于相应的软件包管理体系。如果文件来自自建应用,应通过发布记录、构建产物和部署系统核对,而不是仅凭文件名判断。

查看该 PID 的网络连接:

sudo ss -ntp | grep "pid=$PID,"

如果进程建立了不符合业务预期的出站连接,或者在没有外部请求时持续向外发送数据,应记录目标地址、端口、时间和连接状态。不要立即删除文件或强制结束进程,否则可能丢失进程树、连接和内存中的重要线索。

判断是否存在自动拉起机制

如果进程消失后很快重新出现,可能是服务管理器、定时任务、容器编排或父进程在重启它。可以先进行只读检查:

systemctl status <unit-name>
systemctl list-timers --all
crontab -l
sudo ls -la /etc/cron.d /etc/cron.hourly /etc/cron.daily

其中 <unit-name> 必须替换为已确认的服务单元。不要把任意 PID 或未知字符串直接拼接到管理命令中。还应检查部署平台、容器编排配置和应用自身的守护逻辑。

合法的日志压缩、备份或安全扫描也可能在固定时间启动并短时占用 CPU。只要启动时间、文件归属、父进程和任务计划能够对应上,就应先排除这些解释,而不是直接定性为入侵。

形成判断:正常流量、异常流量还是异常进程

下面是一组构造的监控示例,用于说明时间关联,不代表某台实际服务器的监控结果:

形成判断:正常流量、异常流量还是异常进程配图

时间请求量CPU userCPU iowait已建立连接P95 延迟5xx高占用对象
10:00220 req/s28%2%2,100180 ms0.2%php-fpm
10:05410 req/s52%2%3,700205 ms0.3%php-fpm
10:10650 req/s74%3%5,800260 ms0.5%php-fpm、MySQL
10:15680 req/s78%3%6,000275 ms0.6%php-fpm、MySQL

这组变化中,CPU、请求量、连接数和应用进程同步增加,错误率仍较低,更像业务高峰或容量接近上限。下一步应分析慢接口、缓存命中率、数据库查询和并发配置,而不是寻找独立异常进程。

另一种示例是:

时间请求量CPU userCPU iowait已建立连接P95 延迟高占用对象
10:00190 req/s21%2%1,900170 msnginx、php-fpm
10:05185 req/s23%2%1,880175 msnginx、php-fpm
10:10188 req/s91%2%1,900180 ms/tmp/… 下的未知进程
10:15187 req/s94%2%1,910182 ms同一未知进程

这里业务指标几乎不变,但某个新进程持续消耗用户态 CPU,且位置和父进程不符合部署结构,应按异常进程方向保存证据并升级处理。

还存在第三类情况:请求量明显增加,但高 CPU 的仍是正常应用进程,只是请求路径集中在某个接口、来源分布异常、4xx/5xx 和超时率同时增加。这更像异常流量或应用层重试,不能简单归类为“异常进程”。此时应把访问日志、来源、URL、状态码、请求体大小和上游响应时间放在同一时间段比较。

处理与复测应保持低风险

确认原因前,建议先保存以下内容:

  • CPU、内存、磁盘和网络曲线;
  • 高占用 PID 的进程信息、父进程和可执行文件哈希;
  • 相关时间段的访问日志、系统日志和服务日志;
  • 连接对象、启动时间和定时任务信息;
  • 变更、发布、备份和扫描任务记录。

如果判断为正常业务流量,应记录当时的请求量、延迟和错误率,并针对慢接口、缓存、数据库和并发容量做优化。不要仅以“CPU 降下来了”作为处理成功标准,因为流量下降后 CPU 自然会恢复,根因可能仍然存在。

如果判断为异常进程,先确认是否有业务数据写入、正在执行的发布任务或合法安全软件。涉及停止服务、结束进程、删除文件或修改防火墙时,应满足以下条件:

  • 已保存必要证据,并确认影响范围;
  • 已确认目标进程、服务单元或文件路径;
  • 有可用备份或快照;
  • 已评估是否影响正在处理的请求和数据;
  • 经过授权后再执行;
  • 记录操作时间和原始配置,准备回滚。

例如停止一个由 systemd 管理的业务服务可能立即中断连接,恢复时通常需要重新启动该服务并验证端口、健康检查和日志。不能把强制结束进程作为默认方案,也不应在未确认文件用途时直接删除。若怀疑服务器已被控制,应优先保留现场,并根据业务连续性方案在上游或云平台侧进行隔离,避免边排查边破坏证据。

处理完成后重新观察至少 10 至 15 分钟,并再次对照:

  • CPU user、system、iowait、steal 是否恢复;
  • load average 是否回落;
  • 内存 available 和 swap 是否稳定;
  • 磁盘 await、队列和利用率是否恢复;
  • 活跃连接数是否与请求量匹配;
  • P95/P99 延迟、错误率和超时率是否改善;
  • 原 PID 是否停止,是否有新的 PID 自动拉起;
  • 异常出站连接和日志错误是否消失。

下一次告警应同时观察的指标组合

单独设置“CPU 超过某个百分比”的告警,容易产生大量误报。更有价值的观察组合是:

  • CPU user + 请求量 + P95/P99 延迟 + 5xx/超时率:判断是否为业务计算或流量压力;
  • CPU system + 连接数 + 网络包速率 + 上下文切换:判断是否为连接和内核处理压力;
  • CPU iowait + 磁盘 await + I/O 队列 + D 状态进程:判断是否为存储瓶颈;
  • 内存 available + swap in/out + major page fault:判断是否存在内存压力;
  • CPU steal + load average + 实例配额:判断虚拟化环境中的资源争用;
  • 高占用 PID + PPID + 启动时间 + 文件路径 + 出站连接:判断是否存在异常进程。

当这些指标在同一时间窗口内形成一致的变化链条,才能较可靠地区分正常流量、异常流量、资源瓶颈和独立异常进程。对于美国洛杉矶服务器,地区本身不会改变 Linux 的 CPU 判断方法,但必须把时区、跨区域访问延迟、上游连接和日志时间统一起来,否则很容易把不同时间段的现象错误地拼接成一个故障。

面向美国用户的网站、跨境业务和数据库部署,A5idc数据提供美国物理服务器,涵盖常规 Xeon、AMD EPYC 及多 IP 等系列,并有 CN2 GIA 线路方案。AMD 机型可选搭配 DDR5 内存与 NVMe 存储,为应用服务、容器和多任务计算提供相应的 CPU、内存、磁盘与网络资源组合。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7854.html

相关推荐