香港服务器因代码导致高负载,怎样通过进程与日志定位根因?
香港服务器出现 CPU 长时间偏高、页面变慢、接口超时或 SSH 操作卡顿时,代码只是可能原因之一。高负载也可能来自突增流量、磁盘等待、内存回收、数据库或外部接口变慢,以及连接积压;仅凭“负载高”或某个进程占用高,不能直接认定代码有问题。
排查应先确认影响范围和发生时间,再沿着网络、系统、服务、应用逐层缩小范围。关键是把 CPU、内存、磁盘 I/O、连接数、进程状态与同一时间段的服务日志和应用日志对齐,找到能够解释症状的证据链。以下命令以常见 Linux 环境为例,具体工具和服务名应按实际发行版、部署方式及版本核对。
针对代码运行引发的高负载场景,A5数据提供中国香港及美国、日本、新加坡等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC、NVMe存储、较大内存及多种带宽线路配置,可为网站、业务后台、数据库、接口服务和多任务计算提供相应的主机基础;香港与美国还提供多IP及GPU系列,适配不同应用工作负载的部署需求。
先确认症状和影响范围
先记录故障开始时间、持续时长、受影响的服务,以及是否所有请求都变慢。若只有某个接口异常,优先检查该接口对应的应用和依赖;若 SSH、监控、多个服务同时迟缓,则应先检查整台主机的资源状态。
香港机房与访问用户之间的网络距离、运营商路径和跨境链路可能影响延迟,但网络延迟本身不会直接证明服务器 CPU 或磁盘负载过高。需要区分“请求到达服务器前慢”“服务器处理慢”和“服务器处理后返回慢”。可结合负载均衡器、CDN 或客户端的请求耗时,与服务器端访问日志中的请求处理时间比较。
记录时间时要留意时区。系统、容器、数据库和应用日志可能分别使用 UTC 或本地时区;若时间未对齐,容易把无关的日志误认为故障原因。可先查看:
date
timedatectl
uptime
uptime 中的 load average 是一段时间内处于可运行状态或不可中断等待状态的任务平均数,不等同于 CPU 使用率。它需要结合 CPU 核数、进程状态和 I/O 等待判断。例如,4 核主机的负载持续接近 4,和负载达到 20 的意义不同;即使负载高于核心数,也还要确认任务是在争抢 CPU,还是在等待磁盘或其他资源。
建立原因树:先分清哪类资源受压
可以先用下表建立排查方向。指标是常见参考信号,不是通用告警阈值;应结合服务器规格、业务基线和故障发生前后的变化判断。
| 观察方向 | 可能现象 | 优先核查 |
|---|---|---|
| 网络与连接 | 请求突增、连接积压、重传或连接建立异常 | 网卡流量、连接状态、负载均衡及访问日志 |
| CPU | CPU 使用率持续高,运行队列变长 | 占用 CPU 的进程、线程、请求量和代码热点 |
| 内存 | 可用内存下降、交换空间活动增加、进程被终止 | 进程常驻内存、缓存、堆内存和容器限制 |
| 磁盘 I/O | I/O 等待高、读写延迟增加、磁盘空间或 inode 接近耗尽 | 具体设备、读写进程、日志与临时文件增长 |
| 进程状态 | 大量 R、D、Z 或服务进程数量异常 | 进程树、线程、阻塞调用及服务重启记录 |
| 服务与应用 | 单个服务报错或延迟集中在特定接口 | 服务日志、请求 ID、数据库和外部依赖耗时 |
先做一次低风险的整体快照:
uptime
top
free -h
df -h
df -i
若已安装 sysstat,可用 vmstat 和 iostat观察一段时间内的变化;没有安装时先确认系统允许的维护方式,不要在故障现场为追求一个指标仓促变更软件源或安装包。
vmstat 1 5
iostat -xz 1 5
vmstat 中的 r 可辅助观察可运行任务数,b 可辅助观察不可中断等待任务;si、so 表示交换空间读写活动。iostat 的 %util、await 等字段需要结合设备类型、队列和业务基线看,单个字段短暂升高不一定意味着磁盘故障。
逐层排除:从网络和连接查到系统资源
网络与连接数:确认请求是否形成压力
先查看网卡计数、连接总量和主要连接状态:
ip -s link
ss -s
ss -tan
ss -tan 会列出 TCP 连接,输出较多时可按端口或状态筛选。以下示例以 443 端口为例,实际端口应根据服务配置调整:
ss -tan '( sport = :443 )'
连接数较平时明显上升,可能来自正常流量增长、客户端重试、健康检查频率过高、长连接未释放,也可能是应用处理变慢后连接滞留。应继续核对访问日志中的请求量、状态码、请求耗时和来源分布,而不是仅凭连接数断定遭受攻击或程序泄漏。
需要注意:ss 展示的是当前连接快照,无法单独说明连接为何增加。可在故障持续期间间隔采样,并与请求量及服务日志对照。如果业务经过负载均衡或 CDN,服务器端看到的来源地址也可能是上游节点地址;应按现有日志配置判断真实客户端地址是否可信,避免把未经验证的转发头当成来源依据。
CPU:区分代码计算、并发增长和等待
在 top 中查看总 CPU 使用率、进程排序以及 %wa(I/O 等待)。随后列出 CPU 占用较高的进程:
ps -eo pid,ppid,stat,etime,%cpu,%mem,cmd --sort=-%cpu | head -n 20
如果某进程持续占用较多 CPU,先确认它属于哪个服务、是否为预期进程,以及进程数和线程数是否异常。可以查看进程基本信息和线程:
ps -p <PID> -o pid,ppid,stat,etime,%cpu,%mem,cmd
ps -L -p <PID> -o pid,tid,stat,%cpu,comm
将 <PID> 替换为实际进程号。若是多线程服务,一个进程的 CPU 值可能超过 100%,这通常表示多个核心在同时执行,并非显示错误。应结合主机核心数、top 的线程视图和服务并发配置解释。
CPU 高而 %wa 较低,且运行任务数持续超过可用核心数时,才更支持“CPU 计算或并发竞争”方向。常见代码原因包括循环条件失控、正则或序列化处理开销过大、对大批数据重复计算、缓存未命中后反复构造结果,以及请求数增长后线程池无上限扩张。下一步应按接口、任务类型和请求量细分:若 CPU 占用与某类请求同步上升,再通过应用性能分析、采样剖析或代码级指标检查热点函数。
若 CPU 不高但负载高,不要急着改代码。重点转向 D 状态进程、磁盘等待、网络文件系统或其他不可中断等待原因。
内存:确认是进程增长还是系统回收压力
先查看内存概况和进程常驻内存:
free -h
ps -eo pid,ppid,stat,etime,%mem,rss,cmd --sort=-rss | head -n 20
free 中的 available 通常比单看 free 更适合作为可用内存参考,因为 Linux 会利用部分空闲内存做缓存。若 available 持续下降、交换空间读写增加,或进程被系统终止,才更能说明内存压力正在影响服务。
可检查内核是否记录了内存不足事件:
journalctl -k --since "1 hour ago" | grep -Ei 'out of memory|oom|killed process'
命令中的时间范围按故障时间调整。容器部署还需同时核查容器内存限制和容器指标:宿主机尚有可用内存,并不代表容器没有触及自身上限。
应用内存逐步增长可能与对象未释放、缓存没有上限、批量任务一次载入过多数据、连接池或队列积压有关。要区分“流量增加造成工作集变大”和“同等流量下内存持续上涨”,可按固定时间间隔记录进程 RSS、请求量和队列长度。一次采样只能展示当前占用,不能证明内存泄漏。
磁盘 I/O:识别等待、空间不足和日志增长
若 %wa 偏高、进程出现 D 状态,或应用响应变慢但 CPU 并不繁忙,应检查磁盘延迟和读写负载:
iostat -xz 1 5
df -h
df -i
磁盘空间使用率高与 I/O 等待是不同问题:空间不足可能导致日志、临时文件或数据库写入失败;I/O 延迟高则可能使进程等待读写。还应核查 inode 使用情况,因为大量小文件可能在磁盘尚有空间时先耗尽 inode。
必要时可使用 iotop 找出实时读写较多的进程(该工具并非所有系统默认安装):
sudo iotop -o
若读写集中在应用日志、临时目录、数据库数据目录或任务输出文件,结合文件增长时间和服务日志判断来源。不要为了释放空间直接删除日志或数据库文件。清理前需确认文件用途、保留要求、是否仍被进程打开,并按服务的日志轮转和备份策略处理;误删可能影响审计、排障或数据完整性。
进程状态:看出“忙”还是“卡住”
ps 的 STAT 字段可帮助区分进程状态:
R表示正在运行或等待 CPU。数量持续偏多时,结合 CPU 使用率判断是否存在计算竞争。S表示可中断睡眠,常见于等待事件,本身不代表故障。D表示不可中断睡眠,常与 I/O 等待有关;大量D进程应检查设备、文件系统和相关依赖。Z表示僵尸进程,通常是已退出但父进程尚未回收的子进程。少量短暂出现未必构成影响,持续累积则需检查父进程的子进程回收逻辑。
查看进程树可以确认服务启动链和父子关系:
ps -eo pid,ppid,stat,etime,cmd --forest | less
不要仅凭进程名相同就结束进程,也不要把 kill -9 当作通用排障手段。强制终止可能造成请求中断、任务状态不一致或数据写入不完整。先确认进程归属、服务管理方式和影响范围,再通过服务自身的管理流程处理;需要重启时应遵循已有变更和故障处置流程,并保留日志与现场信息。
从系统指标进入服务与应用日志
确定高负载主要落在哪类资源后,再定位到服务和请求。优先核对故障时间窗口内的服务状态、重启记录和错误日志。以 systemd 管理的服务为例,服务名需替换为实际名称:
systemctl status <服务名> --no-pager
journalctl -u <服务名> --since "2025-03-08 10:00:00" --until "2025-03-08 10:15:00" --no-pager
日期和时区应改为实际故障时间。应用若将日志写入文件,则按实际路径查询;不要假设所有系统都使用相同目录或服务名。筛选日志时,重点找重复错误、超时、重试、队列积压、连接池耗尽、内存不足和进程重启等信息。
建议把以下信息按同一时间轴关联:
- 主机指标:CPU、内存、交换空间、磁盘延迟和连接数。
- 服务指标:请求量、并发数、线程池或工作进程数量、队列长度及重启次数。
- 应用日志:接口或任务类型、耗时、错误码、请求 ID、依赖调用耗时。
- 依赖状态:数据库连接与慢查询、缓存响应、外部 API 延迟等。
日志中若包含用户标识、令牌、Cookie、邮箱或业务数据,不要将完整内容直接复制到公开工单或文章中;排查时按最小必要原则脱敏,并遵守日志访问权限和保留要求。
以下为示意日志,展示的是一种可能的关联方式,不代表任何特定服务器的实际记录:
10:02:11 request_id=ab12 route=/report/export duration_ms=18240 status=200
10:02:12 worker pid=3184 queue_depth=146 task=report_export
10:02:15 app warning: database query exceeded 5000ms request_id=ab12
若同一时间 CPU 上升、导出任务排队增多,且数据库查询持续变慢,根因可能在报表任务的数据读取方式或数据库负载,也可能是数据库先变慢后拖住应用。要进一步比较数据库耗时、应用计算耗时和队列变化,判断因果顺序。日志先后顺序本身不一定等于真实执行顺序,尤其在多进程、异步队列和不同主机时钟未同步的情况下。
定位根因:用可复现的证据链,而不是单点指标
一个较可靠的判断需要同时满足三点:症状发生时间相符、指标能解释影响、应用或服务侧证据能指向具体工作负载。可按以下路径收敛:

- CPU 高、某类请求量同步增加、热点集中在同一业务路径:检查该路径的算法复杂度、重复计算、批量大小和缓存策略。若代码发布后才出现,应对比发布版本、配置差异及请求结构,不能仅凭时间相邻就认定发布必然是根因。
- 负载高、CPU 不高、
D状态增多、I/O 等待上升:检查磁盘、文件系统、日志写入、数据库读写和远程挂载等路径,确认具体等待点。 - 可用内存持续下降、交换活动增加或出现 OOM 记录:比较进程内存与请求量、队列长度和运行时间,区分缓存增长、任务堆积、内存泄漏与容器限额。
- 连接数上升并伴随接口超时:核查请求来源、重试策略、连接池、上游超时和服务处理能力。连接多可能是流量原因,也可能是服务变慢后的结果。
- 只有一个接口或后台任务异常:把该接口的请求 ID、耗时拆分和依赖调用关联起来,避免对整台服务器做无关调整。
- 多个服务同时受影响:优先核实共享资源,例如宿主机 CPU、磁盘、网络、数据库或公共依赖,再判断是否为单个应用造成连带压力。
例如,某台 4 核服务器在故障期间负载持续升高,top 显示应用进程 CPU 使用率明显增加,日志又显示某个导出接口请求量增长。若同时发现导出任务将大量数据一次载入内存,CPU 热点集中于重复格式化,而磁盘等待并不高,证据就更支持应用处理逻辑和任务并发造成压力。反之,如果 CPU 较低、D 状态增加、iostat 中延迟与等待同步升高,就不应先把问题归咎于循环或算法,而应继续查读写路径。
应避免在证据不足时同时修改并发、超时、缓存和内存配置。多项调整一起进行会使因果关系变得模糊,也可能把积压从应用转移到数据库或其他依赖上。每次变更应有明确目的、影响范围和观察指标;涉及服务配置时,先备份原配置、检查语法并明确恢复原配置的办法。
验证恢复:确认资源、请求和日志都回到可接受范围
找到并处理疑似原因后,不能只看一次 CPU 数值下降。应在与故障相近的业务负载下持续观察一段时间,并核对:
- CPU、负载、内存和磁盘 I/O 是否回到该业务的日常区间,交换空间是否仍持续读写。
- 连接数、请求量、队列长度和工作进程数是否恢复,是否出现新的积压。
- 目标接口的耗时、错误率和超时是否改善,其他关键接口有没有受到副作用影响。
- 服务是否反复重启,日志中是否仍出现同一类错误或依赖超时。
- 若发生过重启或强制中断,任务状态、数据写入和业务结果是否完整。
若指标恢复但请求错误仍持续,说明资源压力可能缓解了,应用问题未必解决;若接口延迟改善但队列还在增长,则处理能力仍可能低于任务进入速度。对照故障前后的同类时间段和业务量,比用一个固定阈值判断“已恢复”更可靠。
复发监控点
为避免同类问题再次发生,监控不应只设主机 CPU 告警。建议按“主机—服务—应用—依赖”建立关联:
- 主机侧关注 CPU 使用率与运行队列、可用内存与交换活动、磁盘延迟与空间/inode、网卡流量和连接状态。
- 服务侧关注进程数量、重启次数、线程池或工作进程使用率、连接池占用和队列长度。
- 应用侧关注分接口请求量、延迟分位数、错误率、慢任务比例及关键代码路径的耗时。
- 依赖侧关注数据库查询耗时、连接使用率、缓存响应和外部服务超时,避免把依赖故障误判为本机代码问题。
告警阈值应以业务基线和持续时间为依据。例如,短暂的 CPU 峰值可能是正常批处理,持续高占用且伴随延迟、队列积压才更值得升级处理。保留足够的指标历史和结构化日志,并统一时间基准,才能在下一次出现高负载时快速判断:是请求变多、代码计算变重、资源等待变长,还是某个依赖先出现异常。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4920.html



