台湾服务器出现Linux僵尸进程,如何查找父进程并判断是否需要处理?

发布人:A5数据发布时间:2026-11-03 12:55阅读量:71

登录一台台湾区域的 Linux 服务器后,如果在 top、监控面板或进程列表中看到 Z 状态、<defunct> 字样,不要先执行重启或 kill -9。僵尸进程通常已经退出,只是父进程尚未读取它的退出状态;它一般不会继续消耗 CPU,但会占用进程表中的一个条目。

判断是否需要处理,关键不在服务器所在地区,而在三个结果:僵尸进程数量是否持续增长、父进程是谁以及父进程是否仍在正常运行。可以先用 ps 找到僵尸进程的 PID 和 PPID,再检查父进程所属服务、日志和进程状态。单个短暂出现的僵尸进程通常可以观察;持续累积、影响 PID 数量或伴随业务异常时,才需要进入修复流程。

先确认看到的确实是僵尸进程

检查操作系统与命令环境

以下命令只读取系统信息,不会修改服务或进程:

cat /etc/os-release
uname -a
id
ps --version 2>/dev/null || ps --help | head
command -v pstree
command -v systemctl

常见 Debian、Ubuntu、Rocky Linux、AlmaLinux、CentOS 等发行版通常使用 procps 提供的 ps,支持 ps -eo 这类参数。如果服务器使用精简版 BusyBox,部分选项可能不兼容,此时应先根据 ps --help 确认参数,不要直接套用其他发行版命令。

基础排查通常不需要 root 权限。如果看不到其他用户进程的完整命令行,或者需要读取 journalctl、/proc 下受限内容,再使用具有相应权限的账号执行。

列出所有僵尸进程

优先执行:

ps -eo pid=,ppid=,stat=,user=,etime=,comm=,args= | awk '$3 ~ /^Z/ {print}'

字段含义如下:

  • PID:僵尸进程自身的进程号。
  • PPID:当前父进程的进程号。
  • STAT:进程状态,Z 表示 Zombie。
  • USER:进程所属用户。
  • ETIME:进程从启动到当前的时间。
  • COMMAND 和 ARGS:进程名称及启动参数。

例如,下面是用于说明判断方法的模拟输出,并非某台服务器的实测结果:

18472 18390 Z    app      00:08:21 worker         [worker] <defunct>

这里可以先得出三点:

  1. PID 为 18472 的进程已经退出,但进程表记录还没有被回收。
  2. 当前父进程是 18390,后续应重点检查它。
  3. ETIME 已经达到 8 分钟,说明它不是刚刚产生的瞬时状态,但仍需要结合数量趋势判断严重程度。

如果没有任何输出,说明当前没有被 ps 捕获的僵尸进程,或者僵尸进程在执行命令的瞬间已经被父进程回收。进程状态变化很快,必要时可以间隔几十秒重复执行。

区分僵尸进程与其他异常状态

ps 中的状态字母不能混用:

状态含义是否等同于僵尸进程
Z进程已经退出,等待父进程回收是
R正在运行或等待运行否
S可中断睡眠否
D不可中断睡眠,常见于磁盘或存储 I/O 等待否
T已停止或被调试器暂停否

D 状态进程不能按僵尸进程的方法处理。台湾服务器上的存储延迟、网络文件系统或磁盘故障可能导致 D 状态,但这属于另一条排查路径。

从系统影响开始判断紧急程度

确认有 Z 状态后,不要立即处理父进程。先确认僵尸数量和系统是否已经受到影响。

查看僵尸数量与进程总量

ZOMBIE_COUNT=$(ps -eo stat= | awk '$1 ~ /^Z/ {n++} END {print n+0}')
PROCESS_COUNT=$(ps -e --no-headers | wc -l)
PID_MAX=$(cat /proc/sys/kernel/pid_max)

printf 'zombie_processes=%s\n' "$ZOMBIE_COUNT"
printf 'visible_processes=%s\n' "$PROCESS_COUNT"
printf 'pid_max=%s\n' "$PID_MAX"

这些数字只能用于判断趋势,不能简单理解为“进程总数接近 pid_max 就一定无法创建进程”。Linux 的 PID 分配和进程、线程数量还会受到用户限制、容器限制以及系统资源影响。

可以同时查看负载和内存:

uptime
free -h

典型判断方式如下:

  • 只有一个或少量僵尸进程,数量在几分钟内没有增长,业务和系统调用正常:通常不需要立即干预。
  • 僵尸数量持续增加,尤其是每分钟或每次请求都增加:说明父进程可能没有正确执行 wait() 或 waitpid()。
  • 僵尸数量已经达到几十、几百甚至更多,并且新进程创建失败、服务报错或进程数告警:应安排处理。
  • 僵尸数量不多,但父进程是关键业务服务,且服务已经出现请求堆积、子进程创建失败或重启循环:即使数量不大,也不能只观察。

数量阈值没有适用于所有服务器的固定标准。拥有较多 PID 空间且业务进程较少的服务器,几十个僵尸可能暂时不影响运行;相反,进程限制较低的容器或共享环境,少量异常也可能较快触发限制。

观察数量是否持续增长

可以用低频、只读的方式采样:

for i in 1 2 3 4 5; do
    printf '\n[%s]\n' "$(date -Is)"
    ps -eo pid=,ppid=,stat=,user=,etime=,comm=,args= \
      | awk '$3 ~ /^Z/ {print}'
    printf 'count='
    ps -eo stat= | awk '$1 ~ /^Z/ {n++} END {print n+0}'
    sleep 30
done

如果五次采样都只有同一个 PID,或者旧 PID 消失后偶尔出现新的单个僵尸,问题可能是瞬时的。若数量从 2、5、9、15 持续上升,应转向父进程和应用服务排查。

通过 PPID 找到当前父进程

读取僵尸进程的 PPID

假设前面的结果中,僵尸进程 PID 是 18472:

ZPID=18472
PARENT_PID="$(ps -o ppid= -p "$ZPID" | awk '{print $1}')"

printf 'zombie_pid=%s\n' "$ZPID"
printf 'parent_pid=%s\n' "$PARENT_PID"

ps -p "$ZPID" -o pid,ppid,stat,user,etime,comm,args
ps -p "$PARENT_PID" -o pid,ppid,stat,user,etime,comm,args

可能得到类似下面的示例结果:

    PID    PPID STAT USER       ELAPSED COMMAND         COMMAND
  18472   18390 Z    app        00:08:21 worker          [worker] <defunct>

    PID    PPID STAT USER       ELAPSED COMMAND         COMMAND
  18390    2140 S    app        01:26:04 supervisor      /opt/example/bin/supervisor --workers 8

此时可以判断:

  • 18390 仍然存在,状态为 S,说明父进程没有退出。
  • 父进程命令是 supervisor,需要继续确认它属于哪个服务。
  • PPID 是当前父进程,不一定是最初启动该程序的根进程。如果中间父进程已经退出,僵尸进程可能已经被重新挂接到 PID 1。

如果僵尸进程在检查前已经被回收,ps -p "$ZPID" 可能没有输出,PARENT_PID 也会为空。这属于正常竞态,不代表命令失败。可以重新列出 Z 状态并立即执行检查。

查看进程树和父进程本身

如果系统安装了 pstree,可以执行:

pstree -aps "$ZPID"

-a 显示参数,-p 显示 PID,-s 显示从根进程到目标进程的父链。示例:

systemd(1)---supervisor(18390)---worker(18472)

也可以直接查看 /proc:

grep -E '^(Name|State|PPid|Uid):' "/proc/$ZPID/status"
grep -E '^(Name|State|PPid|Uid):' "/proc/$PARENT_PID/status"

readlink -f "/proc/$PARENT_PID/exe"
printf 'cmdline: '
tr '\0' ' ' < "/proc/$PARENT_PID/cmdline"
printf '\n'

对僵尸进程执行下面的命令时,/proc/18472/exe 读取失败并不奇怪:

readlink -f "/proc/$ZPID/exe"

因为僵尸进程的用户态程序已经结束,没有可执行映像可以读取。应把检查重点放在父进程的 /proc 信息上。

需要注意,PPID=1 并不意味着“可以直接处理 PID 1”。它可能表示:

  • 原父进程已经退出,僵尸进程被重新挂接到系统初始化进程。
  • 僵尸进程位于容器内部,容器内的 PID 1 是应用本身或一个简单启动脚本。
  • 当前环境存在 PID 命名空间,宿主机和容器内看到的 PID 并不相同。

检查进程是否处于容器或其他 PID 命名空间,可以读取:

readlink "/proc/1/ns/pid"
readlink "/proc/$ZPID/ns/pid"
readlink "/proc/$PARENT_PID/ns/pid"

如果父进程就是宿主机或容器内的 PID 1,不要直接发送终止信号。PID 1 通常承担信号转发、子进程回收和服务启动职责,误操作可能导致整个环境退出。

从父进程定位到服务和日志

确认是否由 systemd 服务管理

先查看父进程的 cgroup:

cat "/proc/$PARENT_PID/cgroup"

在使用 cgroup v2 的系统中,可能看到类似结果:

0::/system.slice/example.service

这通常说明父进程属于 example.service。确认服务状态:

SERVICE=example.service

systemctl status "$SERVICE" --no-pager
systemctl show "$SERVICE" \
  -p MainPID \
  -p ControlGroup \
  -p ActiveState \
  -p SubState

重点核对:

  • MainPID 是否与刚刚找到的父进程一致,或是否属于同一个服务的子进程。
  • ActiveState 是否为 active。
  • SubState 是否为 running。
  • 服务是否频繁重启,或者主进程 PID 已经变化。

如果 cgroup 中没有明确的服务名称,不要凭进程名猜测 unit。可以先查看父进程的启动命令、执行路径和用户,再结合服务部署记录确认归属。

读取近期日志:

journalctl -u "$SERVICE" --since "30 min ago" --no-pager

如果服务没有使用 systemd 日志,应查看应用自身的日志目录或日志系统。重点搜索以下类型的信息:

  • 子进程创建失败。
  • fork、wait、waitpid 或回收子进程失败。
  • worker 异常退出。
  • 文件描述符、用户进程数或 PID 数量达到限制。
  • 服务启动后反复拉起子进程。

可以单独查看父进程相关日志,但 PID 可能已经被复用,时间范围不能拉得过长:

journalctl _PID="$PARENT_PID" --since "10 min ago" --no-pager

如果父进程已经退出,按 PID 查询可能没有结果,应优先按服务名和时间查询。

检查是否是脚本、进程管理器或容器入口

父进程不一定是业务程序,也可能是:

  • Shell 脚本启动的后台任务。
  • Web 服务或任务队列的 worker 管理器。
  • 自定义守护进程。
  • 容器内的入口进程。
  • 负责拉起子进程的监控程序。

如果父进程命令行中存在多个后台任务、启动脚本或自定义管理器,问题往往位于子进程回收逻辑。应用创建子进程后,需要通过 wait()、waitpid() 等机制读取退出状态,否则子进程退出后就会暂时保留为僵尸。

容器场景尤其需要检查容器内的 PID 1 是否具备回收子进程的能力。不要因为宿主机上看到一个 <defunct> 就直接重启整台台湾服务器;应先确认它属于哪个容器、哪个服务以及是否会影响业务。容器重启也会中断该容器内的连接和任务,处理方式应遵循现有发布或容灾流程。

针对台湾服务器上的长期运行服务与容器化应用,A5idc数据提供台北物理服务器,覆盖不同CPU、存储及优化或国际线路配置。独立的计算与存储资源可用于部署业务程序、运行多进程任务并保存服务日志,为按服务和容器边界管理应用提供基础设施支持。

根据结果决定是否处理

可以按下面的分支判断:

根据结果决定是否处理配图

观察结果可能含义建议
只有一个或少量 Z,数量稳定,父进程正常偶发子进程退出,父进程可能稍后回收记录 PID、PPID 和时间,持续观察
Z 数量持续增长,父进程长期存在父进程可能没有正确调用 wait 或处理子进程退出信号检查应用日志、版本和子进程管理逻辑
父进程属于可重启的业务服务,且业务允许短暂中断服务内部状态可能已经异常在维护窗口执行服务级重启,随后复测
父进程是容器内 PID 1容器入口程序可能没有回收子进程按容器部署流程修复入口或进程管理方式
父进程是宿主机 PID 1 或关键系统组件可能涉及系统初始化或命名空间问题不要直接终止 PID 1,先扩大日志和环境检查
僵尸数量大幅增加,并伴随新进程创建失败PID 或进程资源可能接近上限按紧急故障流程处理,先保障业务和可用容量
ps 中状态很快消失,重复检查无固定 PID父进程及时完成了回收通常无需干预

最重要的一点是:不要尝试直接“杀掉”僵尸进程。

kill -9 18472

对已经退出的僵尸进程,SIGKILL 不会让它再次退出,因为它本来就已经退出。命令可能返回成功,也可能因为进程刚好被回收而提示找不到进程,但这不代表问题得到解决。真正需要修复的是仍然存在的父进程回收逻辑。

需要修复时,优先选择服务级操作

systemd 服务的低影响处理方式

只有在以下条件都满足时,才考虑重启服务:

  • 已确认 unit 名称和父进程归属。
  • 已确认该服务允许重启,或者已经进入维护窗口。
  • 已评估连接中断、任务中断和未落盘数据风险。
  • 数据库、队列或文件写入类服务已经完成必要备份或具备恢复机制。
  • 已记录当前 unit 配置、版本和启动参数,便于失败后恢复。

服务重启可能中断现有连接,并不等同于根因修复。执行前可以先记录状态:

SERVICE=example.service

systemctl status "$SERVICE" --no-pager
systemctl cat "$SERVICE"
systemctl show "$SERVICE" \
  -p MainPID \
  -p ExecStart \
  -p ActiveState \
  -p SubState

确认无误后,再执行:

systemctl restart "$SERVICE"
systemctl is-active "$SERVICE"
systemctl status "$SERVICE" --no-pager

这里的成功标准不是只有 systemctl 返回成功,还包括:

  • 服务状态为 active (running)。
  • MainPID 已重新生成或恢复正常。
  • 业务健康检查通过。
  • 新的僵尸进程不再持续产生。
  • 旧的僵尸进程数量下降或被回收。

如果重启失败,先查看日志,不要连续重复重启:

journalctl -u "$SERVICE" -n 100 --no-pager
systemctl status "$SERVICE" --no-pager

如果之前修改过 unit 文件或应用配置,应恢复已备份的稳定版本,再执行必要的 systemctl daemon-reload,最后使用 systemctl start "$SERVICE"。服务重启本身没有“撤销”操作,已经中断的请求和未提交任务无法通过命令恢复,因此回滚主要依赖旧配置、备份数据、任务重试和流量切换机制。

非 systemd 父进程的处理边界

如果父进程由应用自己的启动脚本或管理工具维护,应优先使用该程序提供的停止、重载或重启方式。不要仅凭进程名执行终止操作。

确实需要手工终止时,至少先重新核对 PID、用户和完整命令行:

PARENT_PID=18390

ps -p "$PARENT_PID" -o pid,ppid,stat,user,etime,comm,args

确认不是 PID 复用、不是 PID 1、不是数据库或其他关键系统进程,并且已经完成维护确认后,才可以考虑先发送可处理的终止信号:

kill -TERM "$PARENT_PID"
sleep 5
ps -p "$PARENT_PID" -o pid,ppid,stat,user,etime,comm,args

SIGTERM 可能导致父进程及其管理的子进程停止,影响范围取决于应用结构。应提前确认流量是否已切走、任务是否可重试、数据是否已保存。SIGKILL 不给应用清理资源的机会,也无法回滚,不应作为常规解决方案:

kill -KILL "$PARENT_PID"

只有在父进程已明确失控、优雅停止无效并且已经按照故障流程批准时,才考虑最后手段。若父进程属于关键服务,优先使用服务管理器、故障转移或平台提供的受控操作。

需要从代码或版本层面修复的情况

如果每次业务请求、定时任务或 worker 退出都会产生新的僵尸进程,服务重启只能暂时清空现象,根因通常在程序的子进程管理逻辑。

开发或维护人员应重点检查:

  • 创建子进程后是否调用了 wait() 或 waitpid()。
  • 是否正确处理 SIGCHLD。
  • 子进程批量退出时,父进程是否循环回收所有已结束子进程。
  • 进程管理器是否同时启动了多个后台任务,却没有等待它们结束。
  • 容器入口程序是否能承担 PID 1 的信号转发和子进程回收职责。
  • 升级后的 worker、脚本解释器或进程管理器是否改变了退出行为。

如果必须观察父进程是否正在执行回收系统调用,可以把 strace 作为最后的短时诊断工具,而不是第一步操作:

timeout 10s strace -p "$PARENT_PID" \
  -e trace=wait4,waitid \
  -o "/tmp/parent-${PARENT_PID}-wait.trace"

该操作需要相应权限,附加调试器时可能短暂影响目标进程,在高并发生产服务上应谨慎使用。没有看到 wait4 或 waitid 不一定能直接证明程序有 bug,父进程可能在采样时间内没有子进程退出,或者回收逻辑位于其他线程、库或管理层中。诊断文件也可能包含进程信息,使用后应按服务器日志和临时文件管理规范处理。

修复后的复测与持续观察

完成服务重启、容器调整或代码修复后,按同一组指标复测,不要只看服务是否重新启动:

ps -eo pid=,ppid=,stat=,user=,etime=,comm=,args= \
  | awk '$3 ~ /^Z/ {print}'

ps -eo stat= | awk '$1 ~ /^Z/ {n++} END {print "zombie_count=" n+0}'
uptime
free -h

建议至少完成以下检查:

  1. 立即确认原僵尸 PID 是否已经消失,或者是否仍有同一父进程产生新的僵尸。
  2. 连续采样数分钟,确认 zombie_count 不再持续上升。
  3. 检查服务日志,确认没有新的子进程退出、回收失败或进程数限制错误。
  4. 执行应用健康检查,确认请求、任务消费、定时任务和后台 worker 正常。
  5. 如果问题与容器或服务重启有关,确认重启策略没有形成反复拉起循环。
  6. 将 PID、PPID、服务名称、发生时间和处理动作记录到故障记录中,便于后续对比。

一个长期稳定的结果不是“执行过一次 kill”,而是僵尸数量保持为零或稳定在可解释的低水平,父进程能够正常回收子进程,业务指标也没有出现新的异常。对台湾服务器而言,地域、机房时区和远程连接方式不会改变 Linux 僵尸进程的判断标准;真正需要持续关注的是父子进程关系、服务边界和数量变化趋势。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7338.html

相关推荐