服务器发现木马后如何清理?从隔离主机到排查持久化入口
服务器发现木马后,正确顺序不是登录主机后直接删除可疑文件,而是先将主机从业务网络和外联路径中隔离,在尽量保留证据的前提下确认影响范围,再决定原机清理还是从可信镜像重建。若木马已经取得 root 或管理员权限、修改系统组件,或能够持续生成进程,重建通常比“清理几个文件”更容易验证;一次扫描显示无威胁,也不能单独证明主机已经可信。
生产环境变更负责人需要同时处理三件事:控制攻击继续扩散,避免清理动作破坏取证和回滚依据,以及在恢复业务前重新建立端口、认证、权限、补丁、防火墙和审计边界。以下步骤以 Linux、systemd 主机为主要示例,命令应先核对发行版和实际服务名称;Windows 主机则对应检查服务、计划任务、启动项、本地管理员、远程登录和安全日志。

现状核对
先确认是否属于主机级入侵
“发现木马”可能来自终端安全软件、云平台告警、异常进程、Web 应用扫描或人工检查。先记录告警原文、文件路径、进程号、检测时间、文件哈希和关联域名,不要立即执行 rm、格式化或重启。
需要优先确认以下信息:
| 核对对象 | 需要确认的内容 | 对变更的影响 |
|---|---|---|
| 告警对象 | 文件、进程、端口、域名、账号还是应用请求 | 判断是单文件误报,还是已形成持久化 |
| 权限范围 | 木马运行身份是否为 root、管理员或高权限服务账号 | 高权限被取得时,原机可信性明显下降 |
| 网络暴露 | 公网地址、开放端口、出站连接、关联安全组 | 决定隔离范围和是否存在横向传播 |
| 业务关系 | Web、数据库、缓存、文件存储、容器和任务调度依赖 | 防止隔离或停服引起连锁故障 |
| 数据影响 | 是否存在新增账号、数据读取、修改、删除或外传迹象 | 决定是否需要扩大到数据和凭据处置 |
| 日志可信度 | 系统日志、Web 日志、审计日志是否连续、是否被清理 | 日志不可信时不能只依赖主机内结果 |
如果只是某个应用目录中出现异常脚本,也不能直接认定影响仅限于该文件。需要检查该文件的执行时间、所属账号、父进程、访问日志和是否曾写入系统目录。若异常进程以高权限运行,或者存在不明的 SSH 密钥、计划任务、系统服务和出站连接,应按主机失陷处理。
建立已知状态和业务基线
在执行变更前,先记录当前状态。重点不是收集所有信息,而是留下足够的对照依据:
- 当前主机名、IP、实例 ID、镜像版本、内核版本和时区。
- 业务允许存在的端口、进程、服务、定时任务和外联目标。
- 近期发布、补丁、账号变更、配置变更和安全告警时间。
- 与该主机关联的域名、负载均衡、云安全组、数据库、对象存储和密钥。
- 业务停止后可接受的时长,以及必须保留的连接或管理通道。
以 Linux systemd 主机为例,可以先进行只读采集。证据目录应位于单独挂载的受控存储上,不能只保存在可能已经被攻击者修改的本机磁盘中。
OUT=/mnt/ir-evidence/$(hostname)-$(date +%F-%H%M%S)
sudo install -d -m 700 "$OUT"
date -Is | sudo tee "$OUT/collected-at.txt" >/dev/null
hostnamectl 2>&1 | sudo tee "$OUT/hostnamectl.txt" >/dev/null
uname -a | sudo tee "$OUT/uname.txt" >/dev/null
sudo ss -lntup | sudo tee "$OUT/listening-sockets.txt" >/dev/null
sudo ss -ntup | sudo tee "$OUT/active-connections.txt" >/dev/null
ps -eo user,pid,ppid,lstart,etime,cmd --sort= user | sudo tee "$OUT/processes.txt" >/dev/null
sudo systemctl list-unit-files --state=enabled | sudo tee "$OUT/enabled-units.txt" >/dev/null
sudo systemctl list-timers --all | sudo tee "$OUT/timers.txt" >/dev/null
last -ai | head -100 | sudo tee "$OUT/last-logins.txt" >/dev/null
不同发行版可能没有 hostnamectl、ss 或完整的 systemd 工具。命令不可用时,应先核对系统,不要为了采集信息而临时从不可信来源安装软件。ps、网络连接和日志输出可能包含敏感信息,证据目录应限制访问,并记录谁在什么时间导出过数据。
变更准备
明确隔离、清理和恢复的边界
在变更单中写清楚以下内容:
- 受影响主机、实例、账号、域名和业务服务。
- 隔离开始时间、负责人、审批人、值班联系人和升级路径。
- 计划采取的动作:网络隔离、凭据轮换、原机清理、镜像重建、补丁更新或配置调整。
- 每一步的成功标准、最大执行时长和停止条件。
- 回滚使用的对象、恢复顺序和恢复后如何再次验证。
隔离不一定等于立刻关机。若需要保留内存态、进程关系或网络连接信息,应先完成必要采集;如果主机正在持续外传数据、向其他主机传播或破坏业务,则应优先断开公网和东西向网络。电源操作、强制重启和云盘替换都可能破坏证据,应由事件负责人决定并记录原因。
备份和回滚准备
备份应分成两类:
- 证据副本:保存告警文件、日志、配置、磁盘快照或内存采集结果,用于调查,不直接用于恢复生产。
- 恢复副本:使用确认早于入侵时间、来源可信且未被篡改的镜像、数据库备份、应用制品和配置版本。
当前主机刚生成的快照不能自动视为干净回滚点。备份中也可能包含木马、被篡改的脚本、泄露的密钥或已被污染的数据。恢复前至少要确认备份生成时间、来源、完整性校验和恢复后的扫描结果。
如果应用使用数据库,先核对备份恢复点和业务写入情况,避免只恢复服务器磁盘而遗漏数据库中的恶意账号、计划任务或被修改的数据。涉及数据删除、数据库回滚和密钥吊销时,应单独审批并保留可审计记录。
准备干净的管理通道和操作终端
不要使用可能已经被入侵主机读取过的密码、SSH 私钥、云访问密钥或浏览器会话登录其他系统。管理操作应从已更新、受控的运维终端发起,并优先使用云控制台、带审计的跳板机或带外管理通道。
如果攻击者可能读取过服务器上的凭据,应准备按顺序轮换:
- 云平台和基础设施管理员凭据。
- SSH 密钥、远程桌面凭据和本地高权限账号。
- 应用、数据库、对象存储和消息队列凭据。
- CI/CD、监控、代码仓库和第三方 API 令牌。
- TLS 私钥、签名密钥和用于自动化部署的凭据。
轮换时要先创建并验证新凭据,再撤销旧凭据,避免恢复服务时因顺序错误造成业务中断。旧密钥即使暂时未发现滥用迹象,也不应继续作为长期凭据。
分步实施
1. 先做网络隔离
优先在云安全组、上游防火墙、交换网络或负载均衡层实施隔离,再补充主机防火墙。这样即使木马继续运行,也不容易依赖主机自身规则绕过控制。
隔离策略应根据业务场景分层:
- 暂停公网入站,只保留来自受控运维地址的管理访问。
- 暂停不必要的出站访问,重点观察和限制异常 IP、域名、DNS、邮件和文件传输通道。
- 如果主机属于集群,禁止其访问不必要的东西向网段。
- 保留日志上送、时间同步、补丁仓库等必要通道,但应限制目标地址和端口。
- 记录 IPv4 和 IPv6 两套规则,避免只封了一套地址族。
如果必须在主机上调整防火墙,先导出规则,并确保有人通过控制台或带外通道可以恢复。不能在没有回滚手段的情况下直接执行清空规则、切换默认拒绝或批量关闭端口。
# 以下仅用于查看和备份,不会修改现有防火墙规则
sudo ufw status numbered 2>/dev/null || true
sudo firewall-cmd --list-all 2>/dev/null || true
sudo nft list ruleset 2>/dev/null | sudo tee "/root/nft-before-$(date +%F-%H%M%S).conf" >/dev/null
sudo iptables-save 2>/dev/null | sudo tee "/root/iptables-before-$(date +%F-%H%M%S).rules" >/dev/null
恢复时只能使用与当前防火墙实现相匹配的备份。nftables、iptables、firewalld 和 ufw 的管理方式并不相同,不应把一种工具导出的规则直接套到另一种环境。
2. 核对端口、进程和外联
端口清单应与业务基线逐项比对,而不是只看是否存在陌生端口。重点检查:
- 监听在
0.0.0.0或::上、但业务只需要本机访问的服务。 - 以临时目录、用户目录或异常路径中的二进制运行的进程。
- 进程名看似正常,但启动参数、父进程、文件路径或运行账号异常。
- 不明的长期出站连接、周期性 DNS 请求和访问陌生地址的程序。
- 端口关闭后是否会被服务、计划任务或容器重新拉起。
发现异常进程后,不要先杀进程再调查。先记录 PID、父 PID、命令行、可执行文件路径、运行用户、启动时间、连接对象和文件哈希。确认它不是业务组件或安全软件后,再在隔离状态下停止对应服务。直接删除正在运行的文件可能触发重新生成、破坏证据或导致业务无法恢复。
3. 排查认证入口和权限扩大
认证排查应同时覆盖“谁登录过”和“谁还能登录”:
- 检查本地用户、近期新增用户、异常 UID、过期账号和不应具备登录权限的服务账号。
- 检查管理员组、
sudoers、特权组和临时授权记录。 - 检查 root 及各服务账号的
authorized_keys,逐条核对密钥归属。 - 查看成功和失败登录、来源地址、登录时间、使用的账号和执行过的高风险命令。
- 检查应用后台账号、数据库账号、云平台子账号和部署令牌。
- 禁止共享管理员账号,服务账号不应具备交互式登录和无关的 sudo 权限。
Debian、Ubuntu 常见认证日志路径为 /var/log/auth.log,部分 RHEL 系发行版常见路径为 /var/log/secure;systemd 环境还应检查 journal。路径以实际配置为准:
sudo journalctl --since "7 days ago" --no-pager | sudo tee "$OUT/journal-7d.txt" >/dev/null
sudo last -ai | head -200 | sudo tee "$OUT/last-200.txt" >/dev/null
sudo lastb -ai 2>/dev/null | head -200 | sudo tee "$OUT/failed-logins-200.txt" >/dev/null
sudo find /root /home -name authorized_keys -type f -print -exec ls -l {} \; 2>/dev/null \
| sudo tee "$OUT/authorized-keys.txt" >/dev/null
确认恶意账号后,优先锁定或撤销密钥,而不是立即删除账号。删除账号可能影响文件归属、审计记录和正在运行的服务。处理前应备份账号配置和文件清单,验证无业务依赖后再删除。
4. 排查持久化入口
木马能否在重启、服务重载或管理员清理后再次出现,取决于持久化入口。Linux 主机至少检查以下位置:
| 持久化位置 | 重点检查 | 处置原则 |
|---|---|---|
| systemd 服务 | /etc/systemd/system、/usr/lib/systemd/system、启用状态和启动参数 | 先确认服务归属、文件来源和依赖,再停用并备份配置 |
| systemd 定时器 | systemctl list-timers --all 及对应 .timer、.service | 核对执行用户、脚本路径和最近修改时间 |
| Cron 与 at | 系统级 cron、用户 crontab、/var/spool/cron、at 任务 | 不要只检查 root 的 crontab |
| SSH 入口 | authorized_keys、SSH 配置、允许登录用户和来源限制 | 逐把核对密钥,轮换可能泄露的密钥 |
| Shell 启动文件 | /etc/profile、/etc/profile.d、用户 .bashrc 等 | 关注新增下载、解释器调用和环境变量注入 |
| 动态加载和内核模块 | /etc/ld.so.preload、模块加载配置、异常内核模块 | 一旦涉及系统组件或内核,优先考虑重建 |
| Web 应用 | 上传目录、脚本文件、应用启动项、后台账号和部署制品 | 使用可信制品重新发布,不从可疑目录覆盖恢复 |
| 容器和编排任务 | 容器启动策略、镜像来源、挂载目录、编排文件和任务 | 检查宿主机与容器边界,重新拉取可信镜像 |
| Windows 对应项 | 服务、计划任务、启动项、注册表启动键、本地管理员和远程登录 | 使用安全日志和受控扫描工具交叉验证 |
系统服务配置、计划任务和 Web 目录都应记录修改时间、所属用户和文件哈希。对可疑脚本不要直接覆盖原文件,先保存副本并隔离;确认其确实为恶意对象、且不会影响取证后,再执行移除。任何删除、移动和权限变更都需要写入变更记录,并准备从可信版本恢复的路径。
5. 在原机清理与可信重建之间做选择
可以用以下边界判断方案:
| 情况 | 更合适的处理方式 |
|---|---|
| 仅发现单个应用文件,运行身份权限低,系统文件、账号和持久化均未发现异常 | 可在备份和证据留存后进行受控清理,并重新部署应用 |
| 发现可疑服务、计划任务、SSH 密钥或多个异常账号,但未确认高权限入侵 | 先隔离和轮换凭据,评估是否能证明完整影响范围;无法证明时倾向重建 |
| root、管理员或高权限服务账号已被控制 | 使用可信镜像重建,不把原机“扫描通过”作为恢复条件 |
| 系统二进制、内核模块、动态加载配置或安全日志被修改 | 优先重建,原机仅用于取证 |
| 应用源码、构建流水线或数据访问凭据已泄露 | 重建主机和应用制品,同时轮换相关凭据并审查数据访问 |
| 不能确定入侵时间、攻击者权限或持久化入口 | 按完整失陷处理,采用最小可信恢复范围 |
原机清理的前提是能够列出可信的受影响文件、确认没有高权限持久化,并能用独立来源验证系统完整性。否则,重建的关键不是“重新安装系统”本身,而是使用可信镜像、可信应用制品、经过审查的配置和新凭据,避免把旧主机目录、脚本和密钥整体复制回去。
对于需要从可信镜像和应用制品重建主机的业务,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器租用,涵盖常规建站、AMD计算、存储及多IP等产品系列。不同配置可提供SSD或NVMe存储,并有多种CPU、内存与网络线路组合,为业务后台、数据库及跨境服务恢复提供部署资源。
6. 补丁、最小权限、防火墙和审计加固
恢复前应在测试或隔离环境完成补丁验证,确认内核、Web 服务、运行时、数据库、容器运行时及安全组件版本。不要在入侵主机上临时添加来源不明的软件仓库。RPM 系发行版可使用 rpm -Va,Debian 系发行版可使用 dpkg -V 进行初步核对,但包校验只能作为参考,不能替代重建和独立验证。
加固重点可以按以下顺序落地:
- 端口:只发布业务确实需要的端口。数据库、缓存、管理端口原则上仅允许来自业务网段或受控运维地址。
- 认证:限制管理入口来源,禁用不必要的密码登录和共享账号,使用密钥或多因素认证,并设置失败尝试和会话超时策略。
- 最小权限:应用使用独立服务账号,不授予无关的 sudo 权限;上传目录与执行目录分离;敏感配置文件限制读取权限。
- 补丁:优先修复公网暴露服务、远程执行风险、认证绕过和已被利用的组件;需要重启时先确认业务窗口。
- 防火墙:云安全组、网络防火墙和主机防火墙形成分层控制,IPv4 与 IPv6 规则保持一致。
- 审计:记录认证、权限变更、服务启停、计划任务、关键文件和管理操作,并将日志发送到权限隔离的独立位置。
- 监控:为新增监听端口、异常出站、管理员登录、服务账号交互式登录、关键目录变化和重复生成进程设置告警。
防火墙规则变更尤其容易造成自锁。应用新规则前应列出必须保留的健康检查、管理、日志和业务连接,先允许受控管理来源,再逐步收紧其他来源;不要直接执行全量清空规则或一次性关闭所有端口。回滚时使用变更前的规则备份,并从控制台验证恢复结果。
验证观察
恢复服务不能只验证网页能打开。建议按“主机、网络、认证、应用、审计”五个层面逐项检查,并保留结果。
| 验证层面 | 验证项目 | 合格条件 |
|---|---|---|
| 主机状态 | 进程、服务、计划任务、文件权限和系统完整性 | 仅存在已登记的业务对象,无异常自启动项 |
| 网络暴露 | 监听端口、云安全组、主机防火墙、IPv4/IPv6 | 端口与批准清单一致,管理端口不对公网开放 |
| 外联行为 | DNS、HTTP、邮件、文件传输和其他出站连接 | 仅访问登记的依赖目标,无异常周期性连接 |
| 认证权限 | 管理员、服务账号、密钥、失败登录和权限变更 | 旧凭据已撤销,服务账号不能交互式登录 |
| 应用功能 | 健康检查、登录、读写、异步任务和依赖服务 | 核心功能正常,错误率和延迟在变更前基线范围内 |
| 审计监控 | 日志上送、告警、时间同步和磁盘空间 | 日志连续可查,异常端口和登录能触发告警 |
重新检查监听端口和失败服务:
sudo ss -lntup
sudo systemctl --failed
sudo systemctl list-timers --all
sudo journalctl -p warning..alert --since "1 hour ago" --no-pager
如果使用 auditd,还应检查其服务状态和近期记录;如果系统原本没有审计服务,不要为了“看起来有日志”而在生产窗口内盲目启用大量规则。审计配置应先在测试环境验证日志量、磁盘占用和告警质量,再逐步上线。
应用恢复建议分阶段进行:先在隔离网段启动主机和依赖服务,验证端口、进程及日志;再允许内部健康检查;最后恢复公网流量,并采用小比例流量、短时间观察和可逆配置。每次放开一层访问,都要重新检查出站连接、异常进程和认证日志。
观察指标不应只看 CPU 和内存,还应包括:
- 未登记的监听端口和服务重启。
- 新增本地账号、SSH 密钥、管理员权限和计划任务。
- 重复访问陌生域名或固定外部地址。
- Web 上传目录、系统目录和应用制品的异常变化。
- 失败登录激增、服务账号交互式登录和非计划的远程管理。
- 应用错误率、队列积压、数据库写入异常和文件数量变化。
回滚条件
回滚不是把当前受影响磁盘原样恢复,而是回到已确认可信的镜像、配置、应用制品和数据恢复点。以下情况应停止继续放量,并评估回滚或再次隔离:
- 清理后重新出现相同文件、进程、端口、计划任务或服务。
- 发现新的高权限账号、未知 SSH 密钥或旧凭据仍在被使用。
- 出现未登记的出站连接、异常 DNS 请求或疑似数据外传。
- 系统完整性校验失败,或安全日志、审计日志无法解释关键时间段。
- 应用制品、构建环境、数据库任务或关联主机也出现相同 IOC。
- 防火墙、补丁或权限变更导致管理通道、健康检查或核心业务不可用。
- 观察期间出现无法归因的服务重启、权限扩大、文件批量修改或业务数据异常。
回滚前先保留当前状态和新增日志,避免再次覆盖证据。若只是配置或防火墙变更导致故障,可以恢复变更前的配置备份;若怀疑主机再次失陷,应切换到可信镜像,不要把当前系统目录、用户目录、启动脚本和密钥整体复制回新主机。数据恢复则按照单独确认过的恢复点执行,并在恢复后重新轮换凭据。
观察窗口应覆盖至少一个完整业务周期。对一般互联网服务,可以按风险安排约 24 至 72 小时的分阶段观察;涉及重要数据、复杂定时任务或不明确入侵时间的主机,应延长到一次完整发布周期或更长。观察期间只允许已审批的变更,所有新告警都要与基线和变更记录对照。
只要出现持久化复现、未知高权限活动、异常外联或审计无法闭合,就应重新隔离并触发回滚或可信重建,而不是继续在原机上反复删除文件。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5471.html