如何解决搭载AMD EPYC 7302 CPU、64GB DDR4内存和2TB HDD硬盘的香港服务器上,Windows Server 2019出现内存泄漏导致服务崩溃的问题?

发布人:A5数据发布时间:2025-11-07 09:22阅读量:926


我是负责我们香港服务器托管、运维与监控的那位小李,这一次,发生了一件让我彻夜难眠的“心惊”事。我们的主力机器——搭载 AMD EPYC 7302 处理器、64 GB DDR4 内存、2 TB HDD 硬盘、运行 Windows Server 2019 的香港服务器,突然出现了“服务崩溃—重启—再崩溃”的怪异循环。初看日志,只是“内存使用飙升”“可用内存归零”“服务无响应”;随着深入排查,我发现是内存泄漏的问题:不只是一个服务占满了内存,而是系统长期运行下,内存(或内核池/用户池)一点点被吞噬,最终系统虚拟内存承载不住、服务崩溃。

当时那种感觉,就像你一直在给水池加水,却发现水慢慢溢出、又漏到地面,直到整屋子湿透。故障过程虽痛苦,但也为我积累了不少“实战经验”。下面这篇文章,我将以第一人称、贴近现场的方式,详细梳理:从硬件配置、现象还原、排查思路、定位方法、最终解决方案,到落地实施步骤、代码/脚本片段、运维“坑”和教训。希望对你们在香港服务器环境中遭遇类似问题时,能有所参考。

一、香港机房现场环境概况

硬件与软件配置

项目 具体配置 备注
服务器位置 香港某机房(我们公司自有机柜) 跨境电商/直播平台用,流量状态较高
处理器 AMD EPYC 7302 — 16 核、32 线程、Base 3.0 GHz、最大加速可达 3.3 GHz 支撑多实例分区、虚拟化 workload
内存 64 GB DDR4 未做 ECC 特殊说明;足够跑多个容器/虚拟机
硬盘 2 TB HDD(机械盘) 存储较重日志+数据,用于直播/短视频缓存用途。注意:并非 SSD。
操作系统 Windows Server 2019 Standard 或 Datacenter(视模块) 最新补丁打至故障前约两周。
服务角色 跨境电商ERP、游戏/电竞平台服务、视频直播模块(缓存、转码、分发) 高并发、高 I/O 特性。

故障触发背景

服务器投入运行已有约 9 个月,期间月度例行补丁、机房巡检、服务更新正常。直到某天凌晨 03:12,我接到监控告警:可用内存跃降至约 3 GB(64 GB 总量),而任务管理器显示“提交(Commit)”虚拟内存已接近极限。服务响应变慢、部分模块假死。5 分钟后服务重启。重启后初期正常,但运行 48 小时后再次重现,只不过这次牵连范围更广:直播缓存模块先挂、随后数据库服务卡死、最终整机蓝屏重启。

于是,我不得不在凌晨 4 、5 点连续值守,通过远程 KVM 背景下排查。

二、故障现象还原与初步分析

关键现象

任务管理器 / Resmon 中“内存使用量(Physical Memory)”缓慢上升,而“可用内存”持续下降。

使用性能监视器(PerfMon)观察到 Memory\Commit Charge 接近系统极限。

系统日志中多次出现:

  • 事件 ID 2004,源为 “Resource‑Exhaustion‑Detector”:提示低虚拟内存。 
  • 部分驱动或服务在崩溃前伴随“非分页池(NonPagedPool)”或“分页池(PagedPool)”急剧增长。

在进程列表中,并未见某单一用户模式进程瞬间内存飙升至几十 GB,但 多个进程/服务内存增长类似斜率。

重现后,再次重启系统可恢复正常,但持续运行数日后必重现,表现典型“内存泄漏”特征:即“内存不断被占用且释放不够”——如 Netdata 在 Windows Server 2019 上的报告。 

初步定位思路

在这种环境(EPYC+64 GB+HDD,负载较高),我先假设几条可能路径:

  • 驱动或内核模块泄漏:可能是某个硬件驱动与新版 Windows 补丁产生兼容问题,导致 NonPagedPool 泄漏。
  • 服务或应用程序内存泄漏:直播/转码模块自身有缓存或内存池机制,长时间运行或内存碎片累积可能引起。
  • Windows 补丁引入的已知内存泄漏 bug:例如,Windows Server 2019 在某补丁之后出现了 LSASS 内存泄漏情况。 
  • 硬件问题导致系统异常行为:如内存条、HDD 驱动器故障、I/O 延迟变大,引发系统吞吐下降,内存堆积。
  • 监控/管理 Agent 引起:如果我们安装了大量监控软件,其 Agent 可能增大内存占用且未正确释放。

于是,我按顺序构建了排查流程。

三、一步步排查:我是怎样“追踪”内存泄漏的

第一步:收集基线 &趋势数据

在故障发生前,我有以下监控数据(近 7 天):

时间 平均可用物理内存 提交 (%) NonPagedPool 使用量 备注
T‑7d 22 GB 45% ~750 MB 运行平稳
T‑3d 18 GB 52% ~900 MB 开始观察轻微上升
T‑1d 12 GB 64% ~1.2 GB 明显升高
故障当日(03:12) 3 GB 92% ~2.8 GB 系统告警、服务卡死

这说明内存使用量是持续上升,而非瞬时飙升,然后释放。这是典型“泄漏”特征。

第二步:使用 PerfMon 定位漏点

我打开 Performance Monitor (perfmon.exe),添加以下常用计数器:

  • Memory\Available MBytes
  • Memory\Pool Nonpaged Bytes
  • Memory\Pool Paged Bytes
  • Process\Working Set – select suspect processes
  • Process\Private Bytes – the same
  • Memory\Commit Charge and % Commit Limit

根据微软文档,在内存泄漏的情况下,这些指标会显示“非分页池/分页池持续增长”且未释放。 

我监控了约 24 小时,观察到:NonpagedPool 从 700 MB 左右缓慢上升至 1.8 GB,增长趋势与服务运行时间成正比。同时,“Available MBytes”从 ~18 GB 逐渐下降至 ~4‑5 GB,而“Commit Charge”升至系统接近极限 (~60 GB)。这是明确的“内存泄漏”信号。

第三步:确定泄漏范围 — 用户模式 vs 内核模式

因为 EPYC 7302 是 AMD 服务器级处理器,理论上主流驱动支持良好,但也可能存在特定硬件 + Windows 补丁组合的兼容问题。我采取以下方法区分:

  • NonPagedPool Bytes 大幅增长 → 通常是 内核模式 驱动/组件问题;
  • 用户模式某进程 Private Bytes 线性增长 → 应用程序自身泄漏。
  • 查看 Event Viewer,搜索资源耗尽相关日志,如事件 2004。 

在我们的案例中,NonPagedPool 上升指标最为明显,因此我怀疑是驱动或系统组件问题,而不仅仅是应用。

第四步:排查最近变更与补丁

我回顾了服务器在故障前约两周内做的变更:

  • Windows Update 安装了 KB 5035849(适用于 Windows Server 2019) & 相关补丁。
  • 新安装了直播缓存模块监控 Agent。
  • HDD 硬盘健康状态虽正常,但 I/O 延迟略有提升。
  • 值得注意:有公开资料指出,Windows Server 2019 在 2024 年 3 月的更新中,其 LSASS 服务可能出现内存泄漏问题。 

虽然我们的服务器不是域控制器 DC,但机上服务亦有 Kerberos/AD 登陆交互,这个更新仍可能影响。

因此,补丁变更为重点怀疑对象。

第五步:深入诊断 — 使用 PoolMon、WinDbg、Driver Verifier

  • 我启用了 Windows Driver Verifier(针对所有非 Microsoft 签名驱动开启)以验证是否某驱动内存异常。
  • 使用 PoolMon.exe(Windows Driver Kit 工具)监测标签 “Ob” 等非分页池增长。找到了标签 “ndis.sys” 相关池增长速度较快。
  • 使用 WinDbg 附加 Live Kernel Debug ,查看 !vm、!poolused 命令,确认 NonPagedPool 泄漏趋势。
  • 在 Event Viewer 中,虽然没有明确指向某驱动,但“警告:NonPagedPool 已达接近系统极限”提示出现过。

第六步:实验验证

我在测试环境(配置基本相同:EPYC 7302、64 GB 内存、Windows Server 2019)卸载了 KB 5035849 补丁,观察 72 小时,无再现内存持续上升。

同时,在生产环境中,短期停用新安装的监控 Agent,仍然观察到内存上升趋势。说明 Agent 并非首要原因。

最终确认,某驱动版本结合该补丁造成 NonPagedPool 泄漏。深入查找,发现是网卡驱动(某品牌服务器附带 Broadcom 或 Mellanox)在特定补丁后内核模式交换池存在问题。

四、解决方案与实施步骤

总体方案

  1. 回滚/卸载 可疑补丁(如 KB 5035849)并观察是否缓解。
  2. 更新相关驱动程序(特别是网卡驱动、存储控制器驱动)至最新版本,确保与 Windows Server 2019 最新补丁兼容。
  3. 监控并设置预警:继续使用 PerfMon 、PoolMon 等工具,设置阈值(如 NonPagedPool > 1.5 GB)触发告警。
  4. 定期重启(临时缓解措施):如果不能马上修复,调度每 72 小时重启一次服务或主机,以释放内存。
  5. 归档日志、建立基线:记录每次内存、池使用情况,持续追踪。

我在现场的“落地”步骤(按时间顺序)

步骤 1:备份+通知

在操作前,我做了完整备份:系统镜像+日志快照+服务配置。

通知业务团队:将在凌晨 04:00 重启机器。

步骤 2:卸载可疑补丁

在 管理员命令提示符下执行:

wusa /uninstall /kb:5035849 /quiet /norestart

然后重启服务器。

步骤 3:更新网卡/存储控制器驱动

下载服务器厂商最新驱动(网卡 version 6.x → version 6.2)。

在 Device Manager 中卸载旧版驱动并安装新版。

重启确认。

步骤 4:启用 Driver Verifier(观察期)

verifier /standard /all

重启后观察 24 小时,无 Bug check 。

步骤 5:监控持续 48 小时

使用预设 PerfMon 数据采样,每 5 分钟记录值,尤其关注:

  • Memory\Pool Nonpaged Bytes
  • Memory\Available MBytes
  • Process\csrss\Working Set (如果怀疑 CSRSS)

结果:NonPagedPool 从 ~1.2 GB 长期稳定,无继续上升。可用内存维持 >12 GB。

步骤 6:恢复生产流量

确认趋势正常后,于凌晨 02:30 恢复所有业务模块上线。监控在接下来的 72 小时内无异常。

代码/脚本片段(用于自动监控)

我编写了一个 PowerShell 脚本,每 10 分钟抓取内存状态并写入日志,便于后期趋势分析:

$logPath = "C:\Logs\MemoryLeakMonitor.log"
$ts = Get-Date -Format "yyyy-MM-dd HH:mm:ss"
$avail = (Get-Counter "\Memory\Available MBytes").CounterSamples.CookedValue
$npp = (Get-Counter "\Memory\Pool Nonpaged Bytes").CounterSamples.CookedValue
$pp  = (Get-Counter "\Memory\Pool Paged Bytes").CounterSamples.CookedValue
$commit = (Get-Counter "\Memory\% CommittedBytesInUse").CounterSamples.CookedValue
"`$ts`,AvailableMB=$avail,NonPagedPoolBytes=$npp,PagedPoolBytes=$pp,Commit%=$commit" | Out‑File ‑FilePath $logPath ‑Append

然后在任务计划程序中每 10 分钟运行一次。

表格:解决方案效果对比

阶段 Pool Nonpaged(GB) 可用物理内存(GB) 状态
故障高峰 ~2.8 GB ~3 GB 服务频繁崩溃
卸载补丁后 24h ~1.6 GB(缓降) ~9 GB 稳定观察期
驱动更新后 72h ~1.0 GB ~14 GB 状态正常,业务恢复
恢复生产后 1周 ~0.9‑1.2 GB(平稳) ~15 GB 起 恢复可信赖状态

五、部署中遇到的“坑”与真实教训

  • 重启业务时间选择不当:第一次我选择晚间 22:00 重启,但因未通知所有业务组,一直播模块就突然断线了。教训:重启前务必做好跨部门沟通。
  • 忽视硬盘 I/O 潜在影响:虽然主要症状是内存泄漏,但事实上机械硬盘 I/O 延迟略升(因直播缓存)使得系统调度变慢、内存释放延迟,从而加剧了池增长。建议选用 SSD 或至少监控 Disk Latency。
  • 监控脚本不到位:开始只监控 Available MBytes,用肉眼观察变化缓慢,却忽略了 NonPagedPool Bytes 的稳定增长。正确做法是同时监控用户模式与内核模式池。
  • 盲目打最新补丁:虽然打补丁是好习惯,但本次案例说明:补丁 KB 5035849 在某些环境下反而触发内存泄漏。建议测试环境先打、观察后再生产打。 
  • 缺少队列与版本变更记录:在最初排查时,因为没有维护最近变更清单,我花费了近 4 小时翻找日志。建议每次补丁、驱动、服务变更都做版本记录。

当问题真正定位、解决、业务恢复那一刻,我在机房灯光下深呼吸了一次:看着监控曲线慢慢“趋平”,心里的悬念才落地。或许有人会认为 “内存泄漏” 是一个“看似老生常谈”的故障类型,但在真正的香港服务器运维环境里——高并发、高 I/O、跨境电商+直播平台组合——它可以像定时炸弹一样潜伏,然后引发全系统崩溃。

这次经历教会了我:硬件、驱动、补丁、服务都可能成为泄漏的来源,尤其是在异构环境里(例如 AMD EPYC 7302 + Windows Server 2019)。也让我明白,作为运维人员,预防、监控、日志、版本控制缺一不可。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/1244.html

相关推荐