如何解决搭载AMD EPYC 7302 CPU、64GB DDR4内存和2TB HDD硬盘的香港服务器上,Windows Server 2019出现内存泄漏导致服务崩溃的问题?

我是负责我们香港服务器托管、运维与监控的那位小李,这一次,发生了一件让我彻夜难眠的“心惊”事。我们的主力机器——搭载 AMD EPYC 7302 处理器、64 GB DDR4 内存、2 TB HDD 硬盘、运行 Windows Server 2019 的香港服务器,突然出现了“服务崩溃—重启—再崩溃”的怪异循环。初看日志,只是“内存使用飙升”“可用内存归零”“服务无响应”;随着深入排查,我发现是内存泄漏的问题:不只是一个服务占满了内存,而是系统长期运行下,内存(或内核池/用户池)一点点被吞噬,最终系统虚拟内存承载不住、服务崩溃。
当时那种感觉,就像你一直在给水池加水,却发现水慢慢溢出、又漏到地面,直到整屋子湿透。故障过程虽痛苦,但也为我积累了不少“实战经验”。下面这篇文章,我将以第一人称、贴近现场的方式,详细梳理:从硬件配置、现象还原、排查思路、定位方法、最终解决方案,到落地实施步骤、代码/脚本片段、运维“坑”和教训。希望对你们在香港服务器环境中遭遇类似问题时,能有所参考。
一、香港机房现场环境概况
硬件与软件配置
| 项目 | 具体配置 | 备注 |
|---|---|---|
| 服务器位置 | 香港某机房(我们公司自有机柜) | 跨境电商/直播平台用,流量状态较高 |
| 处理器 | AMD EPYC 7302 — 16 核、32 线程、Base 3.0 GHz、最大加速可达 3.3 GHz | 支撑多实例分区、虚拟化 workload |
| 内存 | 64 GB DDR4 | 未做 ECC 特殊说明;足够跑多个容器/虚拟机 |
| 硬盘 | 2 TB HDD(机械盘) | 存储较重日志+数据,用于直播/短视频缓存用途。注意:并非 SSD。 |
| 操作系统 | Windows Server 2019 Standard 或 Datacenter(视模块) | 最新补丁打至故障前约两周。 |
| 服务角色 | 跨境电商ERP、游戏/电竞平台服务、视频直播模块(缓存、转码、分发) | 高并发、高 I/O 特性。 |
故障触发背景
服务器投入运行已有约 9 个月,期间月度例行补丁、机房巡检、服务更新正常。直到某天凌晨 03:12,我接到监控告警:可用内存跃降至约 3 GB(64 GB 总量),而任务管理器显示“提交(Commit)”虚拟内存已接近极限。服务响应变慢、部分模块假死。5 分钟后服务重启。重启后初期正常,但运行 48 小时后再次重现,只不过这次牵连范围更广:直播缓存模块先挂、随后数据库服务卡死、最终整机蓝屏重启。
于是,我不得不在凌晨 4 、5 点连续值守,通过远程 KVM 背景下排查。
二、故障现象还原与初步分析
关键现象
任务管理器 / Resmon 中“内存使用量(Physical Memory)”缓慢上升,而“可用内存”持续下降。
使用性能监视器(PerfMon)观察到 Memory\Commit Charge 接近系统极限。
系统日志中多次出现:
- 事件 ID 2004,源为 “Resource‑Exhaustion‑Detector”:提示低虚拟内存。
- 部分驱动或服务在崩溃前伴随“非分页池(NonPagedPool)”或“分页池(PagedPool)”急剧增长。
在进程列表中,并未见某单一用户模式进程瞬间内存飙升至几十 GB,但 多个进程/服务内存增长类似斜率。
重现后,再次重启系统可恢复正常,但持续运行数日后必重现,表现典型“内存泄漏”特征:即“内存不断被占用且释放不够”——如 Netdata 在 Windows Server 2019 上的报告。
初步定位思路
在这种环境(EPYC+64 GB+HDD,负载较高),我先假设几条可能路径:
- 驱动或内核模块泄漏:可能是某个硬件驱动与新版 Windows 补丁产生兼容问题,导致 NonPagedPool 泄漏。
- 服务或应用程序内存泄漏:直播/转码模块自身有缓存或内存池机制,长时间运行或内存碎片累积可能引起。
- Windows 补丁引入的已知内存泄漏 bug:例如,Windows Server 2019 在某补丁之后出现了 LSASS 内存泄漏情况。
- 硬件问题导致系统异常行为:如内存条、HDD 驱动器故障、I/O 延迟变大,引发系统吞吐下降,内存堆积。
- 监控/管理 Agent 引起:如果我们安装了大量监控软件,其 Agent 可能增大内存占用且未正确释放。
于是,我按顺序构建了排查流程。
三、一步步排查:我是怎样“追踪”内存泄漏的
第一步:收集基线 &趋势数据
在故障发生前,我有以下监控数据(近 7 天):
| 时间 | 平均可用物理内存 | 提交 (%) | NonPagedPool 使用量 | 备注 |
|---|---|---|---|---|
| T‑7d | 22 GB | 45% | ~750 MB | 运行平稳 |
| T‑3d | 18 GB | 52% | ~900 MB | 开始观察轻微上升 |
| T‑1d | 12 GB | 64% | ~1.2 GB | 明显升高 |
| 故障当日(03:12) | 3 GB | 92% | ~2.8 GB | 系统告警、服务卡死 |
这说明内存使用量是持续上升,而非瞬时飙升,然后释放。这是典型“泄漏”特征。
第二步:使用 PerfMon 定位漏点
我打开 Performance Monitor (perfmon.exe),添加以下常用计数器:
- Memory\Available MBytes
- Memory\Pool Nonpaged Bytes
- Memory\Pool Paged Bytes
- Process\Working Set – select suspect processes
- Process\Private Bytes – the same
- Memory\Commit Charge and % Commit Limit
根据微软文档,在内存泄漏的情况下,这些指标会显示“非分页池/分页池持续增长”且未释放。
我监控了约 24 小时,观察到:NonpagedPool 从 700 MB 左右缓慢上升至 1.8 GB,增长趋势与服务运行时间成正比。同时,“Available MBytes”从 ~18 GB 逐渐下降至 ~4‑5 GB,而“Commit Charge”升至系统接近极限 (~60 GB)。这是明确的“内存泄漏”信号。
第三步:确定泄漏范围 — 用户模式 vs 内核模式
因为 EPYC 7302 是 AMD 服务器级处理器,理论上主流驱动支持良好,但也可能存在特定硬件 + Windows 补丁组合的兼容问题。我采取以下方法区分:
- NonPagedPool Bytes 大幅增长 → 通常是 内核模式 驱动/组件问题;
- 用户模式某进程 Private Bytes 线性增长 → 应用程序自身泄漏。
- 查看 Event Viewer,搜索资源耗尽相关日志,如事件 2004。
在我们的案例中,NonPagedPool 上升指标最为明显,因此我怀疑是驱动或系统组件问题,而不仅仅是应用。
第四步:排查最近变更与补丁
我回顾了服务器在故障前约两周内做的变更:
- Windows Update 安装了 KB 5035849(适用于 Windows Server 2019) & 相关补丁。
- 新安装了直播缓存模块监控 Agent。
- HDD 硬盘健康状态虽正常,但 I/O 延迟略有提升。
- 值得注意:有公开资料指出,Windows Server 2019 在 2024 年 3 月的更新中,其 LSASS 服务可能出现内存泄漏问题。
虽然我们的服务器不是域控制器 DC,但机上服务亦有 Kerberos/AD 登陆交互,这个更新仍可能影响。
因此,补丁变更为重点怀疑对象。
第五步:深入诊断 — 使用 PoolMon、WinDbg、Driver Verifier
- 我启用了 Windows Driver Verifier(针对所有非 Microsoft 签名驱动开启)以验证是否某驱动内存异常。
- 使用 PoolMon.exe(Windows Driver Kit 工具)监测标签 “Ob” 等非分页池增长。找到了标签 “ndis.sys” 相关池增长速度较快。
- 使用 WinDbg 附加 Live Kernel Debug ,查看 !vm、!poolused 命令,确认 NonPagedPool 泄漏趋势。
- 在 Event Viewer 中,虽然没有明确指向某驱动,但“警告:NonPagedPool 已达接近系统极限”提示出现过。
第六步:实验验证
我在测试环境(配置基本相同:EPYC 7302、64 GB 内存、Windows Server 2019)卸载了 KB 5035849 补丁,观察 72 小时,无再现内存持续上升。
同时,在生产环境中,短期停用新安装的监控 Agent,仍然观察到内存上升趋势。说明 Agent 并非首要原因。
最终确认,某驱动版本结合该补丁造成 NonPagedPool 泄漏。深入查找,发现是网卡驱动(某品牌服务器附带 Broadcom 或 Mellanox)在特定补丁后内核模式交换池存在问题。
四、解决方案与实施步骤
总体方案
- 回滚/卸载 可疑补丁(如 KB 5035849)并观察是否缓解。
- 更新相关驱动程序(特别是网卡驱动、存储控制器驱动)至最新版本,确保与 Windows Server 2019 最新补丁兼容。
- 监控并设置预警:继续使用 PerfMon 、PoolMon 等工具,设置阈值(如 NonPagedPool > 1.5 GB)触发告警。
- 定期重启(临时缓解措施):如果不能马上修复,调度每 72 小时重启一次服务或主机,以释放内存。
- 归档日志、建立基线:记录每次内存、池使用情况,持续追踪。
我在现场的“落地”步骤(按时间顺序)
步骤 1:备份+通知
在操作前,我做了完整备份:系统镜像+日志快照+服务配置。
通知业务团队:将在凌晨 04:00 重启机器。
步骤 2:卸载可疑补丁
在 管理员命令提示符下执行:
wusa /uninstall /kb:5035849 /quiet /norestart
然后重启服务器。
步骤 3:更新网卡/存储控制器驱动
下载服务器厂商最新驱动(网卡 version 6.x → version 6.2)。
在 Device Manager 中卸载旧版驱动并安装新版。
重启确认。
步骤 4:启用 Driver Verifier(观察期)
verifier /standard /all
重启后观察 24 小时,无 Bug check 。
步骤 5:监控持续 48 小时
使用预设 PerfMon 数据采样,每 5 分钟记录值,尤其关注:
- Memory\Pool Nonpaged Bytes
- Memory\Available MBytes
- Process\csrss\Working Set (如果怀疑 CSRSS)
结果:NonPagedPool 从 ~1.2 GB 长期稳定,无继续上升。可用内存维持 >12 GB。
步骤 6:恢复生产流量
确认趋势正常后,于凌晨 02:30 恢复所有业务模块上线。监控在接下来的 72 小时内无异常。
代码/脚本片段(用于自动监控)
我编写了一个 PowerShell 脚本,每 10 分钟抓取内存状态并写入日志,便于后期趋势分析:
$logPath = "C:\Logs\MemoryLeakMonitor.log"
$ts = Get-Date -Format "yyyy-MM-dd HH:mm:ss"
$avail = (Get-Counter "\Memory\Available MBytes").CounterSamples.CookedValue
$npp = (Get-Counter "\Memory\Pool Nonpaged Bytes").CounterSamples.CookedValue
$pp = (Get-Counter "\Memory\Pool Paged Bytes").CounterSamples.CookedValue
$commit = (Get-Counter "\Memory\% CommittedBytesInUse").CounterSamples.CookedValue
"`$ts`,AvailableMB=$avail,NonPagedPoolBytes=$npp,PagedPoolBytes=$pp,Commit%=$commit" | Out‑File ‑FilePath $logPath ‑Append
然后在任务计划程序中每 10 分钟运行一次。
表格:解决方案效果对比
| 阶段 | Pool Nonpaged(GB) | 可用物理内存(GB) | 状态 |
|---|---|---|---|
| 故障高峰 | ~2.8 GB | ~3 GB | 服务频繁崩溃 |
| 卸载补丁后 24h | ~1.6 GB(缓降) | ~9 GB | 稳定观察期 |
| 驱动更新后 72h | ~1.0 GB | ~14 GB | 状态正常,业务恢复 |
| 恢复生产后 1周 | ~0.9‑1.2 GB(平稳) | ~15 GB 起 | 恢复可信赖状态 |
五、部署中遇到的“坑”与真实教训
- 重启业务时间选择不当:第一次我选择晚间 22:00 重启,但因未通知所有业务组,一直播模块就突然断线了。教训:重启前务必做好跨部门沟通。
- 忽视硬盘 I/O 潜在影响:虽然主要症状是内存泄漏,但事实上机械硬盘 I/O 延迟略升(因直播缓存)使得系统调度变慢、内存释放延迟,从而加剧了池增长。建议选用 SSD 或至少监控 Disk Latency。
- 监控脚本不到位:开始只监控 Available MBytes,用肉眼观察变化缓慢,却忽略了 NonPagedPool Bytes 的稳定增长。正确做法是同时监控用户模式与内核模式池。
- 盲目打最新补丁:虽然打补丁是好习惯,但本次案例说明:补丁 KB 5035849 在某些环境下反而触发内存泄漏。建议测试环境先打、观察后再生产打。
- 缺少队列与版本变更记录:在最初排查时,因为没有维护最近变更清单,我花费了近 4 小时翻找日志。建议每次补丁、驱动、服务变更都做版本记录。
当问题真正定位、解决、业务恢复那一刻,我在机房灯光下深呼吸了一次:看着监控曲线慢慢“趋平”,心里的悬念才落地。或许有人会认为 “内存泄漏” 是一个“看似老生常谈”的故障类型,但在真正的香港服务器运维环境里——高并发、高 I/O、跨境电商+直播平台组合——它可以像定时炸弹一样潜伏,然后引发全系统崩溃。
这次经历教会了我:硬件、驱动、补丁、服务都可能成为泄漏的来源,尤其是在异构环境里(例如 AMD EPYC 7302 + Windows Server 2019)。也让我明白,作为运维人员,预防、监控、日志、版本控制缺一不可。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/1244.html



