VMware ESXi虚拟机快照合并长时间未完成,如何排查存储空间、磁盘I/O和文件锁?

发布人:A5数据发布时间:2026-11-12 10:04阅读量:35

当 VMware ESXi 虚拟机执行快照合并后长时间没有完成,不能仅凭“任务一直显示进行中”就判断为文件锁死,也不能直接删除 -delta.vmdk 或快照目录。合并过程可能仍在复制大量变更数据,也可能受到数据存储空间、VMFS 元数据、存储延迟、NFS 后端配额、vSAN 重同步、虚拟机持续写入或其他主机持有文件锁的影响。

排查重点是先确认合并是否仍在推进,再把问题分为容量、数据通路、文件系统、锁竞争、管理服务和虚拟机业务写入几个分支。只有当文件大小、I/O 指标、任务日志和锁信息相互印证后,才能决定是等待、降低写入压力、扩充空间,还是处理异常锁和存储路径。

一、先确认是“慢”还是“没有推进”

1. 记录任务和影响范围

先在 vCenter 的 Recent Tasks、Events 和虚拟机 Summary 中记录以下信息:

  • 快照合并或 Consolidate 任务的开始时间;
  • 当前任务所在的 ESXi 主机和数据存储;
  • 虚拟机是否处于开机状态;
  • 虚拟机是否正在进行备份、复制、Storage vMotion、vMotion 或其他快照操作;
  • 是否只有一台虚拟机受影响,还是同一数据存储上的多台虚拟机都变慢;
  • 任务状态是持续运行、失败、取消中,还是 vCenter 页面不再刷新。

不要频繁点击“合并”“取消”或重复创建快照。一个合并任务已经在执行时,重复操作可能增加快照链、锁竞争和写入压力,使原本可以完成的合并进一步延迟。

快照合并时间不能只按快照文件当前大小估算。假设待合并数据约为 300 GB,实际有效合并速度为 50 MB/s,并按十进制单位计算:

  • 300 GB = 300,000 MB;
  • 300,000 MB ÷ 50 MB/s = 6,000 秒;
  • 6,000 秒约为 100 分钟。

这只是持续顺序写入条件下的理论值。虚拟机仍在运行时,新的写入会继续进入当前叶子磁盘;如果存储存在随机 I/O、队列等待或多层快照链,实际时间可能明显增加。

2. 判断快照文件是否仍在变化

在确认虚拟机目录后,可以通过 ESXi Shell 或 SSH 查看相关文件的大小和修改时间。以下路径仅为示例,不能直接替换为读者环境中的真实路径。

ls -lh "/vmfs/volumes/<datastore>/<vm-directory>"/*.vmdk

重点关注:

  • disk.vmdk 等描述文件;
  • disk-flat.vmdk 等基础磁盘数据文件;
  • disk-000001.vmdk 等快照描述文件;
  • disk-000001-delta.vmdk 或 disk-000001-sesparse.vmdk 等增量文件;
  • vmware.log 和轮转产生的 vmware-*.log。

在间隔 5 到 10 分钟后再次查看,比较增量文件、父磁盘或相关临时文件的大小和修改时间。如果文件持续变化,同时数据存储有写入活动,说明合并可能仍在进行;如果长时间没有任何文件变化,再结合日志和锁信息判断是否停滞。

需要注意,vCenter 的快照树和数据存储中的实际文件可能不完全一致。快照管理器中看不到快照,不代表目录中一定没有增量磁盘;相反,目录中存在 -00000x.vmdk 文件,也不一定代表当前仍有可见快照。可以先获取虚拟机 ID,再查看快照树和文件布局:

vim-cmd vmsvc/getallvms
vim-cmd vmsvc/snapshot.get <VMID>
vim-cmd vmsvc/get.filelayout <VMID>

不同 ESXi 版本和权限环境下,部分命令的输出内容可能不同。命令结果只用于观察,不要据此直接删除目录中的文件。

二、建立原因树:按证据而不是单一现象判断

排查分支常见原因重点观察下一步
容量和元数据VMFS 空间不足、NFS 配额耗尽、精简池不足、目录或元数据资源紧张数据存储可用空间、后端池、快照文件增长、日志大小释放或增加受支持的存储空间,停止额外快照和备份写入
数据通路和 I/O阵列延迟、路径故障、NFS 网络抖动、vSAN 重同步、数据存储争用GAVG、DAVG、KAVG、队列、APD/PDL、NFS 或 vSAN 状态先处理存储路径和后端性能,再继续合并
文件系统和磁盘链VMFS 挂载异常、NFS 文件句柄异常、描述文件链不一致、快照链过长vmkernel.log、文件布局、链一致性、挂载状态保留证据,避免手工改动,必要时按 VMware 支持流程修复
文件锁和并发任务其他 ESXi 主机、备份程序、复制任务或旧的 VMX 进程仍持有文件锁拥有者、主机状态、任务列表、备份作业先确认实际访问者,再处理任务或主机状态
管理服务hostd、vpxa 状态滞后,vCenter 显示与主机实际状态不一致hostd、vpxa 日志与实际文件变化不要把管理服务重启当成合并修复手段
虚拟机业务写入数据库、日志服务或文件服务器持续高写入,新增数据追上合并速度虚拟机 I/O、应用日志、快照文件增长速率降低写入或安排维护窗口后再合并

三、排查存储空间、文件数和日志增长

1. 先检查 ESXi 看到的可用空间

在 ESXi Shell 中查看数据存储列表和系统 ramdisk:

esxcli storage filesystem list
vdf -h
df -h

esxcli storage filesystem list 主要用于确认 VMFS、NFS 等文件系统是否正常挂载,以及容量和可用空间。vdf -h 和 df -h 更适合观察 ESXi 系统分区、日志分区和挂载点,二者不要混为一谈。

重点区分以下几种空间:

  • 数据存储剩余空间:快照增量文件、虚拟磁盘和虚拟机日志通常消耗这里;
  • ESXi 系统或 scratch 空间:主要影响主机日志和管理组件;
  • 存储阵列精简池空间:ESXi 看到的 VMFS 可用空间不一定等于阵列后端真正可分配的空间;
  • NFS 导出目录的配额:NFS 服务端可能还有容量,但当前导出或用户配额已经用尽;
  • vSAN 集群可用容量和对象布局:策略开销、重同步和故障域限制都会影响实际可用空间。

数据存储剩余空间较少时,快照合并不一定立即失败。合并需要读取增量数据并向父磁盘写入,同时还可能产生临时元数据、日志和新的写入。如果可用空间只剩几个百分点,任何持续写入都可能让合并从“缓慢”变成“失败”。

运维中可以把 15%~20% 作为普通数据存储的预警参考,但这不是所有环境的固定安全线。真正需要预留的空间还应包括:

  • 当前最大快照的增长量;
  • 合并期间虚拟机的持续写入量;
  • 同一数据存储上其他虚拟机可能产生的快照;
  • .vswp、虚拟机日志和备份临时文件;
  • 精简置备存储后端的额外余量。

2. 不要把 inode 检查机械套用到 VMFS

Linux 中常用 df -i 检查 inode,但 VMFS 不以 Linux inode 的形式向 ESXi 管理员暴露同一套指标。对 VMFS 来说,更常见的相关问题是空间耗尽、文件数和目录项过多、VMFS 元数据资源紧张,以及存储路径异常。

如果数据存储是 NFS,则需要在 NFS 服务端检查:

  • 文件系统容量;
  • inode 或文件数量;
  • 导出目录配额;
  • 用户或项目配额;
  • 服务端是否进入只读状态;
  • 是否存在 stale file handle、文件锁或 NFS 服务异常。

因此,在 ESXi 上看见还有几十 GB 可用空间,并不能证明 NFS 合并一定可以继续。NFS 后端配额、inode 或导出策略耗尽,都可能表现为写入失败、任务长时间等待或反复重试。

3. 检查虚拟机日志是否吞噬数据存储

虚拟机目录中的 vmware.log、vmware-1.log 等文件通常会轮转,但在存储异常、设备反复重置或虚拟机持续报错时,日志可能增长较快。可以只针对目标虚拟机目录查看:

cd "/vmfs/volumes/<datastore>/<vm-directory>"
ls -lh vmware.log vmware-*.log 2>/dev/null

如果发现日志异常增长,先读取日志中的时间点和错误原因,不要直接删除正在使用的日志。日志增长可能只是结果,也可能暴露真正的根因,例如:

  • 虚拟磁盘 I/O 错误;
  • 数据存储不可访问;
  • 锁获取失败;
  • 快照链读取失败;
  • 虚拟机设备反复重置。

ESXi 主机日志也需要单独检查:

grep -iE 'snapshot|consolidat|lock|no space|I/O|APD|PDL|NFS|ATS' \
/var/log/hostd.log /var/log/vpxa.log /var/log/vmkernel.log 2>/dev/null | tail -n 200

上述输出只是示例检查方式,不代表读者环境已经出现这些日志。建议把 vCenter 任务开始时间、虚拟机日志时间和 vmkernel.log 中的错误时间对齐。如果所有日志都在同一时间出现存储路径错误,优先处理存储,而不是先操作快照文件。

四、用 I/O 指标判断是存储慢还是任务停滞

1. 观察 ESXi 磁盘延迟和队列

可以在 ESXi Shell 中运行:

esxtop

进入后查看磁盘设备、适配器和虚拟机相关视图,重点关注:

  • GAVG/cmd:从虚拟机请求角度看到的总延迟;
  • DAVG/cmd:设备或存储后端处理延迟;
  • KAVG/cmd:VMkernel 队列或主机内部等待延迟;
  • QUED、ACTV、%USD:队列、活动请求和设备忙碌程度;
  • 读写吞吐、IOPS 和不同数据存储之间的争用。

对于批量采样,也可以使用批处理模式:

esxtop -b -d 5 -n 12 > /tmp/esxtop-snapshot.csv

不同版本的字段排列可能不同,导出的文件更适合在维护窗口后分析。esxtop 指标需要结合存储类型、业务负载和历史基线判断,不能只因为一次延迟升高就认定存储故障。

作为排查参考:

  • 持续 20~30 ms 以上的总延迟,可能已经影响部分业务;
  • 持续 50 ms 以上通常需要重点调查;
  • 100 ms 以上并伴随队列增长、任务无进展或日志报错时,存储瓶颈的可能性较高。

这些数值是常见运维参考,不是 VMware 对所有环境统一规定的阈值。数据库、文件服务器和备份任务对延迟的敏感程度不同。

2. 通过 DAVG、KAVG、GAVG 区分方向

如果 DAVG 明显升高,通常更接近阵列、磁盘组、NFS 服务端、vSAN 设备或存储路径本身的问题。如果 KAVG 和队列等待显著增加,而设备端延迟并不高,可能是 ESXi 主机内部队列、路径拥塞或并发请求过多。

对于 VMFS,还应检查设备路径和多路径状态:

esxcli storage core path list
esxcli storage nmp device list

如果日志中出现 APD、PDL、设备重置、路径反复上下线或 ATS 相关错误,快照合并任务可能是在等待不可用的 I/O,而不是单纯速度较慢。此时不应通过删除快照文件来“解除卡顿”。

对于 NFS,ESXi 侧 I/O 延迟还可能包含存储网络和服务端响应时间。单纯执行 ping 只能证明 ICMP 通信,不足以代表 NFS 写入性能。应进一步检查:

  • NFS 服务端延迟和磁盘队列;
  • ESXi 到 NFS 服务端的 VMkernel 端口;
  • 物理网卡丢包、错误和链路协商;
  • NFS 服务端是否发生故障转移或只读切换;
  • 网络设备是否存在拥塞或 MTU 配置不一致。

对于 vSAN,还需要查看 vSAN Health、Resyncing Objects、磁盘组状态和集群剩余容量。重同步期间,快照合并的写入会与重同步流量竞争,任务耗时可能明显增加。

五、检查文件系统和快照链,不要直接修文件

1. 检查 VMFS、NFS 或 vSAN 的适用边界

VMFS 文件锁、NFS 服务端锁和 vSAN 对象锁不是同一种机制:

  • VMFS 可以使用 ESXi 提供的文件锁信息工具辅助判断;
  • NFS 锁由 ESXi、NFS 服务端及其导出实现共同处理;
  • vSAN 以对象和组件为基础,不能套用 VMFS 文件锁命令;
  • 精简置备数据存储还要关注后端池空间,而不仅是 ESXi 显示的 datastore free。

如果数据存储挂载状态异常、出现只读、不可访问或路径不完整,应先修复数据存储可用性。不要在虚拟机仍运行时随意卸载数据存储、重新挂载或执行文件系统修复。

2. 检查虚拟磁盘链是否一致

在 VMFS 或 NFS 环境中,可以在确认没有其他磁盘操作并具备维护窗口后,对指定的虚拟磁盘描述文件执行一致性检查:

vmkfstools -e "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"

如果返回链一致,说明该检查范围内的父子关系没有明显错误,但这不等于快照合并已经完成,也不等于存储后端没有故障。vSAN 场景不应简单套用这条命令,应优先使用 vCenter 和 vSAN Health 的检查结果。

常见异常包括:

  • 描述文件中的父磁盘 UUID 与实际父盘不匹配;
  • 快照链过长,读取和合并需要多层回溯;
  • vCenter 快照树与目录文件不一致;
  • 虚拟机配置文件引用了不同于预期的当前磁盘;
  • 备份软件留下的辅助快照仍被使用。

遇到这些情况,应先备份配置、保存日志和记录文件清单,再按照 VMware 支持文档或技术支持流程处理。不要手工编辑 parentFileNameHint、CID、UUID,也不要通过重命名文件“拼接”快照链。

3. 特别注意薄置备和后端空间

VMFS 可用空间正常,并不排除阵列精简池空间不足。阵列端空间耗尽时,ESXi 可能表现为:

  • 虚拟磁盘写入延迟持续升高;
  • 合并任务长时间没有明显进度;
  • 日志出现写入失败或设备重试;
  • 多台虚拟机同时出现 I/O 告警;
  • 数据存储仍显示有可用空间,但新增写入失败。

因此,VMware 侧排查和存储阵列侧排查必须对应同一时间窗口。尤其是在快照、复制和备份同时使用精简置备存储时,后端实际占用可能增长得比 ESXi 看到的逻辑容量更快。

六、定位文件锁:先确认拥有者,再判断是否异常

1. 文件锁本身不等于故障

开机状态的虚拟机通常会对 VMX、VMDK 或相关文件持有正常锁。以下情况也可能产生合法锁:

  • 虚拟机当前运行所在的 ESXi 主机;
  • vMotion 或 Storage vMotion 正在迁移;
  • 备份软件正在读取快照;
  • 复制软件正在读取虚拟磁盘;
  • 共享磁盘或多写入器配置;
  • 其他管理任务尚未结束。

真正需要重点调查的是:锁拥有者与实际运行位置不一致,或者一个旧主机、旧任务、异常 VMX 进程长期持有本不应存在的锁。

2. 使用只读方式查看锁信息

在 VMFS 数据存储上,可以针对具体虚拟磁盘查看锁信息:

vmkfstools -D "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"

部分 ESXi 版本还提供:

vmfsfilelockinfo -p "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"

输出格式会随版本不同而变化,可能包含锁类型、偏移、拥有者标识或主机 MAC 地址。下面只是用于说明判断方式的模拟格式,不是实际环境输出:

Lock [type 10c00001 offset 123904 v 1,
hb offset 32768 gen 17,
mode 1, owner 00:50:56:xx:xx:xx]

拿到拥有者信息后,应与以下信息交叉核对:

  • vCenter 中虚拟机当前注册和运行的主机;
  • HA、vMotion、Storage vMotion 是否刚刚发生;
  • 备份和复制任务是否仍在运行;
  • 旧主机是否已经失联但仍可能访问共享存储;
  • 是否存在同名虚拟机或重复注册;
  • 是否存在残留的 VMX 进程。

可以使用以下命令查看主机上的虚拟机进程列表:

esxcli vm process list

如果锁属于当前运行主机和当前虚拟机,通常不能把它当作异常锁清理。如果锁属于另一台仍在线的 ESXi 主机,先确认该主机是否真的不再访问文件,不能直接停止进程或强行释放锁。如果锁来自备份或复制任务,应先停止或等待对应任务结束。

3. 不要删除锁文件或使用破坏性命令试错

以下操作不应作为常规排障手段:

  • 删除 .lck 目录;
  • 删除 -delta.vmdk、-sesparse.vmdk 或描述文件;
  • 使用 vmkfstools -U 删除虚拟磁盘;
  • 在未确认 VMX 进程状态时强制终止进程;
  • 在多个主机之间手工复制或重命名快照文件;
  • 对仍在使用的数据存储执行卸载或重挂载。

锁被确认属于失效主机或失效进程后,仍应先确认虚拟机没有在其他主机运行、所有备份和复制任务已经停止,并保留现场日志。涉及异常锁清理、主机隔离或虚拟机强制关机时,应在变更窗口内依照 VMware 版本对应的支持流程处理。直接删除文件可能导致虚拟机无法启动或快照链永久损坏。

七、按证据选择恢复动作

情况一:空间不足或空间正在快速下降

如果数据存储接近满载、增量文件仍在增长,优先采取以下低风险措施:

  1. 暂停创建新快照,停止不必要的备份、复制和批量写入任务。
  2. 确认阵列精简池、NFS 配额或 vSAN 容量没有同步耗尽。
  3. 通过扩容数据存储、增加后端容量或使用 vCenter 支持的 Storage vMotion 将虚拟机迁移到有余量的数据存储。
  4. 确认空间恢复后,再继续或重新发起合并操作。

不要为了获得空间直接删除虚拟机目录中的大文件。.vswp、虚拟磁盘、快照文件和日志文件都可能正在被使用。

情况二:I/O 延迟高或路径异常

如果 esxtop 显示设备延迟和队列持续升高,或者 vmkernel.log 出现 APD、PDL、路径抖动、NFS 错误,应先处理存储路径、阵列、NFS 服务端或 vSAN 重同步问题。存储恢复后,再观察合并任务是否继续推进。

如果虚拟机业务写入量很高,可以在应用允许的情况下安排维护窗口,优雅停止数据库、日志服务或高写入任务,再执行合并。关闭虚拟机不是所有场景的必选动作,但降低持续写入通常能避免“合并速度低于新增写入速度”。

情况三:锁属于其他主机或异常任务

先在 vCenter、ESXi 和备份平台确认访问者。对于仍在线的其他主机,不要在没有确认的情况下强制结束 VMX 进程。如果是迁移、备份或复制任务未完成,应按对应平台的任务状态处理。

如果 vCenter 显示任务卡住,但目标文件仍在增长,优先保留任务并继续观察;如果任务无进展、文件不变,同时日志反复报告锁冲突,应保存锁信息、主机日志和任务事件,再按照版本对应的 VMware 支持流程处理。管理服务重启最多只能刷新控制面状态,不能代替数据层合并,且可能使现场信息更难还原。

情况四:快照链或文件系统异常

当出现父子磁盘不匹配、描述文件缺失、数据存储不可访问或链一致性检查异常时,不要继续反复执行 Consolidate。先停止可能修改快照链的备份和迁移任务,保留整个虚拟机目录的文件清单、配置文件和日志,然后进行受控修复。

如果虚拟机包含重要业务数据,修复前应确认已有可恢复的备份,并明确操作影响范围。任何修改描述文件、重建快照链或强制恢复锁的动作,都应具备可回滚方案;无法确认父子关系时,交由 VMware 技术支持或具备相应经验的虚拟化工程师处理更稳妥。

八、恢复后如何验证合并真正完成

合并任务显示 Completed 只是第一项结果,还应从数据层和业务层进行验证:

  1. vCenter 任务和事件显示合并完成,没有新的 Consolidation Required 告警。
  2. 快照管理器中的快照树与预期一致。
  3. 目标虚拟机目录中的增量磁盘数量和大小符合预期,不再持续增长。
  4. 数据存储可用空间恢复到合理水平,并且没有继续快速下降。
  5. esxtop 中目标虚拟机和数据存储的 I/O 延迟、队列恢复到历史正常范围。
  6. vmkernel.log、hostd.log、vpxa.log 和 vmware.log 没有新增的 No space、锁冲突、I/O 错误、APD 或 PDL。
  7. 虚拟机内的应用、数据库和文件服务完成基本读写验证。

如果合并期间发生过存储中断、虚拟磁盘写入错误或应用异常,业务验证不能只停留在“虚拟机仍能开机”。还应根据应用类型检查数据库一致性、文件系统错误、服务日志和关键业务数据。

围绕虚拟机业务的计算、磁盘读写与备份容量需求,A5idc数据提供香港、美国等地区的物理服务器,涵盖多核处理器、大内存及SSD、NVMe存储配置,为多业务并行运行、数据库读写和数据存放提供硬件基础。香港存储系列及日本CTG部分方案配备大容量企业级硬盘或HDD资源,可承载备份文件与归档数据,支持业务存储与备份存储的分层部署。

九、把一次排障转化为持续监控点

为了避免快照合并再次在高风险状态下执行,建议同时监控以下指标:

  • 数据存储可用空间和增长速度;
  • 精简置备阵列池、NFS 配额和 vSAN 可用容量;
  • VMFS 数据存储上虚拟机数量、文件数量和快照数量;
  • NFS 后端 inode、导出目录配额和服务端延迟;
  • GAVG/cmd、DAVG/cmd、KAVG/cmd、队列深度和设备忙碌度;
  • APD、PDL、NFS stale handle、设备重置和路径切换事件;
  • vSAN 重同步对象数量和预计完成时间;
  • 快照创建时间、快照链层数和增量文件增长速率;
  • vmware.log 的异常增长;
  • 备份、复制和快照合并任务的持续时间;
  • 文件锁拥有者是否与虚拟机当前运行主机一致。

监控告警不应只设置“剩余空间百分比”。例如,一个 10 TB 数据存储剩余 15% 可能仍有较大绝对空间,而一个 500 GB 数据存储剩余 15% 可能无法容纳一台高写入虚拟机的快照增长。更合理的判断方式是同时考虑剩余空间、近一小时增长速率、最大快照规模和后端实际容量。

当出现“空间下降、I/O 延迟升高、增量文件持续增长”三个现象时,应优先按容量和存储性能分支排查;当出现“文件不再变化、日志反复提示锁冲突、锁拥有者指向其他主机”时,才把文件锁或并发任务提升为主要怀疑对象。这样可以避免把正常的慢合并误判为锁死,也能减少因手工删除快照文件造成的数据风险。

九、把一次排障转化为持续监控点配图

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8935.html

相关推荐