VMware ESXi虚拟机快照合并长时间未完成,如何排查存储空间、磁盘I/O和文件锁?
当 VMware ESXi 虚拟机执行快照合并后长时间没有完成,不能仅凭“任务一直显示进行中”就判断为文件锁死,也不能直接删除 -delta.vmdk 或快照目录。合并过程可能仍在复制大量变更数据,也可能受到数据存储空间、VMFS 元数据、存储延迟、NFS 后端配额、vSAN 重同步、虚拟机持续写入或其他主机持有文件锁的影响。
排查重点是先确认合并是否仍在推进,再把问题分为容量、数据通路、文件系统、锁竞争、管理服务和虚拟机业务写入几个分支。只有当文件大小、I/O 指标、任务日志和锁信息相互印证后,才能决定是等待、降低写入压力、扩充空间,还是处理异常锁和存储路径。
一、先确认是“慢”还是“没有推进”
1. 记录任务和影响范围
先在 vCenter 的 Recent Tasks、Events 和虚拟机 Summary 中记录以下信息:
- 快照合并或 Consolidate 任务的开始时间;
- 当前任务所在的 ESXi 主机和数据存储;
- 虚拟机是否处于开机状态;
- 虚拟机是否正在进行备份、复制、Storage vMotion、vMotion 或其他快照操作;
- 是否只有一台虚拟机受影响,还是同一数据存储上的多台虚拟机都变慢;
- 任务状态是持续运行、失败、取消中,还是 vCenter 页面不再刷新。
不要频繁点击“合并”“取消”或重复创建快照。一个合并任务已经在执行时,重复操作可能增加快照链、锁竞争和写入压力,使原本可以完成的合并进一步延迟。
快照合并时间不能只按快照文件当前大小估算。假设待合并数据约为 300 GB,实际有效合并速度为 50 MB/s,并按十进制单位计算:
- 300 GB = 300,000 MB;
- 300,000 MB ÷ 50 MB/s = 6,000 秒;
- 6,000 秒约为 100 分钟。
这只是持续顺序写入条件下的理论值。虚拟机仍在运行时,新的写入会继续进入当前叶子磁盘;如果存储存在随机 I/O、队列等待或多层快照链,实际时间可能明显增加。
2. 判断快照文件是否仍在变化
在确认虚拟机目录后,可以通过 ESXi Shell 或 SSH 查看相关文件的大小和修改时间。以下路径仅为示例,不能直接替换为读者环境中的真实路径。
ls -lh "/vmfs/volumes/<datastore>/<vm-directory>"/*.vmdk
重点关注:
disk.vmdk等描述文件;disk-flat.vmdk等基础磁盘数据文件;disk-000001.vmdk等快照描述文件;disk-000001-delta.vmdk或disk-000001-sesparse.vmdk等增量文件;vmware.log和轮转产生的vmware-*.log。
在间隔 5 到 10 分钟后再次查看,比较增量文件、父磁盘或相关临时文件的大小和修改时间。如果文件持续变化,同时数据存储有写入活动,说明合并可能仍在进行;如果长时间没有任何文件变化,再结合日志和锁信息判断是否停滞。
需要注意,vCenter 的快照树和数据存储中的实际文件可能不完全一致。快照管理器中看不到快照,不代表目录中一定没有增量磁盘;相反,目录中存在 -00000x.vmdk 文件,也不一定代表当前仍有可见快照。可以先获取虚拟机 ID,再查看快照树和文件布局:
vim-cmd vmsvc/getallvms
vim-cmd vmsvc/snapshot.get <VMID>
vim-cmd vmsvc/get.filelayout <VMID>
不同 ESXi 版本和权限环境下,部分命令的输出内容可能不同。命令结果只用于观察,不要据此直接删除目录中的文件。
二、建立原因树:按证据而不是单一现象判断
| 排查分支 | 常见原因 | 重点观察 | 下一步 |
|---|---|---|---|
| 容量和元数据 | VMFS 空间不足、NFS 配额耗尽、精简池不足、目录或元数据资源紧张 | 数据存储可用空间、后端池、快照文件增长、日志大小 | 释放或增加受支持的存储空间,停止额外快照和备份写入 |
| 数据通路和 I/O | 阵列延迟、路径故障、NFS 网络抖动、vSAN 重同步、数据存储争用 | GAVG、DAVG、KAVG、队列、APD/PDL、NFS 或 vSAN 状态 | 先处理存储路径和后端性能,再继续合并 |
| 文件系统和磁盘链 | VMFS 挂载异常、NFS 文件句柄异常、描述文件链不一致、快照链过长 | vmkernel.log、文件布局、链一致性、挂载状态 | 保留证据,避免手工改动,必要时按 VMware 支持流程修复 |
| 文件锁和并发任务 | 其他 ESXi 主机、备份程序、复制任务或旧的 VMX 进程仍持有文件 | 锁拥有者、主机状态、任务列表、备份作业 | 先确认实际访问者,再处理任务或主机状态 |
| 管理服务 | hostd、vpxa 状态滞后,vCenter 显示与主机实际状态不一致 | hostd、vpxa 日志与实际文件变化 | 不要把管理服务重启当成合并修复手段 |
| 虚拟机业务写入 | 数据库、日志服务或文件服务器持续高写入,新增数据追上合并速度 | 虚拟机 I/O、应用日志、快照文件增长速率 | 降低写入或安排维护窗口后再合并 |
三、排查存储空间、文件数和日志增长
1. 先检查 ESXi 看到的可用空间
在 ESXi Shell 中查看数据存储列表和系统 ramdisk:
esxcli storage filesystem list
vdf -h
df -h
esxcli storage filesystem list 主要用于确认 VMFS、NFS 等文件系统是否正常挂载,以及容量和可用空间。vdf -h 和 df -h 更适合观察 ESXi 系统分区、日志分区和挂载点,二者不要混为一谈。
重点区分以下几种空间:
- 数据存储剩余空间:快照增量文件、虚拟磁盘和虚拟机日志通常消耗这里;
- ESXi 系统或 scratch 空间:主要影响主机日志和管理组件;
- 存储阵列精简池空间:ESXi 看到的 VMFS 可用空间不一定等于阵列后端真正可分配的空间;
- NFS 导出目录的配额:NFS 服务端可能还有容量,但当前导出或用户配额已经用尽;
- vSAN 集群可用容量和对象布局:策略开销、重同步和故障域限制都会影响实际可用空间。
数据存储剩余空间较少时,快照合并不一定立即失败。合并需要读取增量数据并向父磁盘写入,同时还可能产生临时元数据、日志和新的写入。如果可用空间只剩几个百分点,任何持续写入都可能让合并从“缓慢”变成“失败”。
运维中可以把 15%~20% 作为普通数据存储的预警参考,但这不是所有环境的固定安全线。真正需要预留的空间还应包括:
- 当前最大快照的增长量;
- 合并期间虚拟机的持续写入量;
- 同一数据存储上其他虚拟机可能产生的快照;
.vswp、虚拟机日志和备份临时文件;- 精简置备存储后端的额外余量。
2. 不要把 inode 检查机械套用到 VMFS
Linux 中常用 df -i 检查 inode,但 VMFS 不以 Linux inode 的形式向 ESXi 管理员暴露同一套指标。对 VMFS 来说,更常见的相关问题是空间耗尽、文件数和目录项过多、VMFS 元数据资源紧张,以及存储路径异常。
如果数据存储是 NFS,则需要在 NFS 服务端检查:
- 文件系统容量;
- inode 或文件数量;
- 导出目录配额;
- 用户或项目配额;
- 服务端是否进入只读状态;
- 是否存在 stale file handle、文件锁或 NFS 服务异常。
因此,在 ESXi 上看见还有几十 GB 可用空间,并不能证明 NFS 合并一定可以继续。NFS 后端配额、inode 或导出策略耗尽,都可能表现为写入失败、任务长时间等待或反复重试。
3. 检查虚拟机日志是否吞噬数据存储
虚拟机目录中的 vmware.log、vmware-1.log 等文件通常会轮转,但在存储异常、设备反复重置或虚拟机持续报错时,日志可能增长较快。可以只针对目标虚拟机目录查看:
cd "/vmfs/volumes/<datastore>/<vm-directory>"
ls -lh vmware.log vmware-*.log 2>/dev/null
如果发现日志异常增长,先读取日志中的时间点和错误原因,不要直接删除正在使用的日志。日志增长可能只是结果,也可能暴露真正的根因,例如:
- 虚拟磁盘 I/O 错误;
- 数据存储不可访问;
- 锁获取失败;
- 快照链读取失败;
- 虚拟机设备反复重置。
ESXi 主机日志也需要单独检查:
grep -iE 'snapshot|consolidat|lock|no space|I/O|APD|PDL|NFS|ATS' \
/var/log/hostd.log /var/log/vpxa.log /var/log/vmkernel.log 2>/dev/null | tail -n 200
上述输出只是示例检查方式,不代表读者环境已经出现这些日志。建议把 vCenter 任务开始时间、虚拟机日志时间和 vmkernel.log 中的错误时间对齐。如果所有日志都在同一时间出现存储路径错误,优先处理存储,而不是先操作快照文件。
四、用 I/O 指标判断是存储慢还是任务停滞
1. 观察 ESXi 磁盘延迟和队列
可以在 ESXi Shell 中运行:
esxtop
进入后查看磁盘设备、适配器和虚拟机相关视图,重点关注:
GAVG/cmd:从虚拟机请求角度看到的总延迟;DAVG/cmd:设备或存储后端处理延迟;KAVG/cmd:VMkernel 队列或主机内部等待延迟;QUED、ACTV、%USD:队列、活动请求和设备忙碌程度;- 读写吞吐、IOPS 和不同数据存储之间的争用。
对于批量采样,也可以使用批处理模式:
esxtop -b -d 5 -n 12 > /tmp/esxtop-snapshot.csv
不同版本的字段排列可能不同,导出的文件更适合在维护窗口后分析。esxtop 指标需要结合存储类型、业务负载和历史基线判断,不能只因为一次延迟升高就认定存储故障。
作为排查参考:
- 持续 20~30 ms 以上的总延迟,可能已经影响部分业务;
- 持续 50 ms 以上通常需要重点调查;
- 100 ms 以上并伴随队列增长、任务无进展或日志报错时,存储瓶颈的可能性较高。
这些数值是常见运维参考,不是 VMware 对所有环境统一规定的阈值。数据库、文件服务器和备份任务对延迟的敏感程度不同。
2. 通过 DAVG、KAVG、GAVG 区分方向
如果 DAVG 明显升高,通常更接近阵列、磁盘组、NFS 服务端、vSAN 设备或存储路径本身的问题。如果 KAVG 和队列等待显著增加,而设备端延迟并不高,可能是 ESXi 主机内部队列、路径拥塞或并发请求过多。
对于 VMFS,还应检查设备路径和多路径状态:
esxcli storage core path list
esxcli storage nmp device list
如果日志中出现 APD、PDL、设备重置、路径反复上下线或 ATS 相关错误,快照合并任务可能是在等待不可用的 I/O,而不是单纯速度较慢。此时不应通过删除快照文件来“解除卡顿”。
对于 NFS,ESXi 侧 I/O 延迟还可能包含存储网络和服务端响应时间。单纯执行 ping 只能证明 ICMP 通信,不足以代表 NFS 写入性能。应进一步检查:
- NFS 服务端延迟和磁盘队列;
- ESXi 到 NFS 服务端的 VMkernel 端口;
- 物理网卡丢包、错误和链路协商;
- NFS 服务端是否发生故障转移或只读切换;
- 网络设备是否存在拥塞或 MTU 配置不一致。
对于 vSAN,还需要查看 vSAN Health、Resyncing Objects、磁盘组状态和集群剩余容量。重同步期间,快照合并的写入会与重同步流量竞争,任务耗时可能明显增加。
五、检查文件系统和快照链,不要直接修文件
1. 检查 VMFS、NFS 或 vSAN 的适用边界
VMFS 文件锁、NFS 服务端锁和 vSAN 对象锁不是同一种机制:
- VMFS 可以使用 ESXi 提供的文件锁信息工具辅助判断;
- NFS 锁由 ESXi、NFS 服务端及其导出实现共同处理;
- vSAN 以对象和组件为基础,不能套用 VMFS 文件锁命令;
- 精简置备数据存储还要关注后端池空间,而不仅是 ESXi 显示的 datastore free。
如果数据存储挂载状态异常、出现只读、不可访问或路径不完整,应先修复数据存储可用性。不要在虚拟机仍运行时随意卸载数据存储、重新挂载或执行文件系统修复。
2. 检查虚拟磁盘链是否一致
在 VMFS 或 NFS 环境中,可以在确认没有其他磁盘操作并具备维护窗口后,对指定的虚拟磁盘描述文件执行一致性检查:
vmkfstools -e "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"
如果返回链一致,说明该检查范围内的父子关系没有明显错误,但这不等于快照合并已经完成,也不等于存储后端没有故障。vSAN 场景不应简单套用这条命令,应优先使用 vCenter 和 vSAN Health 的检查结果。
常见异常包括:
- 描述文件中的父磁盘 UUID 与实际父盘不匹配;
- 快照链过长,读取和合并需要多层回溯;
- vCenter 快照树与目录文件不一致;
- 虚拟机配置文件引用了不同于预期的当前磁盘;
- 备份软件留下的辅助快照仍被使用。
遇到这些情况,应先备份配置、保存日志和记录文件清单,再按照 VMware 支持文档或技术支持流程处理。不要手工编辑 parentFileNameHint、CID、UUID,也不要通过重命名文件“拼接”快照链。
3. 特别注意薄置备和后端空间
VMFS 可用空间正常,并不排除阵列精简池空间不足。阵列端空间耗尽时,ESXi 可能表现为:
- 虚拟磁盘写入延迟持续升高;
- 合并任务长时间没有明显进度;
- 日志出现写入失败或设备重试;
- 多台虚拟机同时出现 I/O 告警;
- 数据存储仍显示有可用空间,但新增写入失败。
因此,VMware 侧排查和存储阵列侧排查必须对应同一时间窗口。尤其是在快照、复制和备份同时使用精简置备存储时,后端实际占用可能增长得比 ESXi 看到的逻辑容量更快。
六、定位文件锁:先确认拥有者,再判断是否异常
1. 文件锁本身不等于故障
开机状态的虚拟机通常会对 VMX、VMDK 或相关文件持有正常锁。以下情况也可能产生合法锁:
- 虚拟机当前运行所在的 ESXi 主机;
- vMotion 或 Storage vMotion 正在迁移;
- 备份软件正在读取快照;
- 复制软件正在读取虚拟磁盘;
- 共享磁盘或多写入器配置;
- 其他管理任务尚未结束。
真正需要重点调查的是:锁拥有者与实际运行位置不一致,或者一个旧主机、旧任务、异常 VMX 进程长期持有本不应存在的锁。
2. 使用只读方式查看锁信息
在 VMFS 数据存储上,可以针对具体虚拟磁盘查看锁信息:
vmkfstools -D "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"
部分 ESXi 版本还提供:
vmfsfilelockinfo -p "/vmfs/volumes/<datastore>/<vm-directory>/<disk>-000001.vmdk"
输出格式会随版本不同而变化,可能包含锁类型、偏移、拥有者标识或主机 MAC 地址。下面只是用于说明判断方式的模拟格式,不是实际环境输出:
Lock [type 10c00001 offset 123904 v 1,
hb offset 32768 gen 17,
mode 1, owner 00:50:56:xx:xx:xx]
拿到拥有者信息后,应与以下信息交叉核对:
- vCenter 中虚拟机当前注册和运行的主机;
- HA、vMotion、Storage vMotion 是否刚刚发生;
- 备份和复制任务是否仍在运行;
- 旧主机是否已经失联但仍可能访问共享存储;
- 是否存在同名虚拟机或重复注册;
- 是否存在残留的 VMX 进程。
可以使用以下命令查看主机上的虚拟机进程列表:
esxcli vm process list
如果锁属于当前运行主机和当前虚拟机,通常不能把它当作异常锁清理。如果锁属于另一台仍在线的 ESXi 主机,先确认该主机是否真的不再访问文件,不能直接停止进程或强行释放锁。如果锁来自备份或复制任务,应先停止或等待对应任务结束。
3. 不要删除锁文件或使用破坏性命令试错
以下操作不应作为常规排障手段:
- 删除
.lck目录; - 删除
-delta.vmdk、-sesparse.vmdk或描述文件; - 使用
vmkfstools -U删除虚拟磁盘; - 在未确认 VMX 进程状态时强制终止进程;
- 在多个主机之间手工复制或重命名快照文件;
- 对仍在使用的数据存储执行卸载或重挂载。
锁被确认属于失效主机或失效进程后,仍应先确认虚拟机没有在其他主机运行、所有备份和复制任务已经停止,并保留现场日志。涉及异常锁清理、主机隔离或虚拟机强制关机时,应在变更窗口内依照 VMware 版本对应的支持流程处理。直接删除文件可能导致虚拟机无法启动或快照链永久损坏。
七、按证据选择恢复动作
情况一:空间不足或空间正在快速下降
如果数据存储接近满载、增量文件仍在增长,优先采取以下低风险措施:
- 暂停创建新快照,停止不必要的备份、复制和批量写入任务。
- 确认阵列精简池、NFS 配额或 vSAN 容量没有同步耗尽。
- 通过扩容数据存储、增加后端容量或使用 vCenter 支持的 Storage vMotion 将虚拟机迁移到有余量的数据存储。
- 确认空间恢复后,再继续或重新发起合并操作。
不要为了获得空间直接删除虚拟机目录中的大文件。.vswp、虚拟磁盘、快照文件和日志文件都可能正在被使用。
情况二:I/O 延迟高或路径异常
如果 esxtop 显示设备延迟和队列持续升高,或者 vmkernel.log 出现 APD、PDL、路径抖动、NFS 错误,应先处理存储路径、阵列、NFS 服务端或 vSAN 重同步问题。存储恢复后,再观察合并任务是否继续推进。
如果虚拟机业务写入量很高,可以在应用允许的情况下安排维护窗口,优雅停止数据库、日志服务或高写入任务,再执行合并。关闭虚拟机不是所有场景的必选动作,但降低持续写入通常能避免“合并速度低于新增写入速度”。
情况三:锁属于其他主机或异常任务
先在 vCenter、ESXi 和备份平台确认访问者。对于仍在线的其他主机,不要在没有确认的情况下强制结束 VMX 进程。如果是迁移、备份或复制任务未完成,应按对应平台的任务状态处理。
如果 vCenter 显示任务卡住,但目标文件仍在增长,优先保留任务并继续观察;如果任务无进展、文件不变,同时日志反复报告锁冲突,应保存锁信息、主机日志和任务事件,再按照版本对应的 VMware 支持流程处理。管理服务重启最多只能刷新控制面状态,不能代替数据层合并,且可能使现场信息更难还原。
情况四:快照链或文件系统异常
当出现父子磁盘不匹配、描述文件缺失、数据存储不可访问或链一致性检查异常时,不要继续反复执行 Consolidate。先停止可能修改快照链的备份和迁移任务,保留整个虚拟机目录的文件清单、配置文件和日志,然后进行受控修复。
如果虚拟机包含重要业务数据,修复前应确认已有可恢复的备份,并明确操作影响范围。任何修改描述文件、重建快照链或强制恢复锁的动作,都应具备可回滚方案;无法确认父子关系时,交由 VMware 技术支持或具备相应经验的虚拟化工程师处理更稳妥。
八、恢复后如何验证合并真正完成
合并任务显示 Completed 只是第一项结果,还应从数据层和业务层进行验证:
- vCenter 任务和事件显示合并完成,没有新的 Consolidation Required 告警。
- 快照管理器中的快照树与预期一致。
- 目标虚拟机目录中的增量磁盘数量和大小符合预期,不再持续增长。
- 数据存储可用空间恢复到合理水平,并且没有继续快速下降。
esxtop中目标虚拟机和数据存储的 I/O 延迟、队列恢复到历史正常范围。vmkernel.log、hostd.log、vpxa.log和vmware.log没有新增的No space、锁冲突、I/O 错误、APD 或 PDL。- 虚拟机内的应用、数据库和文件服务完成基本读写验证。
如果合并期间发生过存储中断、虚拟磁盘写入错误或应用异常,业务验证不能只停留在“虚拟机仍能开机”。还应根据应用类型检查数据库一致性、文件系统错误、服务日志和关键业务数据。
围绕虚拟机业务的计算、磁盘读写与备份容量需求,A5idc数据提供香港、美国等地区的物理服务器,涵盖多核处理器、大内存及SSD、NVMe存储配置,为多业务并行运行、数据库读写和数据存放提供硬件基础。香港存储系列及日本CTG部分方案配备大容量企业级硬盘或HDD资源,可承载备份文件与归档数据,支持业务存储与备份存储的分层部署。
九、把一次排障转化为持续监控点
为了避免快照合并再次在高风险状态下执行,建议同时监控以下指标:
- 数据存储可用空间和增长速度;
- 精简置备阵列池、NFS 配额和 vSAN 可用容量;
- VMFS 数据存储上虚拟机数量、文件数量和快照数量;
- NFS 后端 inode、导出目录配额和服务端延迟;
GAVG/cmd、DAVG/cmd、KAVG/cmd、队列深度和设备忙碌度;- APD、PDL、NFS stale handle、设备重置和路径切换事件;
- vSAN 重同步对象数量和预计完成时间;
- 快照创建时间、快照链层数和增量文件增长速率;
vmware.log的异常增长;- 备份、复制和快照合并任务的持续时间;
- 文件锁拥有者是否与虚拟机当前运行主机一致。
监控告警不应只设置“剩余空间百分比”。例如,一个 10 TB 数据存储剩余 15% 可能仍有较大绝对空间,而一个 500 GB 数据存储剩余 15% 可能无法容纳一台高写入虚拟机的快照增长。更合理的判断方式是同时考虑剩余空间、近一小时增长速率、最大快照规模和后端实际容量。
当出现“空间下降、I/O 延迟升高、增量文件持续增长”三个现象时,应优先按容量和存储性能分支排查;当出现“文件不再变化、日志反复提示锁冲突、锁拥有者指向其他主机”时,才把文件锁或并发任务提升为主要怀疑对象。这样可以避免把正常的慢合并误判为锁死,也能减少因手工删除快照文件造成的数据风险。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8935.html


