VMware ESXi的VMFS数据存储怎么规划?容量、快照与并发I/O哪些要先确认

发布人:A5数据发布时间:2026-10-23 09:46阅读量:95

VMware ESXi 的 VMFS 数据存储不能只按虚拟机磁盘总和购买容量。业务并发、随机或顺序 I/O、峰值请求量、虚拟磁盘增长速度、快照保留时间,以及存储阵列和主机的队列能力,都会改变最终结果。容量够用但延迟过高,或者 IOPS 达标但快照合并时空间不足,都不能算规划完成。

更稳妥的做法是先建立负载画像,再分别计算容量、IOPS、吞吐量和并发队列,最后把快照、增长空间、维护余量和扩容周期纳入 VMFS 可用容量。下面的数值以估算和示例为主,不代表某一台服务器或存储设备的实测承载能力。

负载画像:先确认业务会产生什么负载

数据规模不能只看已分配容量

规划前至少要区分以下几种容量:

  • VMDK 配置容量:虚拟机磁盘声明的大小,例如 200 GB。
  • VMDK 已消耗容量:精简置备磁盘当前在 VMFS 上实际占用的空间。
  • 客户机文件系统已用容量:虚拟机内部操作系统看到的已用空间。
  • VMFS 数据存储已用容量:还会包含配置文件、日志、交换文件、快照差分文件等。
  • 存储池可用容量:阵列经过 RAID、热备、元数据、复制和数据保护策略处理后的容量。

如果使用精简置备,客户机中的文件删除不一定立即让底层存储回收空间,还要考虑 UNMAP 回收能力、客户机文件系统支持、ESXi 版本和阵列配置。因此,不能用“客户机内已用空间”直接替代“VMFS 已占用空间”。

建议先记录一个不包含临时快照的基线:

指标需要确认的内容规划用途
当前 VMFS 已用容量以数据存储实际占用为准作为容量计算起点
已配置 VMDK 容量厚置备、精简置备分别统计判断潜在增长上限
每月净增长量新增数据、磁盘扩容、日志积累计算规划周期
快照数量和大小快照持续时间、差分文件增长速度计算快照余量
备份与复制占用临时副本、缓存、复制保留避免把运维空间漏算
最大并发虚拟机数不是虚拟机总数,而是同时活跃数量估算并发 I/O

并发虚拟机数量不等于 IOPS

一台 ESXi 主机上有 50 台虚拟机,不代表存储同时承受 50 台虚拟机的峰值请求。需要区分:

  • 总虚拟机数量;
  • 平均活跃虚拟机数量;
  • 峰值时段同时产生 I/O 的虚拟机数量;
  • 每台虚拟机的平均 IOPS 和峰值 IOPS;
  • 请求是随机还是顺序;
  • 读写比例;
  • 平均 I/O 大小;
  • 峰值持续时间和发生频率。

例如,数据库、虚拟桌面登录、编译任务和备份任务,通常会产生不同的请求特征。数据库可能表现为小块随机读写,备份可能带来大块顺序读写;两者的 IOPS 和吞吐量需求不能用同一个数字代替。

容量规划应尽量使用峰值期间的 P95 或 P99 数据,而不是只看全天平均值。若没有历史数据,可以先按业务时段采集一到两周,再根据高峰区间进行估算。

资源变量:容量、IOPS、吞吐量和队列分别计算

用 I/O 大小把 IOPS转换为吞吐量

IOPS 只表示每秒请求次数,不能单独代表带宽。基本关系为:

吞吐量 = IOPS × 平均 I/O 大小

例如,某个 VMFS 数据存储在峰值时需要约 20,000 IOPS,平均请求大小为 8 KiB:

  1. 20,000 × 8 × 1,024 = 163,840,000 字节/秒;
  2. 按十进制换算,约为 163.84 MB/s;
  3. 换算为网络或存储链路速率:163.84 × 8 = 1,310.72 Mbps,约 1.31 Gbps;
  4. 如果使用二进制口径,则约为 156.25 MiB/s。

这个结果只描述业务请求产生的理论数据量,还没有扣除 RAID 写放大、协议开销、存储缓存策略和复制开销。随机写入、校验型 RAID 或同步复制环境,底层设备需要处理的实际工作量可能高于客户机看到的吞吐量。

因此,产品或存储方案不能只对比“最大 IOPS”,还应要求在接近实际请求大小、读写比例和并发数的条件下,分别确认:

  • 4 KiB、8 KiB、16 KiB 或业务实际块大小下的 IOPS;
  • 随机读、随机写和混合读写结果;
  • 顺序读写吞吐量;
  • P95、P99 延迟,而不是只有平均延迟;
  • 峰值持续十几分钟或更长时间时是否降速;
  • 多台 ESXi 主机同时访问时的结果。

并发度主要受队列和路径能力影响

并发 I/O 会经过虚拟机、虚拟 SCSI 控制器、ESXi 存储栈、HBA 或 iSCSI 网络、存储控制器和磁盘组。任何一层排队,都可能让客户机看到更高延迟。

资源变量:容量、IOPS、吞吐量和队列分别计算配图

需要重点确认:

  • 单台 ESXi 主机的 HBA、iSCSI 会话或存储网络带宽;
  • 多路径数量和路径是否真正分担流量;
  • 存储控制器是否存在单控制器瓶颈;
  • 阵列缓存是否只适合短时突发;
  • 多台主机并发访问时的总队列深度;
  • 同一存储池内其他 LUN、数据存储或任务是否共享资源;
  • 设备是否支持预期的 4K 原生扇区、协议和 ESXi 版本。

队列深度不是越大越好。队列调大后,短时间内可能提高并发请求数,但也可能把更多请求堆在存储设备前,造成延迟上升。应先根据存储厂商、ESXi 版本和实际设备能力确定范围,再观察延迟和队列,而不是直接修改主机或 HBA 参数。

瓶颈判断:先找是哪一种资源达到上限

容量瓶颈与性能瓶颈要分开处理

常见判断可以按照下面的关系进行:

现象更可能的瓶颈优先检查内容
VMFS 可用空间持续下降容量或增长速度VMDK 增长、快照、日志、备份临时文件
IOPS 不高但吞吐量接近上限带宽或大块 I/O链路速率、顺序读写、控制器带宽
IOPS 接近设备能力且延迟上升随机请求处理能力读写比例、块大小、磁盘组和缓存
请求数不高但队列等待明显路径或队列瓶颈HBA、iSCSI 会话、控制器、共享存储池
单个虚拟机延迟很高虚拟机或数据存储局部争用单 VM 指标、虚拟磁盘布局、快照链
多个数据存储同时变慢共享后端资源不足存储池、控制器、缓存、上联链路
删除快照后空间没有立即恢复合并过程或空间回收未完成快照合并状态、底层回收和存储池空间

在 ESXi 上可以通过 esxtop 的存储相关视图观察设备延迟、内核处理延迟、总延迟、活动命令数和队列等待。常见字段包括 DAVG、KAVG、GAVG、ACTV 和 QUED,但不能只根据一个字段下结论。

  • GAVG 较高且 DAVG 同步升高:更像是底层设备、阵列或存储网络响应变慢。
  • GAVG 较高但设备延迟不明显:需要检查 ESXi 内核排队、路径、虚拟机层或队列配置。
  • QUED 持续升高:说明请求在某一层等待处理,应结合主机、路径和阵列端队列判断。
  • 单个 VM 的延迟明显高于同一数据存储其他 VM:不能直接通过扩容整个数据存储解决,应检查该 VM 的快照、磁盘类型、业务请求和资源争用。

低延迟固态存储、混合存储和机械盘的基线不同。没有统一的延迟数字可以适用于所有设备。若没有既定服务等级,可以先连续采集正常时段的 P50、P95 和 P99,再把“高于正常基线 50%并持续多个采样周期”设为调查条件。对于在线交易类业务,还应以应用端响应时间作为最终判断依据。

一个大 VMFS 还是多个 VMFS

把所有虚拟机集中到一个大数据存储中,管理和容量利用可能更简单,但也会扩大以下影响范围:

  • 快照或错误操作的影响面;
  • 数据存储维护和迁移的影响面;
  • 单一存储池拥塞时的受影响虚拟机数量;
  • 备份窗口和快照合并的并发量。

拆分多个 VMFS 数据存储只有在后端资源确实能够隔离时,才可能带来性能收益。例如,独立磁盘组、独立控制器、独立缓存策略或明确的 QoS 配置,才属于有效隔离。若多个 VMFS 仍然共享同一个存储池、控制器和链路,单纯增加数据存储数量不会让底层 IOPS 自动增加。

可以按业务特征拆分:

  • 高随机写数据库与普通应用分开;
  • 高峰明显的虚拟桌面与后台任务分开;
  • 需要频繁快照或复制的虚拟机与普通虚拟机分开;
  • 不同维护窗口或不同故障域的虚拟机分开。

快照规划:按差分增长和合并余量计算

VMware 虚拟机快照并不是完整的独立备份副本。创建快照后,后续写入通常会进入差分磁盘;写入越活跃、快照保留时间越长,差分文件越大。多个快照还可能形成链式依赖,增加读取和合并复杂度。

快照规划:按差分增长和合并余量计算配图

快照空间不能简单按“原始 VMDK 容量的百分比”估算。更适合观察以下变量:

  • 快照创建时的 VMFS 已用空间;
  • 快照持续时间;
  • 每小时或每天差分文件增长量;
  • 同时存在的快照数量;
  • 快照删除或合并时的临时空间;
  • 快照期间业务写入是否出现峰值;
  • 存储阵列是否还有独立的快照池或复制保留空间。

例如,某业务虚拟机历史上在 6 小时快照窗口内产生约 0.25 TB 差分数据,计划最多同时保留 3 台类似虚拟机的快照,则至少需要约 0.75 TB 的差分空间。若快照删除时还需要合并余量,应在此基础上再增加维护空间,而不是把 0.75 TB 当成最终上限。

快照也不宜作为长期备份方式。备份软件可能通过快照协调读取,但备份完成后应确认快照已经成功合并;不能只看到备份任务成功就认为 VMFS 空间已经释放。

如果使用存储阵列快照、复制或克隆,还要单独计算存储池中的保留容量。阵列快照空间通常不会直接表现为 VMFS 数据存储已用空间,但仍会消耗后端容量,并可能与生产 I/O 共享控制器、缓存和磁盘组。

容量余量:用公式推算可用容量,而不是只看 VMDK 总和

推荐的容量计算关系

可以使用以下估算关系:

规划容量 = 当前正常已用容量 + 规划周期增长量 + 快照余量 + 运维余量 + 安全缓冲

其中:

  • 当前正常已用容量:最好在临时快照清理完成后记录;
  • 规划周期增长量:月均净增长量 × 规划月份;
  • 快照余量:最大同时快照差分量 + 合并空间;
  • 运维余量:备份缓存、日志、交换文件、迁移临时文件等;
  • 安全缓冲:为增长波动、数据回收延迟和采购交付周期保留的空间。

下面是一个估算案例。假设:

  • 当前 VMFS 正常已用容量为 18 TB;
  • 每月净增长约 0.6 TB;
  • 规划周期为 12 个月;
  • 3 台虚拟机可能同时创建快照,每台快照差分按 0.25 TB 预留;
  • 运维余量暂按 1 TB;
  • 在基础需求上增加 25% 的缓冲。

计算过程为:

  1. 12 个月增长量:0.6 × 12 = 7.2 TB;
  2. 快照余量:0.25 × 3 = 0.75 TB;
  3. 基础需求:18 + 7.2 + 0.75 + 1 = 26.95 TB;
  4. 加上 25% 缓冲:26.95 × 1.25 = 33.6875 TB;
  5. 规划时可按约 34 TB 的 VMFS 可用容量作为一个估算起点。

这个结果成立的前提是,VMDK 的未来增长已经包含在每月 0.6 TB 中,并且没有额外的精简置备超分配。如果当前已配置但尚未使用的精简 VMDK 总量已经接近 36 TB,那么 34 TB 的可用容量就不够,需要把潜在扩展需求重新加入模型。

从原始容量换算到 VMFS 可用容量

采购或选择存储设备时,必须统一“原始容量”和“可用容量”的口径:

容量余量:用公式推算可用容量,而不是只看 VMDK 总和配图

  • 磁盘标称容量通常按十进制 TB 计算;
  • 操作系统和部分工具可能按 TiB 显示;
  • RAID 会消耗校验或镜像空间;
  • 热备盘、元数据和文件系统开销会进一步减少可用量;
  • 双副本、三副本、同步复制会改变有效容量;
  • 数据压缩和重删收益不能按理论最大值计算;
  • 阵列快照和复制保留空间可能独立占用存储池。

例如,采购目标是 34 TB 的 VMFS 可用容量,就不能直接购买 34 TB 原始磁盘。应要求供应商明确列出“磁盘原始容量—RAID 后容量—热备及系统开销—数据保护后容量—最终可提供给 ESXi 的容量”。如果使用数据缩减技术,建议按照保守比例计算,并把生产环境实际观测到的缩减率作为后续修正依据。

创建或扩容前还要确认 ESXi 版本、VMFS 版本、存储协议、主机兼容性、4K 原生磁盘支持、路径数量和多路径策略。不能因为阵列端显示有空间,就默认所有 ESXi 主机都能按计划识别和使用。

围绕虚拟化主机的计算与数据存储需求,A5数据提供香港、美国、日本等地区的物理服务器租用,配置涵盖NVMe固态盘及大容量机械硬盘。香港存储系列配有四块14TB企业级硬盘和H730控制器,日本部分方案则提供多块HDD或SSD,可为不同数据规模的服务器部署提供硬件资源选择;各地区也有不同CPU、内存和网络配置。

产品选择与验收:把容量、并发和成本放到同一张表

选择维度需要比较的指标适合的判断方式
存储介质固态、机械盘、混合介质的随机 I/O 和持续吞吐使用实际块大小和读写比例测试
数据保护RAID、热备、双控制器、复制策略以保护后的可用容量和故障性能评估
扩展方式加盘、扩展磁盘组、增加控制器或增加存储节点确认扩容是否需要停机或迁移
并发能力多 ESXi 主机同时访问时的队列和延迟按预计主机数、路径数进行测试
快照能力VM 快照和阵列快照的空间、性能、保留限制分别确认 VMFS 空间和后端池空间
数据缩减压缩、重删的适用数据类型和波动不把理论比例直接算入刚性容量
管理成本许可证、复制、备份、监控和维保按三到五年总成本比较
故障边界控制器、磁盘组、链路和数据存储的影响范围检查单点故障和恢复时间

验收时不要只跑一个连续读写测试。更接近实际的验收至少应包括:

  1. 使用生产环境接近的 I/O 块大小、读写比例和并发虚拟机数量;
  2. 分别记录平均值、P95 和 P99 延迟;
  3. 同时压测多个 ESXi 主机和多个 VMFS 数据存储;
  4. 验证路径故障切换时是否出现明显延迟或中断;
  5. 创建代表性虚拟机快照,观察差分文件增长和删除合并过程;
  6. 核对故障保护后的可用容量,而不是只查看原始磁盘总量;
  7. 确认新增容量能被所有目标主机识别,且版本和多路径配置一致。

如果某种存储方案只在缓存未满时达到标称 IOPS,而持续写入或快照合并时延迟明显升高,就不应把缓存峰值当作生产承载能力。对数据库、虚拟桌面登录高峰和备份窗口,还应分别制定性能验收条件。

扩容触发点:用趋势、余量和延迟共同决定

监控不能只设置一个“磁盘满了”的告警。建议至少建立以下几类指标:

  • VMFS 已用容量和可用容量;
  • 精简置备已配置容量与实际消耗容量;
  • 每周、每月净增长率;
  • 快照数量、快照大小和快照增长速度;
  • IOPS、吞吐量、读写比例和平均 I/O 大小;
  • P95、P99 存储延迟;
  • DAVG、KAVG、GAVG、ACTV、QUED 等 ESXi 存储指标;
  • 存储池、控制器、缓存和各路径的利用率;
  • 数据保护、复制和快照保留空间。

阈值应结合采购周期和业务风险确定。没有历史基线时,可以先采用一组可调整的参考规则:

  • 可用空间降至 30% 左右时,开始准备扩容方案;
  • 可用空间降至 20% 左右时,完成采购、迁移或数据清理安排;
  • 预计耗尽时间小于采购和交付周期时,立即升级处理;
  • 快照预留空间小于最长快照窗口的历史最大增长量加合并余量时,停止新增非必要快照;
  • P95 延迟连续多个采样周期高于正常基线 50%,同时队列或业务响应时间上升时,进行性能扩容评估;
  • 任一高峰窗口频繁出现 P99 延迟超出业务服务等级时,不应等到 VMFS 容量告警后再处理。

可以用“预计耗尽时间”辅助判断:

预计耗尽时间 = 当前可用容量 ÷ 近期开启的净增长速度

例如,VMFS 还有 9 TB 可用,近三个月平均每月消耗 0.6 TB,则理论上约有 15 个月空间。但如果未来要新增 2 TB 业务、保留 1 TB 快照和运维余量,实际可用周期会明显缩短。对于增长波动较大的环境,应使用近三个月中的较高增长率,而不是只取长期平均值。

当容量和性能同时接近阈值时,优先考虑增加独立后端资源或迁移高负载虚拟机,而不是简单创建更多 VMFS 数据存储。只有把增长速度、快照窗口、峰值 IOPS、并发队列、后端容量和扩容交付周期放在同一个模型里,VMFS 规划才不会出现“空间还够但业务变慢”或“性能达标但快照无法合并”的情况。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5223.html

相关推荐