VMware ESXi的VMFS数据存储怎么规划?容量、快照与并发I/O哪些要先确认
VMware ESXi 的 VMFS 数据存储不能只按虚拟机磁盘总和购买容量。业务并发、随机或顺序 I/O、峰值请求量、虚拟磁盘增长速度、快照保留时间,以及存储阵列和主机的队列能力,都会改变最终结果。容量够用但延迟过高,或者 IOPS 达标但快照合并时空间不足,都不能算规划完成。
更稳妥的做法是先建立负载画像,再分别计算容量、IOPS、吞吐量和并发队列,最后把快照、增长空间、维护余量和扩容周期纳入 VMFS 可用容量。下面的数值以估算和示例为主,不代表某一台服务器或存储设备的实测承载能力。
负载画像:先确认业务会产生什么负载
数据规模不能只看已分配容量
规划前至少要区分以下几种容量:
- VMDK 配置容量:虚拟机磁盘声明的大小,例如 200 GB。
- VMDK 已消耗容量:精简置备磁盘当前在 VMFS 上实际占用的空间。
- 客户机文件系统已用容量:虚拟机内部操作系统看到的已用空间。
- VMFS 数据存储已用容量:还会包含配置文件、日志、交换文件、快照差分文件等。
- 存储池可用容量:阵列经过 RAID、热备、元数据、复制和数据保护策略处理后的容量。
如果使用精简置备,客户机中的文件删除不一定立即让底层存储回收空间,还要考虑 UNMAP 回收能力、客户机文件系统支持、ESXi 版本和阵列配置。因此,不能用“客户机内已用空间”直接替代“VMFS 已占用空间”。
建议先记录一个不包含临时快照的基线:
| 指标 | 需要确认的内容 | 规划用途 |
|---|---|---|
| 当前 VMFS 已用容量 | 以数据存储实际占用为准 | 作为容量计算起点 |
| 已配置 VMDK 容量 | 厚置备、精简置备分别统计 | 判断潜在增长上限 |
| 每月净增长量 | 新增数据、磁盘扩容、日志积累 | 计算规划周期 |
| 快照数量和大小 | 快照持续时间、差分文件增长速度 | 计算快照余量 |
| 备份与复制占用 | 临时副本、缓存、复制保留 | 避免把运维空间漏算 |
| 最大并发虚拟机数 | 不是虚拟机总数,而是同时活跃数量 | 估算并发 I/O |
并发虚拟机数量不等于 IOPS
一台 ESXi 主机上有 50 台虚拟机,不代表存储同时承受 50 台虚拟机的峰值请求。需要区分:
- 总虚拟机数量;
- 平均活跃虚拟机数量;
- 峰值时段同时产生 I/O 的虚拟机数量;
- 每台虚拟机的平均 IOPS 和峰值 IOPS;
- 请求是随机还是顺序;
- 读写比例;
- 平均 I/O 大小;
- 峰值持续时间和发生频率。
例如,数据库、虚拟桌面登录、编译任务和备份任务,通常会产生不同的请求特征。数据库可能表现为小块随机读写,备份可能带来大块顺序读写;两者的 IOPS 和吞吐量需求不能用同一个数字代替。
容量规划应尽量使用峰值期间的 P95 或 P99 数据,而不是只看全天平均值。若没有历史数据,可以先按业务时段采集一到两周,再根据高峰区间进行估算。
资源变量:容量、IOPS、吞吐量和队列分别计算
用 I/O 大小把 IOPS转换为吞吐量
IOPS 只表示每秒请求次数,不能单独代表带宽。基本关系为:
吞吐量 = IOPS × 平均 I/O 大小
例如,某个 VMFS 数据存储在峰值时需要约 20,000 IOPS,平均请求大小为 8 KiB:
- 20,000 × 8 × 1,024 = 163,840,000 字节/秒;
- 按十进制换算,约为 163.84 MB/s;
- 换算为网络或存储链路速率:163.84 × 8 = 1,310.72 Mbps,约 1.31 Gbps;
- 如果使用二进制口径,则约为 156.25 MiB/s。
这个结果只描述业务请求产生的理论数据量,还没有扣除 RAID 写放大、协议开销、存储缓存策略和复制开销。随机写入、校验型 RAID 或同步复制环境,底层设备需要处理的实际工作量可能高于客户机看到的吞吐量。
因此,产品或存储方案不能只对比“最大 IOPS”,还应要求在接近实际请求大小、读写比例和并发数的条件下,分别确认:
- 4 KiB、8 KiB、16 KiB 或业务实际块大小下的 IOPS;
- 随机读、随机写和混合读写结果;
- 顺序读写吞吐量;
- P95、P99 延迟,而不是只有平均延迟;
- 峰值持续十几分钟或更长时间时是否降速;
- 多台 ESXi 主机同时访问时的结果。
并发度主要受队列和路径能力影响
并发 I/O 会经过虚拟机、虚拟 SCSI 控制器、ESXi 存储栈、HBA 或 iSCSI 网络、存储控制器和磁盘组。任何一层排队,都可能让客户机看到更高延迟。

需要重点确认:
- 单台 ESXi 主机的 HBA、iSCSI 会话或存储网络带宽;
- 多路径数量和路径是否真正分担流量;
- 存储控制器是否存在单控制器瓶颈;
- 阵列缓存是否只适合短时突发;
- 多台主机并发访问时的总队列深度;
- 同一存储池内其他 LUN、数据存储或任务是否共享资源;
- 设备是否支持预期的 4K 原生扇区、协议和 ESXi 版本。
队列深度不是越大越好。队列调大后,短时间内可能提高并发请求数,但也可能把更多请求堆在存储设备前,造成延迟上升。应先根据存储厂商、ESXi 版本和实际设备能力确定范围,再观察延迟和队列,而不是直接修改主机或 HBA 参数。
瓶颈判断:先找是哪一种资源达到上限
容量瓶颈与性能瓶颈要分开处理
常见判断可以按照下面的关系进行:
| 现象 | 更可能的瓶颈 | 优先检查内容 |
|---|---|---|
| VMFS 可用空间持续下降 | 容量或增长速度 | VMDK 增长、快照、日志、备份临时文件 |
| IOPS 不高但吞吐量接近上限 | 带宽或大块 I/O | 链路速率、顺序读写、控制器带宽 |
| IOPS 接近设备能力且延迟上升 | 随机请求处理能力 | 读写比例、块大小、磁盘组和缓存 |
| 请求数不高但队列等待明显 | 路径或队列瓶颈 | HBA、iSCSI 会话、控制器、共享存储池 |
| 单个虚拟机延迟很高 | 虚拟机或数据存储局部争用 | 单 VM 指标、虚拟磁盘布局、快照链 |
| 多个数据存储同时变慢 | 共享后端资源不足 | 存储池、控制器、缓存、上联链路 |
| 删除快照后空间没有立即恢复 | 合并过程或空间回收未完成 | 快照合并状态、底层回收和存储池空间 |
在 ESXi 上可以通过 esxtop 的存储相关视图观察设备延迟、内核处理延迟、总延迟、活动命令数和队列等待。常见字段包括 DAVG、KAVG、GAVG、ACTV 和 QUED,但不能只根据一个字段下结论。
- GAVG 较高且 DAVG 同步升高:更像是底层设备、阵列或存储网络响应变慢。
- GAVG 较高但设备延迟不明显:需要检查 ESXi 内核排队、路径、虚拟机层或队列配置。
- QUED 持续升高:说明请求在某一层等待处理,应结合主机、路径和阵列端队列判断。
- 单个 VM 的延迟明显高于同一数据存储其他 VM:不能直接通过扩容整个数据存储解决,应检查该 VM 的快照、磁盘类型、业务请求和资源争用。
低延迟固态存储、混合存储和机械盘的基线不同。没有统一的延迟数字可以适用于所有设备。若没有既定服务等级,可以先连续采集正常时段的 P50、P95 和 P99,再把“高于正常基线 50%并持续多个采样周期”设为调查条件。对于在线交易类业务,还应以应用端响应时间作为最终判断依据。
一个大 VMFS 还是多个 VMFS
把所有虚拟机集中到一个大数据存储中,管理和容量利用可能更简单,但也会扩大以下影响范围:
- 快照或错误操作的影响面;
- 数据存储维护和迁移的影响面;
- 单一存储池拥塞时的受影响虚拟机数量;
- 备份窗口和快照合并的并发量。
拆分多个 VMFS 数据存储只有在后端资源确实能够隔离时,才可能带来性能收益。例如,独立磁盘组、独立控制器、独立缓存策略或明确的 QoS 配置,才属于有效隔离。若多个 VMFS 仍然共享同一个存储池、控制器和链路,单纯增加数据存储数量不会让底层 IOPS 自动增加。
可以按业务特征拆分:
- 高随机写数据库与普通应用分开;
- 高峰明显的虚拟桌面与后台任务分开;
- 需要频繁快照或复制的虚拟机与普通虚拟机分开;
- 不同维护窗口或不同故障域的虚拟机分开。
快照规划:按差分增长和合并余量计算
VMware 虚拟机快照并不是完整的独立备份副本。创建快照后,后续写入通常会进入差分磁盘;写入越活跃、快照保留时间越长,差分文件越大。多个快照还可能形成链式依赖,增加读取和合并复杂度。

快照空间不能简单按“原始 VMDK 容量的百分比”估算。更适合观察以下变量:
- 快照创建时的 VMFS 已用空间;
- 快照持续时间;
- 每小时或每天差分文件增长量;
- 同时存在的快照数量;
- 快照删除或合并时的临时空间;
- 快照期间业务写入是否出现峰值;
- 存储阵列是否还有独立的快照池或复制保留空间。
例如,某业务虚拟机历史上在 6 小时快照窗口内产生约 0.25 TB 差分数据,计划最多同时保留 3 台类似虚拟机的快照,则至少需要约 0.75 TB 的差分空间。若快照删除时还需要合并余量,应在此基础上再增加维护空间,而不是把 0.75 TB 当成最终上限。
快照也不宜作为长期备份方式。备份软件可能通过快照协调读取,但备份完成后应确认快照已经成功合并;不能只看到备份任务成功就认为 VMFS 空间已经释放。
如果使用存储阵列快照、复制或克隆,还要单独计算存储池中的保留容量。阵列快照空间通常不会直接表现为 VMFS 数据存储已用空间,但仍会消耗后端容量,并可能与生产 I/O 共享控制器、缓存和磁盘组。
容量余量:用公式推算可用容量,而不是只看 VMDK 总和
推荐的容量计算关系
可以使用以下估算关系:
规划容量 = 当前正常已用容量 + 规划周期增长量 + 快照余量 + 运维余量 + 安全缓冲
其中:
- 当前正常已用容量:最好在临时快照清理完成后记录;
- 规划周期增长量:月均净增长量 × 规划月份;
- 快照余量:最大同时快照差分量 + 合并空间;
- 运维余量:备份缓存、日志、交换文件、迁移临时文件等;
- 安全缓冲:为增长波动、数据回收延迟和采购交付周期保留的空间。
下面是一个估算案例。假设:
- 当前 VMFS 正常已用容量为 18 TB;
- 每月净增长约 0.6 TB;
- 规划周期为 12 个月;
- 3 台虚拟机可能同时创建快照,每台快照差分按 0.25 TB 预留;
- 运维余量暂按 1 TB;
- 在基础需求上增加 25% 的缓冲。
计算过程为:
- 12 个月增长量:0.6 × 12 = 7.2 TB;
- 快照余量:0.25 × 3 = 0.75 TB;
- 基础需求:18 + 7.2 + 0.75 + 1 = 26.95 TB;
- 加上 25% 缓冲:26.95 × 1.25 = 33.6875 TB;
- 规划时可按约 34 TB 的 VMFS 可用容量作为一个估算起点。
这个结果成立的前提是,VMDK 的未来增长已经包含在每月 0.6 TB 中,并且没有额外的精简置备超分配。如果当前已配置但尚未使用的精简 VMDK 总量已经接近 36 TB,那么 34 TB 的可用容量就不够,需要把潜在扩展需求重新加入模型。
从原始容量换算到 VMFS 可用容量
采购或选择存储设备时,必须统一“原始容量”和“可用容量”的口径:

- 磁盘标称容量通常按十进制 TB 计算;
- 操作系统和部分工具可能按 TiB 显示;
- RAID 会消耗校验或镜像空间;
- 热备盘、元数据和文件系统开销会进一步减少可用量;
- 双副本、三副本、同步复制会改变有效容量;
- 数据压缩和重删收益不能按理论最大值计算;
- 阵列快照和复制保留空间可能独立占用存储池。
例如,采购目标是 34 TB 的 VMFS 可用容量,就不能直接购买 34 TB 原始磁盘。应要求供应商明确列出“磁盘原始容量—RAID 后容量—热备及系统开销—数据保护后容量—最终可提供给 ESXi 的容量”。如果使用数据缩减技术,建议按照保守比例计算,并把生产环境实际观测到的缩减率作为后续修正依据。
创建或扩容前还要确认 ESXi 版本、VMFS 版本、存储协议、主机兼容性、4K 原生磁盘支持、路径数量和多路径策略。不能因为阵列端显示有空间,就默认所有 ESXi 主机都能按计划识别和使用。
围绕虚拟化主机的计算与数据存储需求,A5数据提供香港、美国、日本等地区的物理服务器租用,配置涵盖NVMe固态盘及大容量机械硬盘。香港存储系列配有四块14TB企业级硬盘和H730控制器,日本部分方案则提供多块HDD或SSD,可为不同数据规模的服务器部署提供硬件资源选择;各地区也有不同CPU、内存和网络配置。
产品选择与验收:把容量、并发和成本放到同一张表
| 选择维度 | 需要比较的指标 | 适合的判断方式 |
|---|---|---|
| 存储介质 | 固态、机械盘、混合介质的随机 I/O 和持续吞吐 | 使用实际块大小和读写比例测试 |
| 数据保护 | RAID、热备、双控制器、复制策略 | 以保护后的可用容量和故障性能评估 |
| 扩展方式 | 加盘、扩展磁盘组、增加控制器或增加存储节点 | 确认扩容是否需要停机或迁移 |
| 并发能力 | 多 ESXi 主机同时访问时的队列和延迟 | 按预计主机数、路径数进行测试 |
| 快照能力 | VM 快照和阵列快照的空间、性能、保留限制 | 分别确认 VMFS 空间和后端池空间 |
| 数据缩减 | 压缩、重删的适用数据类型和波动 | 不把理论比例直接算入刚性容量 |
| 管理成本 | 许可证、复制、备份、监控和维保 | 按三到五年总成本比较 |
| 故障边界 | 控制器、磁盘组、链路和数据存储的影响范围 | 检查单点故障和恢复时间 |
验收时不要只跑一个连续读写测试。更接近实际的验收至少应包括:
- 使用生产环境接近的 I/O 块大小、读写比例和并发虚拟机数量;
- 分别记录平均值、P95 和 P99 延迟;
- 同时压测多个 ESXi 主机和多个 VMFS 数据存储;
- 验证路径故障切换时是否出现明显延迟或中断;
- 创建代表性虚拟机快照,观察差分文件增长和删除合并过程;
- 核对故障保护后的可用容量,而不是只查看原始磁盘总量;
- 确认新增容量能被所有目标主机识别,且版本和多路径配置一致。
如果某种存储方案只在缓存未满时达到标称 IOPS,而持续写入或快照合并时延迟明显升高,就不应把缓存峰值当作生产承载能力。对数据库、虚拟桌面登录高峰和备份窗口,还应分别制定性能验收条件。
扩容触发点:用趋势、余量和延迟共同决定
监控不能只设置一个“磁盘满了”的告警。建议至少建立以下几类指标:
- VMFS 已用容量和可用容量;
- 精简置备已配置容量与实际消耗容量;
- 每周、每月净增长率;
- 快照数量、快照大小和快照增长速度;
- IOPS、吞吐量、读写比例和平均 I/O 大小;
- P95、P99 存储延迟;
- DAVG、KAVG、GAVG、ACTV、QUED 等 ESXi 存储指标;
- 存储池、控制器、缓存和各路径的利用率;
- 数据保护、复制和快照保留空间。
阈值应结合采购周期和业务风险确定。没有历史基线时,可以先采用一组可调整的参考规则:
- 可用空间降至 30% 左右时,开始准备扩容方案;
- 可用空间降至 20% 左右时,完成采购、迁移或数据清理安排;
- 预计耗尽时间小于采购和交付周期时,立即升级处理;
- 快照预留空间小于最长快照窗口的历史最大增长量加合并余量时,停止新增非必要快照;
- P95 延迟连续多个采样周期高于正常基线 50%,同时队列或业务响应时间上升时,进行性能扩容评估;
- 任一高峰窗口频繁出现 P99 延迟超出业务服务等级时,不应等到 VMFS 容量告警后再处理。
可以用“预计耗尽时间”辅助判断:
预计耗尽时间 = 当前可用容量 ÷ 近期开启的净增长速度
例如,VMFS 还有 9 TB 可用,近三个月平均每月消耗 0.6 TB,则理论上约有 15 个月空间。但如果未来要新增 2 TB 业务、保留 1 TB 快照和运维余量,实际可用周期会明显缩短。对于增长波动较大的环境,应使用近三个月中的较高增长率,而不是只取长期平均值。
当容量和性能同时接近阈值时,优先考虑增加独立后端资源或迁移高负载虚拟机,而不是简单创建更多 VMFS 数据存储。只有把增长速度、快照窗口、峰值 IOPS、并发队列、后端容量和扩容交付周期放在同一个模型里,VMFS 规划才不会出现“空间还够但业务变慢”或“性能达标但快照无法合并”的情况。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5223.html



