Proxmox VE接入Ceph存储要满足哪些条件,如何验证集群状态
“PVE里能看到Ceph存储”并不等于虚拟机已经具备可靠的读写条件。Proxmox VE接入Ceph前,至少要同时确认PVE集群仲裁、Ceph Monitor仲裁、OSD状态、网络连通性、时间同步、存储池配置以及客户端权限;其中任何一项异常,都可能表现为存储显示在线,但虚拟磁盘创建、启动或迁移失败。
验证集群状态不能只执行一次 ceph -s。更完整的判断应分为两层:先确认PVE和Ceph的控制平面正常,再确认RBD存储池、PVE存储配置和访问权限能够完成实际业务路径。生产环境通常以“PVE有仲裁、Ceph有Monitor仲裁、OSD正常、PG处于 active+clean、存储池未接近满载、PVE存储状态为 active、测试客户端具备正确权限”为接入前的基本门槛。
一、先划清PVE、Ceph与RBD的边界
1. PVE集群状态不等于Ceph集群状态
Proxmox VE集群主要依赖 Corosync 和 pmxcfs 维护节点通信、配置同步及集群仲裁。Ceph则由 Monitor、Manager、OSD、PG和CRUSH规则共同完成存储控制与数据分布。
因此,需要分别检查:
pvecm status:确认PVE集群是否有仲裁。ceph quorum_status -f json-pretty:确认Ceph Monitor是否形成仲裁。ceph -s:查看Ceph整体健康状态。pvesm status:确认PVE侧配置的存储是否处于可用状态。
PVE集群显示 Quorate: Yes,只能说明PVE控制面基本正常,不能证明Ceph的Monitor、OSD或存储池没有问题。反过来,Ceph显示 HEALTH_OK,也不代表每个PVE节点都能使用正确的配置和密钥访问RBD。
2. PVE使用的是RBD存储对象,而不是普通目录
Ceph为虚拟化场景提供块设备接口,常见形式是RBD。虚拟机磁盘在Ceph中表现为RBD镜像,PVE通过Monitor获取集群信息,再由Ceph客户端访问对应的OSD。
这意味着以下对象必须同时匹配:

- Ceph Monitor地址能够从PVE节点访问;
- 存储池已经创建,并启用了适合RBD的应用类型;
- PVE存储配置中的池名称、Monitor地址和客户端名称正确;
- 客户端密钥存在,且拥有对应存储池的读写权限;
- 所有需要运行虚拟机的PVE节点都能访问同一Ceph集群;
- PVE中的存储ID和内容类型配置一致,例如允许
images或rootdir。
只验证“Monitor能连通”是不够的。Monitor可访问而OSD网络不通,可能导致存储状态间歇性异常;客户端能执行 ceph -s,但没有目标池的RBD权限,也无法创建虚拟机磁盘。
二、接入前必须满足的环境条件
1. 明确采用同节点部署还是外部Ceph
PVE接入Ceph通常有两种拓扑。
| 拓扑 | 主要条件 | 需要重点关注的问题 |
|---|---|---|
| PVE与Ceph同节点部署 | PVE节点同时运行Monitor、Manager和OSD | 虚拟机、Ceph恢复任务和PVE服务争用CPU、内存、网络与磁盘 |
| 外部Ceph集群 | PVE节点作为Ceph客户端访问独立存储集群 | 客户端版本、网络路由、密钥权限以及外部集群维护窗口 |
同节点部署不要求额外的存储服务器,但PVE节点故障可能同时影响计算和存储。外部Ceph可以降低计算节点与存储节点之间的资源争用,但需要单独规划网络和故障域。
如果使用PVE高可用、在线迁移或多节点共享存储,所有相关PVE节点必须拥有一致的存储配置和访问能力。只在一台PVE节点上验证成功,不能推断其他节点也能正常启动虚拟机。
2. 软件版本和客户端必须匹配
PVE版本、Ceph主版本、Ceph客户端库和内核接口之间存在兼容关系。实施前应先记录目标环境:
pveversion -v
ceph -v
uname -r
重点不是追求某一个固定版本,而是确认:
- PVE目标版本支持计划使用的Ceph版本;
- 所有PVE节点使用的主要PVE与Ceph客户端版本一致;
- 外部Ceph升级后,PVE节点上的客户端仍在支持范围内;
- 没有一部分节点使用旧的Ceph客户端或不同的配置文件;
- 计划使用的RBD特性与当前客户端兼容。
不要因为某个节点上的 ceph -s 能返回结果,就把不同主版本的客户端直接混用。版本不一致可能在简单查询时没有问题,但在快照、克隆、迁移或恢复操作中才暴露。
3. PVE集群需要保持仲裁
如果PVE节点已经组成集群,应先检查PVE仲裁:
pvecm status
典型的正常结果会包含类似信息:
Quorum information
------------------
Date: 2025-01-01 10:00:00
Quorum provider: corosync_votequorum
Nodes: 3
Node ID: 0x00000001
Ring ID: 1
Quorate: Yes
Votequorum information
----------------------
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
这里的日期和节点数量只是示例。实际判断应关注 Quorate: Yes、节点数、预期票数和当前票数是否符合设计。
PVE只有两个节点时,仲裁和维护复杂度会明显增加。即使增加仲裁设备或采用其他方案,也不能把PVE仲裁问题与Ceph数据副本问题混为一谈。PVE有仲裁,不代表Ceph已经具备足够的故障容错能力。
4. 时间、名称解析和路由必须一致
PVE、Ceph Monitor和OSD之间需要稳定的名称解析、路由和时间。建议每个相关节点检查:
hostnamectl
getent hosts pve1 pve2 pve3
ip -br addr
ip route
timedatectl
如果系统使用 Chrony,还可以查看:
chronyc tracking
需要确认:
- 节点主机名和解析结果一致;
- 不同节点对同一主机名解析到的地址符合设计;
- 没有一部分节点优先解析到不可达的IPv6地址;
- Ceph公共网络和集群网络的路由方向正确;
- 时间同步服务已经运行,时钟没有明显偏差;
- PVE集群通信、Ceph流量和虚拟机迁移流量没有误走低质量链路。
时间同步异常通常不会只表现为虚拟磁盘读写失败,也可能先表现为集群告警、证书校验异常或服务状态不稳定,因此应在接入前处理。
三、网络和硬件条件决定Ceph是否适合承载虚拟机
1. 区分管理网、Corosync网和Ceph网络
一个常见的规划方式是区分以下流量:

- 管理流量:Web界面、SSH、API和监控;
- Corosync流量:PVE节点间的集群通信;
- Ceph公共网络:客户端、Monitor和OSD之间的业务访问;
- Ceph集群网络:OSD复制、恢复和回填流量;
- 迁移网络:虚拟机内存或磁盘迁移流量。
小规模环境可以在物理上复用链路,但应使用清晰的VLAN、队列或带宽规划。把所有流量放在一条没有预留的低速链路上,平时可能可以启动虚拟机,一旦OSD恢复或虚拟机迁移开始,延迟就可能明显上升。
Ceph是否配置了独立集群网络,可以检查相关配置:
ceph config get mon public_network
ceph config get osd cluster_network
ceph mon dump
cluster_network为空不一定是错误,很多环境只使用一个Ceph网络。真正需要确认的是所有节点的网络设计一致,且配置的网段在对应节点上可达。
2. 带宽要按复制和恢复流量估算
Ceph写入并不等于只传输一份数据。以三副本池为例,客户端写入会产生数据复制,OSD故障后的恢复和回填还会额外占用网络与磁盘资源。
例如,某虚拟机持续产生约200 MB/s的写入流量:
- 十进制口径下,200 MB/s × 8 = 1600 Mb/s;
- 如果采用三副本,单纯按复制关系估算,后端可能需要约4800 Mb/s;
- 恢复、校验、协议开销和其他虚拟机流量还会继续增加需求。
这不是精确性能公式,因为实际流量取决于写入模式、缓存、对象大小、压缩、网络拓扑和Ceph版本,但它能说明为什么“客户端看到的带宽”不能直接当作“Ceph后端所需带宽”。
带宽与延迟建议通过节点之间的实测或受控测试确认。iperf3测试会占用链路,应该在低负载时段执行,并限制测试范围:
# 在测试节点临时监听
iperf3 -s
# 在另一节点执行,示例持续30秒、使用4条并发流
iperf3 -c <对端地址> -P 4 -t 30
测试完成后停止临时监听服务。若启用了巨型帧,还要在所有相关接口、交换机端口、VLAN和路由路径上统一MTU,不能只修改某一个节点。
面向PVE虚拟化与Ceph分布式存储部署,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等计算平台,并提供NVMe、SSD、大容量硬盘及不同带宽线路配置,可为同节点部署或外部Ceph架构提供节点、存储与网络资源基础,适配虚拟机、数据库、多任务计算及数据存储等场景。
3. OSD磁盘应避免被不透明的存储层包裹
Ceph OSD需要能够正确感知磁盘故障、延迟和容量。常见的规划原则包括:
- 优先使用直通磁盘、HBA或JBOD模式;
- 谨慎在硬件RAID卷之上再创建OSD;
- 不要把多个逻辑卷误认为多个独立故障域;
- 记录磁盘型号、容量、接口和寿命状态;
- 混用不同性能等级磁盘时,规划对应的CRUSH规则和设备类别;
- DB/WAL放到更快介质上时,确认耐久性、容量和故障处理方式。
可以先查看设备与OSD对应关系:
lsblk -o NAME,SIZE,TYPE,MODEL,SERIAL,FSTYPE,MOUNTPOINT
ceph osd tree
ceph osd df tree
OSD数量越多,Ceph守护进程、内存、恢复任务和后台操作占用的资源也会增加。不能只按虚拟机数量规划内存,还应为PVE服务、Ceph守护进程、文件缓存和虚拟机预留足够余量。
四、容量、副本和故障域要在接入前核算
1. 原始容量不等于可用容量
以6块3.84 TB磁盘为例,原始容量为:
- 6 × 3.84 TB = 23.04 TB原始容量;
- 三副本池的理论数据容量约为23.04 ÷ 3 = 7.68 TB;
- 如果为恢复和安全运行预留约20%,可规划容量约为7.68 × 0.8 = 6.144 TB。
这只是便于理解的估算,实际容量还会受到以下因素影响:
- OSD所在磁盘实际可用容量;
- CRUSH分布不均;
- BlueStore元数据;
- 快照和克隆;
- 回收站或残留对象;
- 多个存储池分别占用的空间;
- nearfull和backfill预留;
- 故障后重建所需的可用空间。
查看当前容量和池状态:
ceph df
ceph osd df tree
ceph osd pool ls detail
如果集群已经接近 nearfull 或 full 阈值,即使当前虚拟机仍能读写,也不适合继续接入新的业务。容量规划应为故障恢复和临时增长留出空间,而不是把理论可用容量全部分配给虚拟机。
2. 副本数必须与故障域匹配
查看目标池的副本和最小副本设置:
ceph osd pool get <POOL> size
ceph osd pool get <POOL> min_size
ceph osd pool get <POOL> crush_rule
例如,size为3表示通常保存三份副本,min_size为2表示在部分副本不可用时,池可能仍允许部分I/O。后者不等于数据已经具备完整冗余,处于降级状态时继续写入会增加风险。
如果三份副本都落在同一台主机的不同磁盘上,主机故障仍可能同时失去三份数据。因此还要检查CRUSH树和规则是否按主机、机架或其他计划的故障域分布:
ceph osd crush tree
ceph osd crush rule dump <RULE>
生产环境不应通过随意降低 min_size 来掩盖OSD或网络故障。任何副本参数调整都属于有影响的配置变更,执行前应确认数据保护目标、变更窗口和恢复方案,并记录原始参数,便于回滚。
五、按层次验证PVE接入Ceph的状态
1. 先检查Ceph整体健康
在具备Ceph管理权限的节点执行:
ceph -s
ceph health detail
典型的健康结果可能类似:
cluster:
id: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
health: HEALTH_OK
services:
mon: 3 daemons, quorum pve1,pve2,pve3
mgr: pve1(active), standbys: pve2
osd: 9 osds: 9 up, 9 in
pools: 1 pools, 64 pgs
objects: 120.5k objects
usage: 2.1 TiB used, 25 TiB / 27 TiB avail
pgs: 64 active+clean
重点观察:
health是否为HEALTH_OK;- Monitor是否有足够成员并形成quorum;
- 是否存在active Manager;
- OSD是否全部为
up和in; - PG是否全部为
active+clean; - 是否存在
degraded、undersized、peering、stale、backfill_wait或incomplete; - 使用量是否接近满载阈值。
HEALTH_WARN不一定代表整个集群不能接入,例如某些非核心告警可能不影响RBD读写。但必须通过 ceph health detail 判断告警原因。只要告警涉及OSD掉线、PG降级、空间不足、Monitor异常或网络分区,就不应把它当作可直接上线的健康状态。
2. 检查Monitor和Manager仲裁
Monitor状态可以单独查看:
ceph quorum_status -f json-pretty
ceph mon stat
ceph mgr stat
正常状态应满足:
- Monitor成员数量与规划一致;
- 当前有quorum;
- 至少有一个Manager处于active;
- 不存在反复加入和退出的Monitor;
- Monitor之间可以通过预期网络互通。
生产环境通常使用奇数个Monitor以提高仲裁判断的清晰度。三节点环境常见的目标是三Monitor;五节点环境可根据规模和故障域规划五Monitor。Monitor数量增加并不会自动提升OSD数据性能,重点是仲裁和故障容忍。
3. 检查OSD、CRUSH树和PG
执行以下命令查看数据面:
ceph osd stat
ceph osd tree
ceph osd df tree
ceph pg stat
需要将结果对应到实际硬件:
- OSD数量是否与计划一致;
- 所有预期OSD是否为
up和in; - 是否有OSD被错误地放入了不应承担业务的节点;
- 主机、机架或其他故障域层级是否符合设计;
- OSD之间的容量和利用率是否严重失衡;
- PG是否已经完成恢复和回填。
如果刚添加过OSD、替换过磁盘或修改过CRUSH规则,集群可能处于正常恢复过程。此时不宜仅看“服务在线”,还要等待PG回到稳定状态,再进行性能和业务验证。
4. 检查存储池是否适合RBD
查看目标池:
ceph osd pool ls detail
ceph osd pool application get <POOL> rbd
ceph osd pool get <POOL> size
ceph osd pool get <POOL> min_size
ceph osd pool get <POOL> crush_rule
如果目标池没有启用RBD应用标记,或副本、CRUSH规则与故障域要求不符,就不能仅靠修改PVE存储配置解决。应先确认池的用途、数据保护策略和容量预算。
对于多个池,不要把其中一个池的参数套用到全部池。例如,虚拟机镜像池关注RBD兼容性、延迟和副本分布,备份池可能采用不同的容量策略;两者的验收条件不能混为一谈。
5. 检查PVE侧存储配置
在PVE节点查看存储配置和状态:
cat /etc/pve/storage.cfg
pvesm status
storage.cfg中重点核对:
- 存储ID是否与各节点使用的名称一致;
monhost或Monitor地址是否正确;pool是否为预期Ceph池;username是否为预期客户端;content是否包含需要的内容类型;- 是否错误启用了不适用的本地缓存或内核映射选项;
- 存储是否被限制到错误的节点。
示例结构可能类似:
rbdstore: ceph-vm
content images,rootdir
pool vm-pool
username client.pve
monhost 10.10.20.11;10.10.20.12;10.10.20.13
这是结构示例,不应直接复制到生产环境。实际字段、认证文件位置和选项应以目标PVE版本生成或维护的配置为准。不要在工单、截图或公开日志中暴露客户端密钥。
pvesm status需要在每一台计划承载虚拟机的PVE节点上执行。某节点显示active而另一节点显示不可用,通常说明配置文件、路由、密钥、客户端版本或防火墙策略并不一致。
6. 验证Ceph客户端权限
权限验证应使用实际配置的客户端身份,而不是只用管理员账号执行测试。先查看客户端权限时,应隐藏密钥内容:
ceph auth get client.<CLIENT_ID> | sed '/key =/d'
常见的权限核对方向包括:
- Monitor权限允许客户端获取集群映射;
- OSD权限限定到目标池;
- 需要执行快照、克隆或删除等操作时,权限覆盖对应功能;
- 不同存储池使用不同客户端时,权限边界没有交叉错误;
- PVE节点上的keyring与
storage.cfg中的客户端身份一致。
然后使用该客户端尝试读取目标池中的RBD列表:
rbd -p <POOL> ls --id <CLIENT_ID>
如果目标池为空,命令成功但没有输出,也可能代表权限和连通性正常。若出现认证失败、无权访问池或无法连接Monitor,应先处理权限和网络,不要直接扩大为管理员权限。
7. 做一次受控的端到端验证
只执行状态查询,无法证明PVE创建虚拟磁盘的完整路径正常。接入前可以在非生产窗口创建一台小规格测试虚拟机,验证以下动作:

- 在目标Ceph存储上创建测试磁盘;
- 启动测试虚拟机并确认系统盘能够读写;
- 执行一次小范围快照或克隆测试,前提是业务确实需要该功能;
- 将测试虚拟机迁移到另一台PVE节点;
- 在另一台节点上确认虚拟机仍能启动和访问磁盘;
- 删除测试对象,并确认Ceph池中没有异常残留。
删除测试虚拟机或RBD对象属于破坏性操作,必须确认对象确实是测试数据,并保留测试记录。正式业务上线前,不建议通过对生产RBD执行随机写入来“压测”,应使用独立测试池或专门测试镜像。
六、用一张验收表判断是否可以接入
| 检查对象 | 推荐验证方式 | 可接受结果 | 不宜继续接入的情况 |
|---|---|---|---|
| PVE集群 | pvecm status | Quorate: Yes,节点和票数符合规划 | 无仲裁、节点反复离线 |
| Ceph Monitor | ceph quorum_status -f json-pretty | Monitor形成quorum | 无quorum或成员频繁变化 |
| Manager | ceph mgr stat | 有active Manager | 没有active Manager且告警持续 |
| OSD | ceph osd stat、ceph osd tree | 计划内OSD均为up/in | OSD down、out或磁盘故障未处理 |
| PG | ceph pg stat、ceph -s | 业务池为active+clean | degraded、stale、peering、incomplete |
| 容量 | ceph df、ceph osd df tree | 有恢复和增长余量 | 接近nearfull或full |
| 网络 | getent、ip route、受控带宽测试 | 地址、路由、MTU和带宽符合设计 | 丢包、路径不一致、恢复流量会挤占业务 |
| 存储池 | ceph osd pool ls detail | RBD应用标记、副本和CRUSH规则正确 | 池用途不明或故障域不符合要求 |
| PVE存储 | pvesm status | 所有相关PVE节点均为active | 仅单节点可用 |
| 权限 | rbd -p <POOL> ls --id <CLIENT_ID> | 实际客户端可访问目标池 | 认证失败或权限过宽、过窄 |
| 端到端业务 | 测试虚拟机读写、迁移 | 创建、启动、迁移和删除均正常 | 仅查询正常,实际I/O失败 |
七、哪些结果不能被过度解读
1. HEALTH_OK不等于性能达标
Ceph健康状态主要反映控制面、OSD和PG是否达到一致性要求,不直接代表虚拟机延迟稳定。网络拥塞、单个慢盘、恢复任务、CPU争用和混合介质都可能在HEALTH_OK时影响业务体验。
如果业务对延迟、IOPS或吞吐有明确要求,应在与生产接近的虚拟机规格、磁盘大小、并发数量和网络负载下进行独立性能验证。不能用一次空载状态查询替代性能验收。
2. pvesm status正常不等于所有操作都可用
PVE存储显示active,通常说明基本连接和配置检查通过,但快照、克隆、删除、迁移、备份等操作可能需要额外权限或兼容性支持。业务如果依赖这些功能,应逐项验证,不要只验证“能创建磁盘”。
3. 两副本、三副本与节点数量不是同一个概念
三台PVE节点不一定代表三份数据副本,三份数据副本也不一定分布在三台不同主机上。必须同时查看:
- Ceph池的
size和min_size; - CRUSH规则的故障域;
- OSD实际所在主机;
- PVE节点和Ceph节点的故障关联关系。
如果所有OSD集中在一台服务器,Ceph仍可能显示在线,但无法提供主机级故障容错。
4. 外部Ceph和同节点Ceph的风险边界不同
外部Ceph主要关注客户端兼容性、跨网络延迟、路由和权限;同节点Ceph则还要关注虚拟机负载与OSD恢复之间的资源争用。两种架构不应使用完全相同的验收标准。
5. 命令输出会随版本和部署方式变化
Ceph命令的字段、告警文本和默认配置可能随版本变化。实际操作时,应以目标PVE和Ceph版本的命令帮助、现有配置和集群状态为准:
ceph --help
pvesm help
pvecm help
若命令返回权限错误、配置文件错误或连接失败,不要立即判断为Ceph集群损坏,应先确认命令执行节点、配置文件、客户端身份和目标网络。
最终的接入判断应建立在一条完整链路上:PVE有仲裁,Ceph有Monitor仲裁,Manager和OSD状态正常,PG稳定为active+clean,存储池容量与故障域符合规划,所有相关PVE节点都能访问同一RBD池,实际客户端权限正确,并且测试虚拟机能够完成创建、读写和跨节点使用。只满足其中一部分,只能说明“具备接入条件的一部分”,不能直接视为可以承载生产虚拟机。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8383.html



