Proxmox VE接入Ceph存储要满足哪些条件,如何验证集群状态

发布人:A5数据发布时间:2026-11-09 10:08阅读量:71

“PVE里能看到Ceph存储”并不等于虚拟机已经具备可靠的读写条件。Proxmox VE接入Ceph前,至少要同时确认PVE集群仲裁、Ceph Monitor仲裁、OSD状态、网络连通性、时间同步、存储池配置以及客户端权限;其中任何一项异常,都可能表现为存储显示在线,但虚拟磁盘创建、启动或迁移失败。

验证集群状态不能只执行一次 ceph -s。更完整的判断应分为两层:先确认PVE和Ceph的控制平面正常,再确认RBD存储池、PVE存储配置和访问权限能够完成实际业务路径。生产环境通常以“PVE有仲裁、Ceph有Monitor仲裁、OSD正常、PG处于 active+clean、存储池未接近满载、PVE存储状态为 active、测试客户端具备正确权限”为接入前的基本门槛。

一、先划清PVE、Ceph与RBD的边界

1. PVE集群状态不等于Ceph集群状态

Proxmox VE集群主要依赖 Corosync 和 pmxcfs 维护节点通信、配置同步及集群仲裁。Ceph则由 Monitor、Manager、OSD、PG和CRUSH规则共同完成存储控制与数据分布。

因此,需要分别检查:

  • pvecm status:确认PVE集群是否有仲裁。
  • ceph quorum_status -f json-pretty:确认Ceph Monitor是否形成仲裁。
  • ceph -s:查看Ceph整体健康状态。
  • pvesm status:确认PVE侧配置的存储是否处于可用状态。

PVE集群显示 Quorate: Yes,只能说明PVE控制面基本正常,不能证明Ceph的Monitor、OSD或存储池没有问题。反过来,Ceph显示 HEALTH_OK,也不代表每个PVE节点都能使用正确的配置和密钥访问RBD。

2. PVE使用的是RBD存储对象,而不是普通目录

Ceph为虚拟化场景提供块设备接口,常见形式是RBD。虚拟机磁盘在Ceph中表现为RBD镜像,PVE通过Monitor获取集群信息,再由Ceph客户端访问对应的OSD。

这意味着以下对象必须同时匹配:

一、先划清PVE、Ceph与RBD的边界配图

  • Ceph Monitor地址能够从PVE节点访问;
  • 存储池已经创建,并启用了适合RBD的应用类型;
  • PVE存储配置中的池名称、Monitor地址和客户端名称正确;
  • 客户端密钥存在,且拥有对应存储池的读写权限;
  • 所有需要运行虚拟机的PVE节点都能访问同一Ceph集群;
  • PVE中的存储ID和内容类型配置一致,例如允许 images 或 rootdir。

只验证“Monitor能连通”是不够的。Monitor可访问而OSD网络不通,可能导致存储状态间歇性异常;客户端能执行 ceph -s,但没有目标池的RBD权限,也无法创建虚拟机磁盘。

二、接入前必须满足的环境条件

1. 明确采用同节点部署还是外部Ceph

PVE接入Ceph通常有两种拓扑。

拓扑主要条件需要重点关注的问题
PVE与Ceph同节点部署PVE节点同时运行Monitor、Manager和OSD虚拟机、Ceph恢复任务和PVE服务争用CPU、内存、网络与磁盘
外部Ceph集群PVE节点作为Ceph客户端访问独立存储集群客户端版本、网络路由、密钥权限以及外部集群维护窗口

同节点部署不要求额外的存储服务器,但PVE节点故障可能同时影响计算和存储。外部Ceph可以降低计算节点与存储节点之间的资源争用,但需要单独规划网络和故障域。

如果使用PVE高可用、在线迁移或多节点共享存储,所有相关PVE节点必须拥有一致的存储配置和访问能力。只在一台PVE节点上验证成功,不能推断其他节点也能正常启动虚拟机。

2. 软件版本和客户端必须匹配

PVE版本、Ceph主版本、Ceph客户端库和内核接口之间存在兼容关系。实施前应先记录目标环境:

pveversion -v
ceph -v
uname -r

重点不是追求某一个固定版本,而是确认:

  • PVE目标版本支持计划使用的Ceph版本;
  • 所有PVE节点使用的主要PVE与Ceph客户端版本一致;
  • 外部Ceph升级后,PVE节点上的客户端仍在支持范围内;
  • 没有一部分节点使用旧的Ceph客户端或不同的配置文件;
  • 计划使用的RBD特性与当前客户端兼容。

不要因为某个节点上的 ceph -s 能返回结果,就把不同主版本的客户端直接混用。版本不一致可能在简单查询时没有问题,但在快照、克隆、迁移或恢复操作中才暴露。

3. PVE集群需要保持仲裁

如果PVE节点已经组成集群,应先检查PVE仲裁:

pvecm status

典型的正常结果会包含类似信息:

Quorum information
------------------
Date:             2025-01-01 10:00:00
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2

这里的日期和节点数量只是示例。实际判断应关注 Quorate: Yes、节点数、预期票数和当前票数是否符合设计。

PVE只有两个节点时,仲裁和维护复杂度会明显增加。即使增加仲裁设备或采用其他方案,也不能把PVE仲裁问题与Ceph数据副本问题混为一谈。PVE有仲裁,不代表Ceph已经具备足够的故障容错能力。

4. 时间、名称解析和路由必须一致

PVE、Ceph Monitor和OSD之间需要稳定的名称解析、路由和时间。建议每个相关节点检查:

hostnamectl
getent hosts pve1 pve2 pve3
ip -br addr
ip route
timedatectl

如果系统使用 Chrony,还可以查看:

chronyc tracking

需要确认:

  • 节点主机名和解析结果一致;
  • 不同节点对同一主机名解析到的地址符合设计;
  • 没有一部分节点优先解析到不可达的IPv6地址;
  • Ceph公共网络和集群网络的路由方向正确;
  • 时间同步服务已经运行,时钟没有明显偏差;
  • PVE集群通信、Ceph流量和虚拟机迁移流量没有误走低质量链路。

时间同步异常通常不会只表现为虚拟磁盘读写失败,也可能先表现为集群告警、证书校验异常或服务状态不稳定,因此应在接入前处理。

三、网络和硬件条件决定Ceph是否适合承载虚拟机

1. 区分管理网、Corosync网和Ceph网络

一个常见的规划方式是区分以下流量:

三、网络和硬件条件决定Ceph是否适合承载虚拟机配图

  • 管理流量:Web界面、SSH、API和监控;
  • Corosync流量:PVE节点间的集群通信;
  • Ceph公共网络:客户端、Monitor和OSD之间的业务访问;
  • Ceph集群网络:OSD复制、恢复和回填流量;
  • 迁移网络:虚拟机内存或磁盘迁移流量。

小规模环境可以在物理上复用链路,但应使用清晰的VLAN、队列或带宽规划。把所有流量放在一条没有预留的低速链路上,平时可能可以启动虚拟机,一旦OSD恢复或虚拟机迁移开始,延迟就可能明显上升。

Ceph是否配置了独立集群网络,可以检查相关配置:

ceph config get mon public_network
ceph config get osd cluster_network
ceph mon dump

cluster_network为空不一定是错误,很多环境只使用一个Ceph网络。真正需要确认的是所有节点的网络设计一致,且配置的网段在对应节点上可达。

2. 带宽要按复制和恢复流量估算

Ceph写入并不等于只传输一份数据。以三副本池为例,客户端写入会产生数据复制,OSD故障后的恢复和回填还会额外占用网络与磁盘资源。

例如,某虚拟机持续产生约200 MB/s的写入流量:

  • 十进制口径下,200 MB/s × 8 = 1600 Mb/s;
  • 如果采用三副本,单纯按复制关系估算,后端可能需要约4800 Mb/s;
  • 恢复、校验、协议开销和其他虚拟机流量还会继续增加需求。

这不是精确性能公式,因为实际流量取决于写入模式、缓存、对象大小、压缩、网络拓扑和Ceph版本,但它能说明为什么“客户端看到的带宽”不能直接当作“Ceph后端所需带宽”。

带宽与延迟建议通过节点之间的实测或受控测试确认。iperf3测试会占用链路,应该在低负载时段执行,并限制测试范围:

# 在测试节点临时监听
iperf3 -s

# 在另一节点执行,示例持续30秒、使用4条并发流
iperf3 -c <对端地址> -P 4 -t 30

测试完成后停止临时监听服务。若启用了巨型帧,还要在所有相关接口、交换机端口、VLAN和路由路径上统一MTU,不能只修改某一个节点。

面向PVE虚拟化与Ceph分布式存储部署,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等计算平台,并提供NVMe、SSD、大容量硬盘及不同带宽线路配置,可为同节点部署或外部Ceph架构提供节点、存储与网络资源基础,适配虚拟机、数据库、多任务计算及数据存储等场景。

3. OSD磁盘应避免被不透明的存储层包裹

Ceph OSD需要能够正确感知磁盘故障、延迟和容量。常见的规划原则包括:

  • 优先使用直通磁盘、HBA或JBOD模式;
  • 谨慎在硬件RAID卷之上再创建OSD;
  • 不要把多个逻辑卷误认为多个独立故障域;
  • 记录磁盘型号、容量、接口和寿命状态;
  • 混用不同性能等级磁盘时,规划对应的CRUSH规则和设备类别;
  • DB/WAL放到更快介质上时,确认耐久性、容量和故障处理方式。

可以先查看设备与OSD对应关系:

lsblk -o NAME,SIZE,TYPE,MODEL,SERIAL,FSTYPE,MOUNTPOINT
ceph osd tree
ceph osd df tree

OSD数量越多,Ceph守护进程、内存、恢复任务和后台操作占用的资源也会增加。不能只按虚拟机数量规划内存,还应为PVE服务、Ceph守护进程、文件缓存和虚拟机预留足够余量。

四、容量、副本和故障域要在接入前核算

1. 原始容量不等于可用容量

以6块3.84 TB磁盘为例,原始容量为:

  • 6 × 3.84 TB = 23.04 TB原始容量;
  • 三副本池的理论数据容量约为23.04 ÷ 3 = 7.68 TB;
  • 如果为恢复和安全运行预留约20%,可规划容量约为7.68 × 0.8 = 6.144 TB。

这只是便于理解的估算,实际容量还会受到以下因素影响:

  • OSD所在磁盘实际可用容量;
  • CRUSH分布不均;
  • BlueStore元数据;
  • 快照和克隆;
  • 回收站或残留对象;
  • 多个存储池分别占用的空间;
  • nearfull和backfill预留;
  • 故障后重建所需的可用空间。

查看当前容量和池状态:

ceph df
ceph osd df tree
ceph osd pool ls detail

如果集群已经接近 nearfull 或 full 阈值,即使当前虚拟机仍能读写,也不适合继续接入新的业务。容量规划应为故障恢复和临时增长留出空间,而不是把理论可用容量全部分配给虚拟机。

2. 副本数必须与故障域匹配

查看目标池的副本和最小副本设置:

ceph osd pool get <POOL> size
ceph osd pool get <POOL> min_size
ceph osd pool get <POOL> crush_rule

例如,size为3表示通常保存三份副本,min_size为2表示在部分副本不可用时,池可能仍允许部分I/O。后者不等于数据已经具备完整冗余,处于降级状态时继续写入会增加风险。

如果三份副本都落在同一台主机的不同磁盘上,主机故障仍可能同时失去三份数据。因此还要检查CRUSH树和规则是否按主机、机架或其他计划的故障域分布:

ceph osd crush tree
ceph osd crush rule dump <RULE>

生产环境不应通过随意降低 min_size 来掩盖OSD或网络故障。任何副本参数调整都属于有影响的配置变更,执行前应确认数据保护目标、变更窗口和恢复方案,并记录原始参数,便于回滚。

五、按层次验证PVE接入Ceph的状态

1. 先检查Ceph整体健康

在具备Ceph管理权限的节点执行:

ceph -s
ceph health detail

典型的健康结果可能类似:

cluster:
  id:     xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
  health: HEALTH_OK

services:
  mon: 3 daemons, quorum pve1,pve2,pve3
  mgr: pve1(active), standbys: pve2
  osd: 9 osds: 9 up, 9 in


  pools:   1 pools, 64 pgs
  objects: 120.5k objects
  usage:   2.1 TiB used, 25 TiB / 27 TiB avail
  pgs:     64 active+clean

重点观察:

  • health是否为HEALTH_OK;
  • Monitor是否有足够成员并形成quorum;
  • 是否存在active Manager;
  • OSD是否全部为up和in;
  • PG是否全部为active+clean;
  • 是否存在degraded、undersized、peering、stale、backfill_wait或incomplete;
  • 使用量是否接近满载阈值。

HEALTH_WARN不一定代表整个集群不能接入,例如某些非核心告警可能不影响RBD读写。但必须通过 ceph health detail 判断告警原因。只要告警涉及OSD掉线、PG降级、空间不足、Monitor异常或网络分区,就不应把它当作可直接上线的健康状态。

2. 检查Monitor和Manager仲裁

Monitor状态可以单独查看:

ceph quorum_status -f json-pretty
ceph mon stat
ceph mgr stat

正常状态应满足:

  • Monitor成员数量与规划一致;
  • 当前有quorum;
  • 至少有一个Manager处于active;
  • 不存在反复加入和退出的Monitor;
  • Monitor之间可以通过预期网络互通。

生产环境通常使用奇数个Monitor以提高仲裁判断的清晰度。三节点环境常见的目标是三Monitor;五节点环境可根据规模和故障域规划五Monitor。Monitor数量增加并不会自动提升OSD数据性能,重点是仲裁和故障容忍。

3. 检查OSD、CRUSH树和PG

执行以下命令查看数据面:

ceph osd stat
ceph osd tree
ceph osd df tree
ceph pg stat

需要将结果对应到实际硬件:

  • OSD数量是否与计划一致;
  • 所有预期OSD是否为up和in;
  • 是否有OSD被错误地放入了不应承担业务的节点;
  • 主机、机架或其他故障域层级是否符合设计;
  • OSD之间的容量和利用率是否严重失衡;
  • PG是否已经完成恢复和回填。

如果刚添加过OSD、替换过磁盘或修改过CRUSH规则,集群可能处于正常恢复过程。此时不宜仅看“服务在线”,还要等待PG回到稳定状态,再进行性能和业务验证。

4. 检查存储池是否适合RBD

查看目标池:

ceph osd pool ls detail
ceph osd pool application get <POOL> rbd
ceph osd pool get <POOL> size
ceph osd pool get <POOL> min_size
ceph osd pool get <POOL> crush_rule

如果目标池没有启用RBD应用标记,或副本、CRUSH规则与故障域要求不符,就不能仅靠修改PVE存储配置解决。应先确认池的用途、数据保护策略和容量预算。

对于多个池,不要把其中一个池的参数套用到全部池。例如,虚拟机镜像池关注RBD兼容性、延迟和副本分布,备份池可能采用不同的容量策略;两者的验收条件不能混为一谈。

5. 检查PVE侧存储配置

在PVE节点查看存储配置和状态:

cat /etc/pve/storage.cfg
pvesm status

storage.cfg中重点核对:

  • 存储ID是否与各节点使用的名称一致;
  • monhost或Monitor地址是否正确;
  • pool是否为预期Ceph池;
  • username是否为预期客户端;
  • content是否包含需要的内容类型;
  • 是否错误启用了不适用的本地缓存或内核映射选项;
  • 存储是否被限制到错误的节点。

示例结构可能类似:

rbdstore: ceph-vm
        content images,rootdir
        pool vm-pool
        username client.pve
        monhost 10.10.20.11;10.10.20.12;10.10.20.13

这是结构示例,不应直接复制到生产环境。实际字段、认证文件位置和选项应以目标PVE版本生成或维护的配置为准。不要在工单、截图或公开日志中暴露客户端密钥。

pvesm status需要在每一台计划承载虚拟机的PVE节点上执行。某节点显示active而另一节点显示不可用,通常说明配置文件、路由、密钥、客户端版本或防火墙策略并不一致。

6. 验证Ceph客户端权限

权限验证应使用实际配置的客户端身份,而不是只用管理员账号执行测试。先查看客户端权限时,应隐藏密钥内容:

ceph auth get client.<CLIENT_ID> | sed '/key =/d'

常见的权限核对方向包括:

  • Monitor权限允许客户端获取集群映射;
  • OSD权限限定到目标池;
  • 需要执行快照、克隆或删除等操作时,权限覆盖对应功能;
  • 不同存储池使用不同客户端时,权限边界没有交叉错误;
  • PVE节点上的keyring与storage.cfg中的客户端身份一致。

然后使用该客户端尝试读取目标池中的RBD列表:

rbd -p <POOL> ls --id <CLIENT_ID>

如果目标池为空,命令成功但没有输出,也可能代表权限和连通性正常。若出现认证失败、无权访问池或无法连接Monitor,应先处理权限和网络,不要直接扩大为管理员权限。

7. 做一次受控的端到端验证

只执行状态查询,无法证明PVE创建虚拟磁盘的完整路径正常。接入前可以在非生产窗口创建一台小规格测试虚拟机,验证以下动作:

五、按层次验证PVE接入Ceph的状态配图

  1. 在目标Ceph存储上创建测试磁盘;
  2. 启动测试虚拟机并确认系统盘能够读写;
  3. 执行一次小范围快照或克隆测试,前提是业务确实需要该功能;
  4. 将测试虚拟机迁移到另一台PVE节点;
  5. 在另一台节点上确认虚拟机仍能启动和访问磁盘;
  6. 删除测试对象,并确认Ceph池中没有异常残留。

删除测试虚拟机或RBD对象属于破坏性操作,必须确认对象确实是测试数据,并保留测试记录。正式业务上线前,不建议通过对生产RBD执行随机写入来“压测”,应使用独立测试池或专门测试镜像。

六、用一张验收表判断是否可以接入

检查对象推荐验证方式可接受结果不宜继续接入的情况
PVE集群pvecm statusQuorate: Yes,节点和票数符合规划无仲裁、节点反复离线
Ceph Monitorceph quorum_status -f json-prettyMonitor形成quorum无quorum或成员频繁变化
Managerceph mgr stat有active Manager没有active Manager且告警持续
OSDceph osd stat、ceph osd tree计划内OSD均为up/inOSD down、out或磁盘故障未处理
PGceph pg stat、ceph -s业务池为active+cleandegraded、stale、peering、incomplete
容量ceph df、ceph osd df tree有恢复和增长余量接近nearfull或full
网络getent、ip route、受控带宽测试地址、路由、MTU和带宽符合设计丢包、路径不一致、恢复流量会挤占业务
存储池ceph osd pool ls detailRBD应用标记、副本和CRUSH规则正确池用途不明或故障域不符合要求
PVE存储pvesm status所有相关PVE节点均为active仅单节点可用
权限rbd -p <POOL> ls --id <CLIENT_ID>实际客户端可访问目标池认证失败或权限过宽、过窄
端到端业务测试虚拟机读写、迁移创建、启动、迁移和删除均正常仅查询正常,实际I/O失败

七、哪些结果不能被过度解读

1. HEALTH_OK不等于性能达标

Ceph健康状态主要反映控制面、OSD和PG是否达到一致性要求,不直接代表虚拟机延迟稳定。网络拥塞、单个慢盘、恢复任务、CPU争用和混合介质都可能在HEALTH_OK时影响业务体验。

如果业务对延迟、IOPS或吞吐有明确要求,应在与生产接近的虚拟机规格、磁盘大小、并发数量和网络负载下进行独立性能验证。不能用一次空载状态查询替代性能验收。

2. pvesm status正常不等于所有操作都可用

PVE存储显示active,通常说明基本连接和配置检查通过,但快照、克隆、删除、迁移、备份等操作可能需要额外权限或兼容性支持。业务如果依赖这些功能,应逐项验证,不要只验证“能创建磁盘”。

3. 两副本、三副本与节点数量不是同一个概念

三台PVE节点不一定代表三份数据副本,三份数据副本也不一定分布在三台不同主机上。必须同时查看:

  • Ceph池的size和min_size;
  • CRUSH规则的故障域;
  • OSD实际所在主机;
  • PVE节点和Ceph节点的故障关联关系。

如果所有OSD集中在一台服务器,Ceph仍可能显示在线,但无法提供主机级故障容错。

4. 外部Ceph和同节点Ceph的风险边界不同

外部Ceph主要关注客户端兼容性、跨网络延迟、路由和权限;同节点Ceph则还要关注虚拟机负载与OSD恢复之间的资源争用。两种架构不应使用完全相同的验收标准。

5. 命令输出会随版本和部署方式变化

Ceph命令的字段、告警文本和默认配置可能随版本变化。实际操作时,应以目标PVE和Ceph版本的命令帮助、现有配置和集群状态为准:

ceph --help
pvesm help
pvecm help

若命令返回权限错误、配置文件错误或连接失败,不要立即判断为Ceph集群损坏,应先确认命令执行节点、配置文件、客户端身份和目标网络。

最终的接入判断应建立在一条完整链路上:PVE有仲裁,Ceph有Monitor仲裁,Manager和OSD状态正常,PG稳定为active+clean,存储池容量与故障域符合规划,所有相关PVE节点都能访问同一RBD池,实际客户端权限正确,并且测试虚拟机能够完成创建、读写和跨节点使用。只满足其中一部分,只能说明“具备接入条件的一部分”,不能直接视为可以承载生产虚拟机。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8383.html

相关推荐