如何用cephadm在香港服务器上部署三节点Ceph存储集群?

发布人:A5数据发布时间:2026-10-11 15:53阅读量:149

香港服务器部署三节点 Ceph 集群,建议采用 Ubuntu 22.04 LTS、Ceph Reef 18.2 系列和 cephadm 进行容器化管理。本文以三台同一地域、具备内网互通能力的服务器为例,部署 3 个 MON、2 个 MGR,并为每台服务器配置至少一个独立数据盘,最终创建一个三副本 RBD 存储池。

示例集群使用两张网络:10.20.0.0/24 作为 Ceph public network,承载客户端、MON、MGR 和 OSD 对外通信;10.30.0.0/24 作为 cluster network,承载 OSD 复制和恢复流量。这里的“public network”是 Ceph 的术语,不代表必须使用公网 IP。香港服务器如果只有一张网卡,可以省略独立 cluster network,但需要确认公网或业务网络的带宽、延迟和安全策略能够承受副本同步流量。

一、部署目标与适用环境

1.1 示例服务器规划

本文使用以下示例地址,实际部署时请替换为服务商分配的内网地址、主机名和磁盘设备名。

主机名Ceph public networkCeph cluster network计划角色数据盘
ceph0110.20.0.1110.30.0.11MON、MGR、OSD/dev/sdb
ceph0210.20.0.1210.30.0.12MON、MGR、OSD/dev/sdb
ceph0310.20.0.1310.30.0.13MON、OSD/dev/sdb

三节点 MON 可以在一台服务器故障时维持多数派仲裁。MGR 不要求必须部署三个,示例中部署两个,用于提供一个 active MGR 和一个 standby MGR。

一、部署目标与适用环境 / 1.1 示例服务器规划配图

这套规模适合测试环境、小型虚拟化环境、对象存储前置验证或业务上线前的基础集群。若每台服务器只有一个 OSD,集群虽然可以工作,但单个 OSD 或单台主机故障后,可用容量和恢复能力都比较有限。正式承载业务前,应根据容量、IOPS、恢复窗口和故障域增加 OSD 数量。

围绕三节点Ceph集群的计算与存储需求,A5数据提供香港物理服务器资源,涵盖Xeon Gold、AMD EPYC及存储型产品。计算系列的多核处理器、大内存与SSD或NVMe配置,可为集群管理、虚拟化及块存储应用提供硬件基础;香港存储系列则提供多块企业级大容量机械硬盘,适合承载文件存储、备份与归档数据,为不同数据规模的自建分布式存储提供资源选择。

1.2 操作系统和软件版本

本文默认环境如下:

  • 操作系统:Ubuntu Server 22.04 LTS,三台保持相同版本;
  • Ceph:Reef 18.2 系列;
  • 部署工具:cephadm;
  • 容器运行时:Podman;
  • 时间同步:Chrony;
  • 文件系统和数据盘:由 Ceph OSD 自动管理;
  • 管理权限:root,或具备免密 sudo 权限的管理账号。

Cephadm 通过容器运行 Ceph 服务,宿主机不需要手动安装 MON、MGR、OSD 等传统软件包。但每个节点仍应安装 cephadm、Podman、LVM 工具和基础运维组件。

1.3 香港服务器网络要求

香港服务器部署 Ceph 时,优先使用同一机房或同一服务商提供的私有网络。不能仅根据服务器都位于香港就默认它们之间具备低延迟、稳定且可路由的内网。

至少确认以下条件:

  • 三台服务器可以通过内网地址互相访问;
  • 内网地址在三台主机上的路由一致;
  • DNS 或 /etc/hosts 可以解析全部主机名;
  • OSD 复制网络不会被公网出口带宽、流量策略或安全组限制;
  • 服务器之间的时间偏差保持在较小范围;
  • 云防火墙、安全组和宿主机防火墙同时放行 Ceph 所需端口。

Ceph 的三副本会放大写入流量。以写入 1 GB 数据为例,三副本会产生约 3 GB 的后端存储写入量,实际还会受到协议、元数据、恢复和校验开销影响。因此,应将业务客户端流量和 OSD 复制流量尽量分离。

二、部署前准备

2.1 设置主机名与名称解析

在每台服务器上设置唯一主机名。以下命令需要分别在对应主机执行:

# ceph01 执行
hostnamectl set-hostname ceph01

# ceph02 执行
hostnamectl set-hostname ceph02

# ceph03 执行
hostnamectl set-hostname ceph03

确认当前主机名:

hostnamectl --static

预期结果分别为:

ceph01
ceph02
ceph03

如果暂时没有内部 DNS,可以在三台服务器的 /etc/hosts 中合并以下内容。不要直接覆盖服务商写入的全部 hosts 内容,保留已有的 localhost、云平台元数据和管理地址记录。

10.20.0.11 ceph01
10.20.0.12 ceph02
10.20.0.13 ceph03

在每台服务器验证:

getent hosts ceph01 ceph02 ceph03

预期能够返回三个主机名对应的地址。如果返回公网地址、旧地址或解析失败,应先修复 DNS 或 /etc/hosts,否则后续 ceph orch host add 可能因为主机名不匹配失败。

2.2 检查两张网络

在 ceph01 上执行以下检查:

ip -br addr
ip route
ip route get 10.20.0.12
ip route get 10.30.0.12

确认访问 10.20.0.12 和 10.30.0.12 时,系统选择的是预期网卡。

测试节点之间的连通性:

ping -c 3 -I 10.20.0.11 10.20.0.12
ping -c 3 -I 10.30.0.11 10.30.0.12
ping -c 3 -I 10.20.0.11 10.20.0.13
ping -c 3 -I 10.30.0.11 10.30.0.13

把命令中的源地址替换为当前主机的对应地址。预期结果是数据包能够返回,且无持续丢包。如果 cluster network 不通,不要继续执行 cephadm bootstrap --cluster-network,否则 MON 可能正常启动,但 OSD 复制和恢复会失败。

2.3 安装基础软件与 cephadm

在三台服务器上执行。以下命令适用于 Ubuntu 22.04:

apt update
apt install -y ca-certificates curl gnupg lsb-release openssh-server \
  podman lvm2 chrony nvme-cli smartmontools

添加 Ceph Reef 软件源:

install -d -m 0755 /etc/apt/keyrings

curl --silent --location https://download.ceph.com/keys/release.asc \
  | gpg --dearmor --yes -o /etc/apt/keyrings/ceph-release.gpg

echo "deb [signed-by=/etc/apt/keyrings/ceph-release.gpg] https://download.ceph.com/debian-reef/ $(. /etc/os-release && echo ${VERSION_CODENAME}) main" \
  > /etc/apt/sources.list.d/ceph.list

apt update
apt install -y cephadm

确认软件版本:

cephadm version
podman --version

输出版本应与预期的 Reef 系列一致。不要在同一个集群中混用来自不同发行版、不同主版本的软件源。

如果香港服务器无法访问 download.ceph.com 或后续无法拉取容器镜像,应先检查 DNS、出口 443 端口和服务商安全策略。需要使用企业镜像仓库时,应采用经过内部审核的 Ceph 镜像,并在 bootstrap 前完成镜像仓库登录,不要随意替换为来源不明的镜像。

2.4 配置时间同步

Ceph 对时间偏差比较敏感。三台服务器都执行:

systemctl enable --now chrony
timedatectl set-ntp true
chronyc tracking
chronyc sources -v

检查系统时间同步状态:

timedatectl status

预期可以看到:

System clock synchronized: yes
NTP service: active

如果使用服务商提供的内部 NTP 地址,应根据服务商文档调整 /etc/chrony/chrony.conf,然后执行:

systemctl restart chrony
chronyc tracking

2.5 检查 SSH 与管理权限

cephadm 需要从 bootstrap 节点通过 SSH 管理其他节点。确认 SSH 服务已启动:

systemctl enable --now ssh
systemctl is-active ssh

在 ceph01 上生成管理密钥。若已经存在可复用的 root 管理密钥,不必重复覆盖:

install -d -m 0700 /root/.ssh

if [ ! -f /root/.ssh/id_ed25519 ]; then
  ssh-keygen -t ed25519 -N '' -f /root/.ssh/id_ed25519
fi

先验证能否通过密码或现有密钥登录其他节点:

ssh root@ceph02 'hostname -s && id'
ssh root@ceph03 'hostname -s && id'

如果生产环境禁止 root 远程登录,应准备具备免密 sudo 权限的运维账号,并在 bootstrap 时使用该账号。本文为减少变量,使用 root 作为示例。

2.6 检查 OSD 数据盘

在每台服务器上执行:

lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL
findmnt
pvs
vgs
lvs

确认 /dev/sdb 是独立数据盘,不是系统盘,且没有重要数据、挂载点、文件系统或正在使用的 LVM。

通过以下命令查看是否存在交换分区:

swapon --show

如果确实需要关闭交换分区,可以先临时关闭:

swapoff -a

永久修改 /etc/fstab 前必须确认没有其他业务依赖交换分区,并保留原文件备份:

cp -a /etc/fstab /etc/fstab.bak.$(date +%F-%H%M%S)

不要在未核对设备名称的情况下执行 wipefs、fdisk、parted 或 LVM 删除命令。错误处理系统盘会导致服务器无法启动。

2.7 配置防火墙和安全组

如果宿主机没有启用 UFW,可以仅在云安全组或硬件防火墙上配置规则。如果已启用 UFW,应在三台服务器上按实际网段放行。

以下规则是示例,允许 Ceph public network 和 cluster network 访问 MON、OSD,允许管理网访问 SSH 和 Dashboard:

ufw status verbose

# SSH:实际环境应进一步限制为管理网
ufw allow from 10.20.0.0/24 to any port 22 proto tcp

# Ceph MON
ufw allow from 10.20.0.0/24 to any port 3300 proto tcp
ufw allow from 10.20.0.0/24 to any port 6789 proto tcp
ufw allow from 10.30.0.0/24 to any port 3300 proto tcp
ufw allow from 10.30.0.0/24 to any port 6789 proto tcp

# Ceph OSD 默认动态端口范围
ufw allow from 10.20.0.0/24 to any port 6800:7568 proto tcp
ufw allow from 10.30.0.0/24 to any port 6800:7568 proto tcp

# Dashboard 示例端口,仅允许管理网
ufw allow from 10.20.0.0/24 to any port 8443 proto tcp

如果 UFW 当前处于未启用状态,不要为了执行上述规则而直接开启防火墙。启用前应确认已有 SSH 放行规则,否则可能把自己锁在服务器外。

Ceph OSD 端口范围可能因配置调整而改变。上线前可以检查:

cephadm shell -- ceph config get osd ms_bind_port_min
cephadm shell -- ceph config get osd ms_bind_port_max

如果返回了自定义端口,应以实际配置为准同步调整安全组和防火墙。

三、使用 cephadm 初始化第一个节点

3.1 安装 bootstrap 节点的 Ceph 管理密钥

在 ceph01 上执行:

cephadm bootstrap \
  --mon-ip 10.20.0.11 \
  --cluster-network 10.30.0.0/24 \
  --initial-dashboard-user admin \
  --initial-dashboard-password 'Change-This-To-A-Strong-Password' \
  --dashboard-password-noupdate

命令说明:

  • --mon-ip:指定第一个 MON 使用的 Ceph public network 地址;
  • --cluster-network:指定 OSD 后端复制网络;
  • --initial-dashboard-user:创建 Dashboard 管理用户;
  • --initial-dashboard-password:设置初始密码;
  • --dashboard-password-noupdate:避免 bootstrap 过程自动改变初始密码。

命令行中的密码会进入 shell 历史和进程参数,示例密码只能作为占位符。实际部署时应使用密码管理系统生成随机密码,并在执行后清理 shell 历史或通过受控方式传递凭据。

如果三台服务器没有独立 cluster network,应省略 --cluster-network 10.30.0.0/24,让 Ceph 使用 public network 承担所有通信:

cephadm bootstrap \
  --mon-ip 10.20.0.11 \
  --initial-dashboard-user admin \
  --initial-dashboard-password 'Change-This-To-A-Strong-Password' \
  --dashboard-password-noupdate

bootstrap 成功后,示例状态通常会包含以下信息:

Ceph Dashboard is now available at:
https://10.20.0.11:8443/

You can access the Ceph CLI with:
cephadm shell -- ceph status

以上输出仅用于判断格式,不代表实际执行记录。证书默认可能是自签名证书,浏览器出现证书提示属于预期现象。Dashboard 不应直接暴露到互联网,应通过管理网或安全跳板访问。

3.2 验证第一个节点

在 ceph01 上执行:

cephadm shell -- ceph -s
cephadm shell -- ceph orch status
cephadm shell -- ceph orch host ls
cephadm shell -- ceph mgr services

初始阶段的示例状态可能类似:

cluster:
  id:     6fxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  health: HEALTH_WARN

services:
  mon: 1 daemon, quorum ceph01
  mgr: ceph01(active)
  osd: 0 osds: 0 up, 0 in

此时出现 HEALTH_WARN 通常是正常的,因为集群还没有加入其他 MON,也没有 OSD。若 bootstrap 直接失败,应先查看错误信息,不要重复执行多次 bootstrap。

检查配置中的网络:

cephadm shell -- ceph config dump | grep -E 'public_network|cluster_network'

预期能看到类似:

public_network  10.20.0.0/24
cluster_network 10.30.0.0/24

如果没有 cluster_network,说明使用的是单网络模式。

四、加入 ceph02 和 ceph03

4.1 分发 cephadm SSH 公钥

bootstrap 成功后,cephadm 会生成集群管理公钥。先确认文件存在:

ls -l /etc/ceph/ceph.pub

在 ceph01 上将公钥复制到两个新节点:

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph02
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph03

验证 cephadm 公钥是否可以免密登录:

ssh -i /etc/ceph/ceph.key root@ceph02 'hostname -s'
ssh -i /etc/ceph/ceph.key root@ceph03 'hostname -s'

如果密钥路径不存在,先检查:

ls -l /etc/ceph/
cephadm ls

不同版本或安装方式下文件名可能有所差异,应以本机实际生成的 cephadm 公钥为准,不要猜测密钥路径。

4.2 将节点加入编排器

使用 Ceph public network 地址添加主机:

cephadm shell -- ceph orch host add ceph02 10.20.0.12
cephadm shell -- ceph orch host add ceph03 10.20.0.13

查看主机列表:

cephadm shell -- ceph orch host ls

示例状态:

HOST    ADDR        LABELS  STATUS
ceph01  10.20.0.11  _admin
ceph02  10.20.0.12
ceph03  10.20.0.13

主机状态出现后,给节点添加管理和服务标签:

cephadm shell -- ceph orch host label add ceph01 _admin
cephadm shell -- ceph orch host label add ceph02 _admin
cephadm shell -- ceph orch host label add ceph03 _admin

cephadm shell -- ceph orch host label add ceph01 mon
cephadm shell -- ceph orch host label add ceph02 mon
cephadm shell -- ceph orch host label add ceph03 mon

_admin 标签会让 cephadm 在对应主机上维护 /etc/ceph 管理配置。若不希望所有节点都具备完整管理权限,可以只保留 ceph01 的 _admin 标签。

4.3 扩展 MON 和 MGR

将 MON 固定到三台主机:

cephadm shell -- ceph orch apply mon \
  --placement="3 ceph01 ceph02 ceph03"

将 MGR 部署到三台主机中的两台:

cephadm shell -- ceph orch apply mgr \
  --placement="2 ceph01 ceph02 ceph03"

查看服务部署进度:

cephadm shell -- ceph orch ps --refresh
cephadm shell -- ceph quorum_status --format json-pretty

预期结果应包含三个 MON,并且 quorum_status 中的 quorum 包含 ceph01、ceph02 和 ceph03。

检查集群状态:

cephadm shell -- ceph -s

此时如果还没有 OSD,状态可能仍然是 HEALTH_WARN。重点确认 MON 已经形成多数派,而不是只看健康状态是否已经变成 HEALTH_OK。

五、发现并部署 OSD

5.1 查看可用数据盘

在 Ceph 编排器中查看三台主机的块设备:

cephadm shell -- ceph orch device ls --wide

示例输出:

HOST    PATH      TYPE  SIZE   DEVICE ID  AVAILABLE  REJECT REASONS
ceph01  /dev/sda  hdd   80G               No         Has a FileSystem
ceph01  /dev/sdb  ssd   1.9T               Yes
ceph02  /dev/sda  hdd   80G               No         Has a FileSystem
ceph02  /dev/sdb  ssd   1.9T               Yes
ceph03  /dev/sda  hdd   80G               No         Has a FileSystem
ceph03  /dev/sdb  ssd   1.9T               Yes

只有明确显示 AVAILABLE Yes 的数据盘才适合直接部署。不要根据设备大小猜测系统盘和数据盘,必须结合 lsblk、挂载点、序列号和服务商控制台再次确认。

五、发现并部署 OSD / 5.1 查看可用数据盘配图

5.2 添加 OSD

对每台服务器的独立数据盘分别执行:

cephadm shell -- ceph orch daemon add osd ceph01:/dev/sdb
cephadm shell -- ceph orch daemon add osd ceph02:/dev/sdb
cephadm shell -- ceph orch daemon add osd ceph03:/dev/sdb

如果每台服务器还有 /dev/sdc、/dev/sdd 等独立空盘,可在确认设备后逐一添加:

cephadm shell -- ceph orch daemon add osd ceph01:/dev/sdc

不建议在首次部署时直接使用以下命令:

cephadm shell -- ceph orch apply osd --all-available-devices

该命令会尝试使用所有符合条件的空闲设备,设备识别错误可能造成数据覆盖。只有在已完成设备清单、备份和变更审批后,才考虑批量部署。

5.3 验证 OSD 状态

查看 OSD 编排状态:

cephadm shell -- ceph orch ps --daemon-type osd --refresh

查看 OSD 树:

cephadm shell -- ceph osd tree

正常状态示例:

ID  CLASS  WEIGHT  TYPE NAME       STATUS  REWEIGHT  PRI-AFF
-1         5.46     root default
-3         1.82         host ceph01
 0   ssd   1.82             osd.0      up   1.00000  1.00000
-5         1.82         host ceph02
 1   ssd   1.82             osd.1      up   1.00000  1.00000
-7         1.82         host ceph03
 2   ssd   1.82             osd.2      up   1.00000  1.00000

进一步确认 OSD 已经加入集群:

cephadm shell -- ceph osd stat
cephadm shell -- ceph -s

预期类似:

3 osds: 3 up, 3 in

如果 OSD 已创建但仍处于 down,先不要强制设置 in 或重启服务。应检查 OSD 日志、网络端口、磁盘状态和时间同步。

六、创建示例 RBD 存储池

部署 OSD 后,Ceph 集群可以提供块存储,但业务仍需要具体的存储池。以下创建名为 vmstore 的示例 RBD 池,适合后续接入虚拟化平台或测试客户端。

6.1 创建存储池

cephadm shell -- ceph osd pool create vmstore 32
cephadm shell -- ceph osd pool application enable vmstore rbd
cephadm shell -- ceph osd pool set vmstore size 3
cephadm shell -- ceph osd pool set vmstore min_size 2
cephadm shell -- rbd pool init vmstore

参数含义:

  • 32:初始 PG 数量示例,不代表所有规模都应使用该值;
  • size 3:每份对象保存三份副本;
  • min_size 2:至少有两份可用副本时允许继续写入;
  • rbd pool init:初始化 RBD 所需的对象和元数据。

三副本配置适合三主机故障域,但不代表可以无限制承受故障。单台主机故障后,集群可能暂时只剩两份可用副本;如果同时再发生一个 OSD 或网络故障,业务可用性和数据冗余都会进一步下降。

六、创建示例 RBD 存储池 / 6.1 创建存储池配图

检查存储池:

cephadm shell -- ceph osd pool ls detail
cephadm shell -- ceph osd pool get vmstore size
cephadm shell -- ceph osd pool get vmstore min_size
cephadm shell -- ceph osd pool get vmstore pg_autoscale_mode

存储池的实际可用容量不能按所有磁盘容量简单相加。三台服务器各有一块 1.92 TB 十进制磁盘时,原始容量约为:

1.92 TB × 3 = 5.76 TB

三副本理论可用容量约为:

5.76 TB ÷ 3 = 1.92 TB

还需要扣除 BlueStore、元数据、恢复空间和运维余量。生产环境不应长期将池使用率推到接近 100%,应根据恢复速度和业务写入量设置容量告警。

6.2 执行轻量级写入测试

以下测试会向 vmstore 创建一个 1 GiB 的测试镜像,并产生约 256 MiB 的写入流量。请在确认 OSD 有足够空间、且不会影响线上业务时执行:

cephadm shell -- rbd create --size 1024 vmstore/smoke-test

cephadm shell -- rbd bench-write vmstore/smoke-test \
  --io-size 4M \
  --io-threads 4 \
  --io-total 256M

检查镜像信息:

cephadm shell -- rbd info vmstore/smoke-test

测试完成后删除测试镜像。删除操作不可恢复,仅适用于刚创建的测试对象:

cephadm shell -- rbd rm vmstore/smoke-test

如果只需要验证控制面,不想产生写入压力,可以只执行 rbd create、rbd info,然后删除测试对象。

七、部署过程中的常见异常

7.1 ceph orch host add 提示 SSH 失败

先从 ceph01 直接测试:

ssh -i /etc/ceph/ceph.key root@ceph02 'hostname -s'
ssh -i /etc/ceph/ceph.key root@ceph03 'hostname -s'

常见原因包括:

  • 公钥没有写入目标节点的 authorized_keys;
  • 目标节点禁止 root 登录;
  • SSH 端口不是 22;
  • /etc/hosts 解析到错误地址;
  • 云安全组没有放行 SSH;
  • 目标节点的 sudo 或 Python 环境不完整。

修复后重新确认:

cephadm shell -- ceph orch host ls
cephadm shell -- ceph orch host add ceph02 10.20.0.12

不要通过关闭 SSH 密钥验证、允许任意来源 root 登录等方式临时绕过安全策略。

7.2 OSD 设备显示不可用

查看拒绝原因:

cephadm shell -- ceph orch device ls --wide

常见原因有:

  • 设备存在文件系统;
  • 设备有挂载点;
  • 设备仍属于 LVM 卷组;
  • 设备曾经被其他 Ceph 集群使用;
  • 设备容量过小;
  • 设备实际上是系统盘或启动盘。

只有确认数据已经备份、设备不再属于任何业务,并且核对了主机名和设备路径后,才可以清理设备。可以先查看命令帮助确认当前版本支持的 zap 参数:

cephadm shell -- ceph orch device zap --help

确认无误后,示例清理命令如下:

cephadm shell -- ceph orch device zap ceph01 /dev/sdb --force

该命令会破坏 /dev/sdb 上的分区、文件系统和 Ceph 元数据,不能用于系统盘或包含业务数据的设备。清理后重新扫描并确认设备状态:

cephadm shell -- ceph orch device rescan ceph01
cephadm shell -- ceph orch device ls --wide

7.3 集群出现 HEALTH_WARN 或 HEALTH_ERR

先获取具体原因:

cephadm shell -- ceph health detail
cephadm shell -- ceph -s

不要只根据 HEALTH_WARN 文字判断故障。常见对应关系如下:

状态表现常见原因处理方向
MON_CLOCK_SKEW节点时间偏差检查 Chrony、NTP 源和时区
OSD_DOWNOSD 服务停止、端口不通或磁盘故障查看 ceph orch ps、日志和网络
PG_DEGRADED副本不足,集群正在恢复或有 OSD 故障检查 OSD up/in 状态和容量
PG_AVAILABILITYPG 无法提供完整读写优先恢复网络和 OSD,不要盲目删除 PG
CEPHADM_STRAY_HOST主机上存在未被当前编排器管理的 Ceph 服务核对 FSID,避免误删其他集群
OSD_FULLOSD 接近满载清理业务数据或扩容,不能简单提高容量阈值

查看守护进程状态:

cephadm shell -- ceph orch ps --refresh

查看 MON 或 MGR 日志:

cephadm logs --name mon.ceph01 --tail 100
cephadm logs --name mgr.ceph01 --tail 100

如果日志提示镜像拉取失败,检查:

podman images
curl -I https://quay.io
getent hosts quay.io

香港服务器的出口策略、DNS、镜像仓库访问控制都可能影响首次拉取。应先解决镜像获取问题,再继续部署服务。

7.4 MON 正常但 OSD 复制失败

检查两个网络地址之间的路由:

ip route get 10.30.0.12
ping -c 3 -I 10.30.0.11 10.30.0.12

检查本机监听端口:

ss -lntp | grep -E ':(3300|6789|68[0-9][0-9])\b'

同时检查:

  • cluster network 是否在三台主机上使用同一网段;
  • 服务商私网是否允许节点间互访;
  • UFW 和云安全组是否放行 OSD 端口;
  • 是否误将公网地址作为 cluster_network;
  • 是否存在 MTU 不一致、丢包或单向路由。

不要先执行 ceph osd set noout、noin 或 nobackfill 等维护标记来掩盖异常。此类标记会改变故障处理行为,使用后必须记录并在维护结束时清除。

检查是否存在遗留标记:

cephadm shell -- ceph osd dump | grep flags

如果确认是人为设置的维护标记,应根据实际标记执行对应的 unset 操作,并在变更记录中注明原因。

八、上线验收检查

完成部署后,建议按以下顺序验收,而不是只查看 Dashboard 是否能打开。

8.1 集群与仲裁

cephadm shell -- ceph -s
cephadm shell -- ceph health detail
cephadm shell -- ceph quorum_status --format json-pretty

验收条件:

  • 三个 MON 均已启动;
  • MON quorum 包含 ceph01、ceph02、ceph03;
  • 没有持续增长的 HEALTH_ERR;
  • 不存在未记录的 noout、nobackfill 等维护标记。

8.2 节点和服务

cephadm shell -- ceph orch host ls
cephadm shell -- ceph orch ps --refresh
cephadm shell -- ceph osd tree

验收条件:

  • 三台主机均处于编排器管理状态;
  • MON、MGR、OSD 的部署位置符合规划;
  • 每个 OSD 均为 up 和 in;
  • 没有长期处于 error、unknown 或 starting 的守护进程。

8.3 容量和存储池

cephadm shell -- ceph df
cephadm shell -- ceph df detail
cephadm shell -- ceph osd pool ls detail
cephadm shell -- rbd ls vmstore

验收条件:

  • 原始容量和预期磁盘数量一致;
  • vmstore 的副本数为 3;
  • min_size 为 2;
  • RBD 测试镜像可以创建、查询和删除;
  • 存储池使用率低于企业设定的告警阈值。

8.4 管理入口

获取 Dashboard 地址:

cephadm shell -- ceph mgr services

示例返回:

{
  "dashboard": "https://10.20.0.11:8443/"
}

检查 Dashboard 时,应确认:

  • 只允许管理网访问;
  • 已修改示例初始密码;
  • 已记录证书和账户管理方式;
  • 未将 8443 端口直接暴露给所有公网地址。

九、回滚与拆除检查

Ceph 集群一旦写入业务数据,不建议通过“重新 bootstrap”进行回滚。应优先保留数据,按守护进程、主机和存储池逐级处理。以下命令只适用于测试集群、部署失败且已确认没有需要保留的数据的场景。

9.1 删除测试存储池

如果只需要撤销前面的测试池,先确认其中没有业务镜像,再执行:

cephadm shell -- ceph osd pool rm vmstore vmstore \
  --yes-i-really-really-mean-it

该操作会删除池中的全部对象,不能用来处理仍有业务数据的生产池。

9.2 删除整套测试集群

先记录 FSID:

cephadm shell -- ceph fsid
cephadm ls

停止业务访问并确认需要删除的确实是当前测试集群。保留 OSD 数据的拆除方式:

cephadm rm-cluster --force --fsid <实际-FSID>

如果已经确认所有 OSD 数据都不需要,并且版本帮助中支持 --zap-osds,才可以使用会同时清理 OSD 设备的方式:

cephadm rm-cluster --force --zap-osds --fsid <实际-FSID>

--zap-osds 会破坏 OSD 设备上的数据和元数据。执行前应完成备份、核对 FSID、核对主机列表和设备列表,避免误删同一服务器上的其他 Ceph 集群或业务磁盘。

9.3 恢复防火墙和主机配置

如果部署失败后不再保留 Ceph,应按实际添加的规则逐条删除,不要直接刷新全部防火墙规则:

ufw delete allow from 10.20.0.0/24 to any port 3300 proto tcp
ufw delete allow from 10.20.0.0/24 to any port 6789 proto tcp
ufw delete allow from 10.20.0.0/24 to any port 6800:7568 proto tcp

确认当前规则:

ufw status numbered

最后再根据服务器用途决定是否卸载 cephadm、Podman 或 Chrony。对于仍要运行其他容器和服务的主机,不要因 Ceph 回滚而直接卸载共享组件。验收和回滚的核心是:先确认数据是否需要保留,再确认 FSID、主机名和设备路径,最后执行范围明确的清理操作。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3180.html

相关推荐