新加坡服务器部署Ceph存储集群,节点数量与网络如何规划

发布人:A5数据发布时间:2026-11-06 10:33阅读量:75

新加坡服务器部署 Ceph 时,节点数量不能只按“需要多少 TB”倒推。并发数、读写比例、请求大小、峰值持续时间、数据增长率和故障保留空间,会同时影响 OSD 节点数量、磁盘数量以及网络端口规格。对于采用三副本的 RBD 或虚拟机存储,容量规划通常应先计算故障后一台主机仍可承载的数据量,再判断节点数量,而不是把原始磁盘容量直接当作可用容量。

网络规划也需要单独计算。Ceph 的客户端访问、OSD 复制、恢复、回填和数据均衡都会消耗带宽。新加坡服务器之间应优先使用同地域的私有内网,并将客户端网络与集群内部网络分离;如果多个网络共用交换机或上联链路,还要把链路争用和恢复流量纳入余量,不能只看服务器标称的 10Gbps 或 25Gbps 端口速率。

先建立 Ceph 负载画像

按存储接口区分请求特征

Ceph 的使用方式不同,瓶颈位置也不同。RBD、CephFS 和对象网关不能用同一组指标直接规划。

使用方式主要负载优先观察的指标规划重点
RBD、虚拟机磁盘小块随机读写、突发并发IOPS、读写延迟、客户端 p99 延迟SSD/NVMe、OSD 数量、前后端网络
CephFS文件读写、目录和元数据操作元数据延迟、MDS 负载、客户端吞吐MDS 节点、元数据池、文件数量
RGW 对象存储大文件顺序读写、对象请求并发吞吐、请求数、网关 CPU 和网络OSD 容量、网关节点、出口带宽
备份、归档长时间顺序写入、低频读取持续吞吐、容量增长、恢复时间HDD 或高容量盘、恢复带宽、EC 池

如果主要承载虚拟机系统盘和数据库,容量可能还没有达到上限,随机 I/O 和尾延迟就已经成为瓶颈。相反,备份和归档业务通常更早受到容量、顺序吞吐和恢复窗口限制。

至少应收集以下负载变量:

  • 当前逻辑数据量,以及快照、克隆、回收站和临时数据占用。
  • 日均写入量、月均增长率和大促或批处理期间的峰值写入量。
  • 峰值并发客户端数,而不只是服务器总连接数。
  • 平均请求大小和 p95 请求大小,例如 4 KiB、16 KiB、64 KiB 或大于 1 MiB。
  • 读写比例、顺序与随机比例,以及峰值持续时间。
  • 允许的 p95、p99 延迟和恢复时间。
  • 是否要求一台 OSD 主机故障后仍保持业务容量和性能余量。

把请求量换算成吞吐与 IOPS

请求量和带宽是两个不同维度。若请求大小为 16 KiB,每秒 80,000 次请求,则理论数据量约为:

80,000 × 16 KiB = 1,280,000 KiB/s,约等于 1.25 GiB/s。

如果按十进制口径使用 16 KB,则结果为:

80,000 × 16 KB = 1,280 MB/s = 1.28 GB/s = 10.24 Gbps。

这里的 GB/s 是字节,Gbps 是比特,换算时需要乘以 8。实际 Ceph 流量还会受到副本复制、协议开销、重试、恢复和回填影响,因此这个结果只能作为客户端负载的起点,不能直接等同于网卡所需带宽。

容量增长则应按复合增长估算。可使用以下关系:

规划逻辑数据量 = 当前数据量 ×(1 + 年增长率)^规划年数 + 快照及临时空间

如果业务每月增长较快,使用月度增长率计算更细;如果增长受季节性影响,则应使用过去多个高峰周期,而不是只取某一个月的平均值。

将负载转换为节点和磁盘数量

先计算可用容量,而不是原始容量

采用三副本时,理论可用容量约为原始容量的三分之一,但还要扣除集群运行所需的安全空间。规划时可以使用:

规划可用容量 = 原始容量 × 副本效率 × 目标利用率

三副本的副本效率约为 1/3;纠删码的副本效率则取决于数据块和校验块,例如 4+2 纠删码的理论效率为 4/6。目标利用率不宜直接取 90% 或更高,因为 Ceph 需要空间完成数据均衡、故障恢复和回填。生产集群可先把 65%~70% 作为容量规划区间,再根据介质类型和恢复测试调整。

如果要求一台 OSD 主机故障后仍有容量余量,应使用“故障后原始容量”计算:

故障后原始容量 = 总节点数减去故障节点数 × 每台主机原始容量

然后再将副本效率和目标利用率应用到故障后的容量上。这样可以避免集群正常运行时看似容量充足,但一台主机离线后立即接近 nearfull 的情况。

用多个约束确定 OSD 节点数

节点数应同时满足容量、IOPS、吞吐和故障域要求。可以把候选节点数理解为以下几项中的最大值:

OSD 节点数 = max(容量所需节点数、IOPS 所需节点数、吞吐所需节点数、故障域最小节点数)

容量所需节点数可以按照下面的思路计算:

  1. 计算规划期末逻辑数据量。
  2. 加上快照、迁移、临时写入和回收延迟所需空间。
  3. 按副本或纠删码效率换算原始容量。
  4. 按一台或多台主机故障后的容量重新校验。
  5. 将原始容量分摊到每台主机,向上取整。

IOPS 和吞吐则需要用单台主机的“可持续能力”估算,而不是使用磁盘厂商或网卡的理论峰值。单台主机的能力会受到 OSD 数量、CPU、内存、磁盘介质、网络和恢复任务影响。没有同类负载测试时,可以先做保守估算,再通过压测结果修正。

MON、MGR 与 OSD 节点不要混为一谈

Ceph 的服务角色会影响节点规划:

  • MON 主要负责集群状态和仲裁,生产环境通常采用 3 个或 5 个 MON,并分布在不同主机和故障域。
  • MGR 通常配置 2 个,采用主备方式,避免管理服务成为单点。
  • OSD 的数量决定数据容量、并行度和恢复能力,不能用 MON 数量代替。
  • CephFS 需要 MDS;RGW 需要网关节点。MDS 和 RGW 的 CPU、内存和网络负载不应全部压到 OSD 主机上。
  • 小型集群可以将 MON、MGR 与 OSD 共置,但需要为控制服务预留内存和 CPU,不能把主机资源全部分配给磁盘进程。

节点数量的适用边界可以这样理解:

OSD 主机规模适用情况主要限制
3 台测试、小规模非关键业务或边缘场景仅有最小仲裁和故障域,维护或单机故障时余量很小
4 台低到中等负载、预算受限的生产场景可做一台主机故障规划,但恢复期间性能和容量压力较大
5~6 台常见生产起点更容易安排维护、恢复和磁盘分布
7 台及以上较高并发、较大容量或需要更宽恢复窗口成本增加,但故障影响可分散到更多 OSD

这不是固定的购买数量。比如 3 台主机各使用 12 块小容量 SSD,与 6 台主机各使用 6 块大容量 HDD,原始容量可能接近,但随机 I/O、恢复速度和单机故障影响并不相同。

新加坡服务器的网络如何规划

至少区分客户端网络和集群网络

Ceph 常见的网络划分包括:

  • 客户端网络:承载 RBD、CephFS、RGW 等业务访问,也可能承载 MON 通信。
  • 集群网络:承载 OSD 复制、恢复、回填、心跳和数据均衡。

生产环境优先采用两组物理网络,分别连接独立交换机。受成本或服务器端口限制时,可以使用 VLAN 隔离,但应确认交换机上联、端口队列和带宽不会与客户端流量互相挤占。只配置两个 VLAN、而所有服务器最终汇聚到一条共享上联,并不能消除链路瓶颈。

新加坡服务器的网络如何规划/至少区分客户端网络和集群网络配图

新加坡服务器之间的 Ceph 后端流量应尽量走同机房或同地域的私有网络,不应把 OSD 复制和恢复流量放在普通公网链路上。若需要与其他地域做灾备,应把跨地域数据复制、备份或异步同步与本地 Ceph 集群的同步后端网络分开规划。跨地域同步会受到延迟、抖动、链路中断和仲裁位置影响,不宜直接按本地集群的方式扩展。

用复制流量估算带宽

以三副本为例,客户端写入一份数据后,通常还需要向其他 OSD 发送副本。粗略估算时,后端复制流量可先按客户端写入量的约 2 倍计算,但实际比例会受到主副本位置、数据分布、读写混合、重试和恢复任务影响。

例如业务峰值写入为 600 MB/s,使用十进制单位计算:

  • 客户端写入:600 MB/s × 8 = 4.8 Gbps。
  • 两份额外副本:600 MB/s × 2 × 8 = 9.6 Gbps。
  • 客户端写入加副本流量:4.8 Gbps + 9.6 Gbps = 14.4 Gbps。
  • 如果为恢复、协议开销和突发保留 40% 余量:14.4 Gbps × 1.4 ≈ 20.2 Gbps。

这个 20.2 Gbps 是集群层面的估算值,不能直接理解为每台服务器都需要一张 20Gbps 网卡。还需要根据 OSD 分布计算每台主机的收发流量,并检查交换机到汇聚层的总带宽。如果同时存在 400 MB/s 的读流量,还要将读流量加入客户端网络预算。

网卡标称速率也不等于长期可用业务带宽。10GbE 的理论速率是 10 Gbps,25GbE 的理论速率是 25 Gbps,实际还要扣除协议、交换机和系统处理开销。对于有恢复任务的集群,不能把正常业务长期压在链路的 90% 以上,否则恢复或回填很容易进一步推高延迟。

10GbE、25GbE 与双链路的选择

业务特征网络参考方向适用条件
HDD 为主、并发和吞吐较低10GbE 起步客户端和后端流量经过实测不会长期接近链路上限
SSD 承载中等规模 RBD 或 CephFS10GbE 双链路或 25GbE需要为恢复、回填和峰值留出明显余量
NVMe、高并发虚拟机、数据库或高吞吐对象业务25GbE 起步,必要时双 25GbE磁盘能力较强,10GbE 可能先成为瓶颈
高吞吐且要求网络冗余两组独立 25GbE 或更高规格服务器、交换机和上联均需形成对应冗余

选择新加坡服务器方案时,除了端口速率,还应向服务商确认以下条件:

  • 服务器之间是否提供独立私有网络,私网带宽是独享、共享还是突发型。
  • 东西向流量是否计费,是否有流量上限或端口使用策略。
  • 是否可以连接两台独立交换机,链路中断时是否支持切换。
  • 服务器到交换机、交换机到汇聚层的端口速率是否一致。
  • 不同服务器套餐之间的内网延迟和带宽是否存在差异。
  • 是否可以为 OSD 后端网络配置独立 VLAN 或独立物理接口。

这些条件直接影响 Ceph 的可用容量和恢复时间,不能只比较 CPU、内存和硬盘总容量。

面向 Ceph 存储集群部署,A5idc数据提供新加坡物理服务器方案,涵盖不同 CPU、存储配置及优化线路、国际线路选择,可为 OSD 节点和集群相关服务提供硬件与网络资源基础。结合存储容量、计算负载和访问需求,这些资源也适用于构建新加坡本地的数据存储与业务承载环境。

按瓶颈类型判断是否需要加节点

Ceph 出现延迟升高时,不一定需要立即扩容。应先区分容量、磁盘、网络、CPU 和控制服务瓶颈。

现象优先检查指标可能的瓶颈处理方向
使用率持续上升,回填空间不足ceph df、池使用率、原始容量容量余量不足增加 OSD 主机或调整存储策略
IOPS 达不到目标,磁盘 await 升高OSD 延迟、磁盘队列、IOPS介质或 OSD 并行度不足增加更快介质或增加 OSD 分布
网络接口长期高占用网卡吞吐、丢包、重传、交换机端口前后端网络不足升级链路、拆分网络或增加主机
CPU 长期高负载,磁盘尚有余量OSD CPU、压缩、校验、加密开销计算资源不足增加 CPU 或拆分网关、MDS 等角色
CephFS 目录操作变慢MDS 内存、CPU、元数据请求MDS 瓶颈调整 MDS 资源和元数据池
对象请求数上升但 OSD 仍有余量RGW CPU、连接数、网卡网关层瓶颈增加 RGW 节点,而不是盲目增加 OSD

可以使用以下只读命令查看集群状态和 OSD 分布。命令名称在常见 Ceph 版本中较为通用,但具体输出字段应以当前版本为准。

ceph -s
ceph df detail
ceph osd df tree
ceph osd perf

网络验收可以在业务低峰期使用 iperf3 对客户端网络和集群网络分别测试。测试前应确认不会占用生产带宽,也不要在未授权的公共网络上启动监听服务。

# 在测试服务器上启动监听
iperf3 -s

# 在另一台服务器上发起多并发测试
iperf3 -c 10.0.0.12 -P 8 -t 60

单次测试只能说明链路瞬时能力。更有价值的是在持续 30~60 分钟的压力下观察吞吐、丢包、延迟和交换机端口错误,并分别测试单台主机到其他 OSD 主机的路径。

一个容量规划示例

以下为估算示例,不代表某种服务器配置的实测承载能力。

业务当前逻辑数据量为 180 TB,预计年增长率为 35%,规划周期为两年。首先计算两年后的基础数据量:

180 TB × 1.35² = 328.05 TB。

再为快照、迁移临时空间和业务波动预留 15%:

328.05 TB × 1.15 ≈ 377.26 TB。

采用三副本,并希望一台 OSD 主机故障后,剩余容量利用率不超过 70%,故障后所需原始容量约为:

377.26 TB ÷(1/3 × 0.70)≈ 1,617 TB。

如果规划 9 台 OSD 主机,每台配置 10 块 24 TB 原始容量磁盘:

一个容量规划示例配图

  • 正常原始容量:9 × 10 × 24 TB = 2,160 TB。
  • 一台主机故障后:8 × 10 × 24 TB = 1,920 TB。
  • 按三副本和 70% 目标利用率计算:1,920 × 1/3 × 0.70 = 448 TB。
  • 规划期末预计占用:约 377 TB。
  • 故障后剩余的逻辑容量余量:约 71 TB。

这个方案在容量上满足一台主机故障后的基本余量,但仍需检查每台主机的 IOPS、网络和恢复时间。如果业务是虚拟机随机写入,HDD 的持续 I/O 能力可能先于容量成为瓶颈;如果是对象归档,则可以评估纠删码池,但要重新计算小对象处理、写放大和恢复性能。

此外,磁盘原始容量不应直接等同于 Ceph 可写容量,还需要考虑 BlueStore 元数据、数据库设备、系统盘、故障域分布和不同池的容量比例。采用 SSD 与 HDD 混合分层时,也应分别核算每个设备类,不能用全体磁盘的总容量掩盖某一类设备先达到上限的问题。

交付验收应围绕规划假设

购买或部署新加坡服务器时,验收内容应与容量模型一一对应:

  1. 核对 OSD 主机数量、每台磁盘数量、磁盘原始容量和故障域分布。
  2. 分别确认客户端网络、集群网络、端口速率、交换机连接和私网带宽。
  3. 验证三副本或纠删码策略是否与规划一致,不能把不同池的容量混合计算。
  4. 在非生产窗口进行接近业务模型的读写测试,记录 IOPS、吞吐、p95 和 p99 延迟。
  5. 观察单台主机维护或受控故障后的数据恢复、回填速度和业务延迟变化。
  6. 检查恢复期间网络、磁盘和 CPU 是否会挤占正常业务资源。
  7. 确认 RGW、MDS、MON 和 MGR 等角色是否有独立的资源余量。

涉及关机、拔盘或模拟节点故障的测试,应提前完成备份、明确影响范围,并安排恢复路径。不要直接在生产集群执行破坏性故障注入,也不要通过删除 OSD 或修改故障域配置来“模拟”故障,除非已经确认版本、操作步骤和回滚方案。

用监控阈值确定扩容时点

扩容不应等到 Ceph 进入 nearfull 或业务已经出现大量超时后才开始。可以先制定一组内部阈值,再根据实际基线调整:

监控项目参考预警条件扩容或优化触发方式
原始容量利用率连续增长并接近 60%~65%预测达到 70% 前完成采购和部署
故障后可用容量一台主机故障后无法覆盖规划期数据量优先增加完整 OSD 主机和故障域
客户端 p99 延迟同等负载下较基线升高约 30%连续多个高峰周期出现时检查介质和网络
网卡利用率峰值长期超过 60%~70%升级链路或拆分前后端网络
OSD 磁盘延迟磁盘 await、队列持续高于基线区分介质瓶颈与 OSD 数量不足
恢复或回填时间超过可接受维护窗口增加节点分散恢复流量,或限制恢复并发
OSD、MON、MDS、RGW 资源CPU、内存或连接数连续接近上限按对应角色扩容,不直接增加所有 OSD

容量扩容时间可以用一个简单关系估算:

可用扩容时间 =(扩容触发容量 − 当前已用容量)÷ 近几个月平均月增长量

如果这个时间小于服务商交付、上架、数据均衡和验证所需时间,就应提前下单。扩容时优先增加完整主机,并保持每个故障域的 OSD 数量尽量均衡;只增加一两块磁盘,可能缓解容量,却不能同步改善网络、CPU 和主机故障余量。

最终的节点数量,应由“规划期末容量、单机故障后的容量、峰值 IOPS、峰值吞吐和恢复窗口”共同决定。网络则应按照客户端流量、三副本或纠删码产生的内部流量、恢复回填流量和链路冗余分别核算。只有当这些指标在正常峰值和受控故障场景下都留有余量时,新加坡服务器上的 Ceph 集群才具备继续承载增长的基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7830.html

相关推荐