新加坡服务器部署Ceph存储集群,节点数量与网络如何规划
新加坡服务器部署 Ceph 时,节点数量不能只按“需要多少 TB”倒推。并发数、读写比例、请求大小、峰值持续时间、数据增长率和故障保留空间,会同时影响 OSD 节点数量、磁盘数量以及网络端口规格。对于采用三副本的 RBD 或虚拟机存储,容量规划通常应先计算故障后一台主机仍可承载的数据量,再判断节点数量,而不是把原始磁盘容量直接当作可用容量。
网络规划也需要单独计算。Ceph 的客户端访问、OSD 复制、恢复、回填和数据均衡都会消耗带宽。新加坡服务器之间应优先使用同地域的私有内网,并将客户端网络与集群内部网络分离;如果多个网络共用交换机或上联链路,还要把链路争用和恢复流量纳入余量,不能只看服务器标称的 10Gbps 或 25Gbps 端口速率。
先建立 Ceph 负载画像
按存储接口区分请求特征
Ceph 的使用方式不同,瓶颈位置也不同。RBD、CephFS 和对象网关不能用同一组指标直接规划。
| 使用方式 | 主要负载 | 优先观察的指标 | 规划重点 |
|---|---|---|---|
| RBD、虚拟机磁盘 | 小块随机读写、突发并发 | IOPS、读写延迟、客户端 p99 延迟 | SSD/NVMe、OSD 数量、前后端网络 |
| CephFS | 文件读写、目录和元数据操作 | 元数据延迟、MDS 负载、客户端吞吐 | MDS 节点、元数据池、文件数量 |
| RGW 对象存储 | 大文件顺序读写、对象请求并发 | 吞吐、请求数、网关 CPU 和网络 | OSD 容量、网关节点、出口带宽 |
| 备份、归档 | 长时间顺序写入、低频读取 | 持续吞吐、容量增长、恢复时间 | HDD 或高容量盘、恢复带宽、EC 池 |
如果主要承载虚拟机系统盘和数据库,容量可能还没有达到上限,随机 I/O 和尾延迟就已经成为瓶颈。相反,备份和归档业务通常更早受到容量、顺序吞吐和恢复窗口限制。
至少应收集以下负载变量:
- 当前逻辑数据量,以及快照、克隆、回收站和临时数据占用。
- 日均写入量、月均增长率和大促或批处理期间的峰值写入量。
- 峰值并发客户端数,而不只是服务器总连接数。
- 平均请求大小和 p95 请求大小,例如 4 KiB、16 KiB、64 KiB 或大于 1 MiB。
- 读写比例、顺序与随机比例,以及峰值持续时间。
- 允许的 p95、p99 延迟和恢复时间。
- 是否要求一台 OSD 主机故障后仍保持业务容量和性能余量。
把请求量换算成吞吐与 IOPS
请求量和带宽是两个不同维度。若请求大小为 16 KiB,每秒 80,000 次请求,则理论数据量约为:
80,000 × 16 KiB = 1,280,000 KiB/s,约等于 1.25 GiB/s。
如果按十进制口径使用 16 KB,则结果为:
80,000 × 16 KB = 1,280 MB/s = 1.28 GB/s = 10.24 Gbps。
这里的 GB/s 是字节,Gbps 是比特,换算时需要乘以 8。实际 Ceph 流量还会受到副本复制、协议开销、重试、恢复和回填影响,因此这个结果只能作为客户端负载的起点,不能直接等同于网卡所需带宽。
容量增长则应按复合增长估算。可使用以下关系:
规划逻辑数据量 = 当前数据量 ×(1 + 年增长率)^规划年数 + 快照及临时空间
如果业务每月增长较快,使用月度增长率计算更细;如果增长受季节性影响,则应使用过去多个高峰周期,而不是只取某一个月的平均值。
将负载转换为节点和磁盘数量
先计算可用容量,而不是原始容量
采用三副本时,理论可用容量约为原始容量的三分之一,但还要扣除集群运行所需的安全空间。规划时可以使用:
规划可用容量 = 原始容量 × 副本效率 × 目标利用率
三副本的副本效率约为 1/3;纠删码的副本效率则取决于数据块和校验块,例如 4+2 纠删码的理论效率为 4/6。目标利用率不宜直接取 90% 或更高,因为 Ceph 需要空间完成数据均衡、故障恢复和回填。生产集群可先把 65%~70% 作为容量规划区间,再根据介质类型和恢复测试调整。
如果要求一台 OSD 主机故障后仍有容量余量,应使用“故障后原始容量”计算:
故障后原始容量 = 总节点数减去故障节点数 × 每台主机原始容量
然后再将副本效率和目标利用率应用到故障后的容量上。这样可以避免集群正常运行时看似容量充足,但一台主机离线后立即接近 nearfull 的情况。
用多个约束确定 OSD 节点数
节点数应同时满足容量、IOPS、吞吐和故障域要求。可以把候选节点数理解为以下几项中的最大值:
OSD 节点数 = max(容量所需节点数、IOPS 所需节点数、吞吐所需节点数、故障域最小节点数)
容量所需节点数可以按照下面的思路计算:
- 计算规划期末逻辑数据量。
- 加上快照、迁移、临时写入和回收延迟所需空间。
- 按副本或纠删码效率换算原始容量。
- 按一台或多台主机故障后的容量重新校验。
- 将原始容量分摊到每台主机,向上取整。
IOPS 和吞吐则需要用单台主机的“可持续能力”估算,而不是使用磁盘厂商或网卡的理论峰值。单台主机的能力会受到 OSD 数量、CPU、内存、磁盘介质、网络和恢复任务影响。没有同类负载测试时,可以先做保守估算,再通过压测结果修正。
MON、MGR 与 OSD 节点不要混为一谈
Ceph 的服务角色会影响节点规划:
- MON 主要负责集群状态和仲裁,生产环境通常采用 3 个或 5 个 MON,并分布在不同主机和故障域。
- MGR 通常配置 2 个,采用主备方式,避免管理服务成为单点。
- OSD 的数量决定数据容量、并行度和恢复能力,不能用 MON 数量代替。
- CephFS 需要 MDS;RGW 需要网关节点。MDS 和 RGW 的 CPU、内存和网络负载不应全部压到 OSD 主机上。
- 小型集群可以将 MON、MGR 与 OSD 共置,但需要为控制服务预留内存和 CPU,不能把主机资源全部分配给磁盘进程。
节点数量的适用边界可以这样理解:
| OSD 主机规模 | 适用情况 | 主要限制 |
|---|---|---|
| 3 台 | 测试、小规模非关键业务或边缘场景 | 仅有最小仲裁和故障域,维护或单机故障时余量很小 |
| 4 台 | 低到中等负载、预算受限的生产场景 | 可做一台主机故障规划,但恢复期间性能和容量压力较大 |
| 5~6 台 | 常见生产起点 | 更容易安排维护、恢复和磁盘分布 |
| 7 台及以上 | 较高并发、较大容量或需要更宽恢复窗口 | 成本增加,但故障影响可分散到更多 OSD |
这不是固定的购买数量。比如 3 台主机各使用 12 块小容量 SSD,与 6 台主机各使用 6 块大容量 HDD,原始容量可能接近,但随机 I/O、恢复速度和单机故障影响并不相同。
新加坡服务器的网络如何规划
至少区分客户端网络和集群网络
Ceph 常见的网络划分包括:
- 客户端网络:承载 RBD、CephFS、RGW 等业务访问,也可能承载 MON 通信。
- 集群网络:承载 OSD 复制、恢复、回填、心跳和数据均衡。
生产环境优先采用两组物理网络,分别连接独立交换机。受成本或服务器端口限制时,可以使用 VLAN 隔离,但应确认交换机上联、端口队列和带宽不会与客户端流量互相挤占。只配置两个 VLAN、而所有服务器最终汇聚到一条共享上联,并不能消除链路瓶颈。

新加坡服务器之间的 Ceph 后端流量应尽量走同机房或同地域的私有网络,不应把 OSD 复制和恢复流量放在普通公网链路上。若需要与其他地域做灾备,应把跨地域数据复制、备份或异步同步与本地 Ceph 集群的同步后端网络分开规划。跨地域同步会受到延迟、抖动、链路中断和仲裁位置影响,不宜直接按本地集群的方式扩展。
用复制流量估算带宽
以三副本为例,客户端写入一份数据后,通常还需要向其他 OSD 发送副本。粗略估算时,后端复制流量可先按客户端写入量的约 2 倍计算,但实际比例会受到主副本位置、数据分布、读写混合、重试和恢复任务影响。
例如业务峰值写入为 600 MB/s,使用十进制单位计算:
- 客户端写入:600 MB/s × 8 = 4.8 Gbps。
- 两份额外副本:600 MB/s × 2 × 8 = 9.6 Gbps。
- 客户端写入加副本流量:4.8 Gbps + 9.6 Gbps = 14.4 Gbps。
- 如果为恢复、协议开销和突发保留 40% 余量:14.4 Gbps × 1.4 ≈ 20.2 Gbps。
这个 20.2 Gbps 是集群层面的估算值,不能直接理解为每台服务器都需要一张 20Gbps 网卡。还需要根据 OSD 分布计算每台主机的收发流量,并检查交换机到汇聚层的总带宽。如果同时存在 400 MB/s 的读流量,还要将读流量加入客户端网络预算。
网卡标称速率也不等于长期可用业务带宽。10GbE 的理论速率是 10 Gbps,25GbE 的理论速率是 25 Gbps,实际还要扣除协议、交换机和系统处理开销。对于有恢复任务的集群,不能把正常业务长期压在链路的 90% 以上,否则恢复或回填很容易进一步推高延迟。
10GbE、25GbE 与双链路的选择
| 业务特征 | 网络参考方向 | 适用条件 |
|---|---|---|
| HDD 为主、并发和吞吐较低 | 10GbE 起步 | 客户端和后端流量经过实测不会长期接近链路上限 |
| SSD 承载中等规模 RBD 或 CephFS | 10GbE 双链路或 25GbE | 需要为恢复、回填和峰值留出明显余量 |
| NVMe、高并发虚拟机、数据库或高吞吐对象业务 | 25GbE 起步,必要时双 25GbE | 磁盘能力较强,10GbE 可能先成为瓶颈 |
| 高吞吐且要求网络冗余 | 两组独立 25GbE 或更高规格 | 服务器、交换机和上联均需形成对应冗余 |
选择新加坡服务器方案时,除了端口速率,还应向服务商确认以下条件:
- 服务器之间是否提供独立私有网络,私网带宽是独享、共享还是突发型。
- 东西向流量是否计费,是否有流量上限或端口使用策略。
- 是否可以连接两台独立交换机,链路中断时是否支持切换。
- 服务器到交换机、交换机到汇聚层的端口速率是否一致。
- 不同服务器套餐之间的内网延迟和带宽是否存在差异。
- 是否可以为 OSD 后端网络配置独立 VLAN 或独立物理接口。
这些条件直接影响 Ceph 的可用容量和恢复时间,不能只比较 CPU、内存和硬盘总容量。
面向 Ceph 存储集群部署,A5idc数据提供新加坡物理服务器方案,涵盖不同 CPU、存储配置及优化线路、国际线路选择,可为 OSD 节点和集群相关服务提供硬件与网络资源基础。结合存储容量、计算负载和访问需求,这些资源也适用于构建新加坡本地的数据存储与业务承载环境。
按瓶颈类型判断是否需要加节点
Ceph 出现延迟升高时,不一定需要立即扩容。应先区分容量、磁盘、网络、CPU 和控制服务瓶颈。
| 现象 | 优先检查指标 | 可能的瓶颈 | 处理方向 |
|---|---|---|---|
| 使用率持续上升,回填空间不足 | ceph df、池使用率、原始容量 | 容量余量不足 | 增加 OSD 主机或调整存储策略 |
| IOPS 达不到目标,磁盘 await 升高 | OSD 延迟、磁盘队列、IOPS | 介质或 OSD 并行度不足 | 增加更快介质或增加 OSD 分布 |
| 网络接口长期高占用 | 网卡吞吐、丢包、重传、交换机端口 | 前后端网络不足 | 升级链路、拆分网络或增加主机 |
| CPU 长期高负载,磁盘尚有余量 | OSD CPU、压缩、校验、加密开销 | 计算资源不足 | 增加 CPU 或拆分网关、MDS 等角色 |
| CephFS 目录操作变慢 | MDS 内存、CPU、元数据请求 | MDS 瓶颈 | 调整 MDS 资源和元数据池 |
| 对象请求数上升但 OSD 仍有余量 | RGW CPU、连接数、网卡 | 网关层瓶颈 | 增加 RGW 节点,而不是盲目增加 OSD |
可以使用以下只读命令查看集群状态和 OSD 分布。命令名称在常见 Ceph 版本中较为通用,但具体输出字段应以当前版本为准。
ceph -s
ceph df detail
ceph osd df tree
ceph osd perf
网络验收可以在业务低峰期使用 iperf3 对客户端网络和集群网络分别测试。测试前应确认不会占用生产带宽,也不要在未授权的公共网络上启动监听服务。
# 在测试服务器上启动监听
iperf3 -s
# 在另一台服务器上发起多并发测试
iperf3 -c 10.0.0.12 -P 8 -t 60
单次测试只能说明链路瞬时能力。更有价值的是在持续 30~60 分钟的压力下观察吞吐、丢包、延迟和交换机端口错误,并分别测试单台主机到其他 OSD 主机的路径。
一个容量规划示例
以下为估算示例,不代表某种服务器配置的实测承载能力。
业务当前逻辑数据量为 180 TB,预计年增长率为 35%,规划周期为两年。首先计算两年后的基础数据量:
180 TB × 1.35² = 328.05 TB。
再为快照、迁移临时空间和业务波动预留 15%:
328.05 TB × 1.15 ≈ 377.26 TB。
采用三副本,并希望一台 OSD 主机故障后,剩余容量利用率不超过 70%,故障后所需原始容量约为:
377.26 TB ÷(1/3 × 0.70)≈ 1,617 TB。
如果规划 9 台 OSD 主机,每台配置 10 块 24 TB 原始容量磁盘:

- 正常原始容量:9 × 10 × 24 TB = 2,160 TB。
- 一台主机故障后:8 × 10 × 24 TB = 1,920 TB。
- 按三副本和 70% 目标利用率计算:1,920 × 1/3 × 0.70 = 448 TB。
- 规划期末预计占用:约 377 TB。
- 故障后剩余的逻辑容量余量:约 71 TB。
这个方案在容量上满足一台主机故障后的基本余量,但仍需检查每台主机的 IOPS、网络和恢复时间。如果业务是虚拟机随机写入,HDD 的持续 I/O 能力可能先于容量成为瓶颈;如果是对象归档,则可以评估纠删码池,但要重新计算小对象处理、写放大和恢复性能。
此外,磁盘原始容量不应直接等同于 Ceph 可写容量,还需要考虑 BlueStore 元数据、数据库设备、系统盘、故障域分布和不同池的容量比例。采用 SSD 与 HDD 混合分层时,也应分别核算每个设备类,不能用全体磁盘的总容量掩盖某一类设备先达到上限的问题。
交付验收应围绕规划假设
购买或部署新加坡服务器时,验收内容应与容量模型一一对应:
- 核对 OSD 主机数量、每台磁盘数量、磁盘原始容量和故障域分布。
- 分别确认客户端网络、集群网络、端口速率、交换机连接和私网带宽。
- 验证三副本或纠删码策略是否与规划一致,不能把不同池的容量混合计算。
- 在非生产窗口进行接近业务模型的读写测试,记录 IOPS、吞吐、p95 和 p99 延迟。
- 观察单台主机维护或受控故障后的数据恢复、回填速度和业务延迟变化。
- 检查恢复期间网络、磁盘和 CPU 是否会挤占正常业务资源。
- 确认 RGW、MDS、MON 和 MGR 等角色是否有独立的资源余量。
涉及关机、拔盘或模拟节点故障的测试,应提前完成备份、明确影响范围,并安排恢复路径。不要直接在生产集群执行破坏性故障注入,也不要通过删除 OSD 或修改故障域配置来“模拟”故障,除非已经确认版本、操作步骤和回滚方案。
用监控阈值确定扩容时点
扩容不应等到 Ceph 进入 nearfull 或业务已经出现大量超时后才开始。可以先制定一组内部阈值,再根据实际基线调整:
| 监控项目 | 参考预警条件 | 扩容或优化触发方式 |
|---|---|---|
| 原始容量利用率 | 连续增长并接近 60%~65% | 预测达到 70% 前完成采购和部署 |
| 故障后可用容量 | 一台主机故障后无法覆盖规划期数据量 | 优先增加完整 OSD 主机和故障域 |
| 客户端 p99 延迟 | 同等负载下较基线升高约 30% | 连续多个高峰周期出现时检查介质和网络 |
| 网卡利用率 | 峰值长期超过 60%~70% | 升级链路或拆分前后端网络 |
| OSD 磁盘延迟 | 磁盘 await、队列持续高于基线 | 区分介质瓶颈与 OSD 数量不足 |
| 恢复或回填时间 | 超过可接受维护窗口 | 增加节点分散恢复流量,或限制恢复并发 |
| OSD、MON、MDS、RGW 资源 | CPU、内存或连接数连续接近上限 | 按对应角色扩容,不直接增加所有 OSD |
容量扩容时间可以用一个简单关系估算:
可用扩容时间 =(扩容触发容量 − 当前已用容量)÷ 近几个月平均月增长量
如果这个时间小于服务商交付、上架、数据均衡和验证所需时间,就应提前下单。扩容时优先增加完整主机,并保持每个故障域的 OSD 数量尽量均衡;只增加一两块磁盘,可能缓解容量,却不能同步改善网络、CPU 和主机故障余量。
最终的节点数量,应由“规划期末容量、单机故障后的容量、峰值 IOPS、峰值吞吐和恢复窗口”共同决定。网络则应按照客户端流量、三副本或纠删码产生的内部流量、恢复回填流量和链路冗余分别核算。只有当这些指标在正常峰值和受控故障场景下都留有余量时,新加坡服务器上的 Ceph 集群才具备继续承载增长的基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7830.html



