用日本服务器组建Ceph存储集群,复制与恢复流量需要多大带宽?
Ceph 存储集群需要的带宽不能按硬盘容量直接换算。日本服务器采用三副本时,正常写入产生的集群内部复制载荷,通常可先按逻辑写入速率的 2 倍估算;恢复带宽则取决于需要重建的数据量和允许的恢复时间。恢复数据量越大、恢复窗口越短,所需的内部网络速率越高。
如果存储节点使用 SSD 或 NVMe,且业务同时存在高并发写入、客户端读取和故障恢复,1Gbps 端口通常很快成为瓶颈。中等规模的生产环境可以把每台存储服务器的 10Gbps 私有网络作为常见规划起点;高吞吐 NVMe 集群、较短恢复窗口或共享前后端网络时,应进一步评估 25Gbps 甚至更高速率。这个结论是容量规划参考,不等同于某个具体服务器配置的实测承载保证。
先区分三类流量
Ceph 带宽规划容易出现偏差,主要原因是把客户端访问、正常复制和故障恢复混成一个数字。实际采购日本服务器时,至少要分别核对以下三类流量。
| 流量类型 | 产生条件 | 主要影响 |
|---|---|---|
| 客户端访问流量 | 应用向 Ceph 写入或读取对象、块设备、文件 | 影响前端网络和业务响应时间 |
| 正常复制流量 | 三副本或多副本写入时,主副本向其他副本同步 | 影响存储节点之间的集群网络 |
| 恢复与回填流量 | OSD 故障、节点下线、扩容或数据重新分布 | 影响集群网络,并可能与正常业务争用资源 |
对于三副本池,假设业务逻辑写入速率为 W,复制副本数为 R,正常复制的有效载荷可以先按下面的关系估算:
复制载荷 ≈ W × (R - 1)
因此,三副本场景中,业务每写入 100 MB/s,存储节点之间至少要传输约 200 MB/s 的复制数据。这里没有计入协议开销、网络包头、重传、校验、加密和流量波动,实际采购时还需要增加余量。
恢复流量不能简单按“总存储容量 ÷ 恢复时间”计算。应先估计故障后真正需要搬运的副本数据量,也就是 D_move,再按恢复窗口计算:
恢复平均带宽(Mbps) = D_move(GB) × 8 × 1000 ÷ 恢复时间(秒)
其中使用十进制单位:
- 1 GB = 1000 MB;
- 1 Gbps = 1000 Mbps;
- 1 字节 = 8 比特。
如果一个 OSD 故障后需要重建 2 TB 数据,并要求在 4 小时内完成,恢复平均带宽为:
2000 × 8 × 1000 ÷ 14400 ≈ 1111 Mbps
也就是约 1.11Gbps 的有效数据速率。考虑协议开销、恢复过程中的波动和业务争用,端口不能只按 1.11Gbps 采购。
负载画像:先记录峰值而不是平均值
容量规划应从业务负载画像开始,而不是先选择一个看起来足够大的端口。至少需要记录以下变量:
- 业务高峰期的逻辑写入速率;
- 业务高峰期的读取速率;
- 顺序读写和随机读写的比例;
- 小块请求与大块请求的比例;
- 并发客户端数量及请求突发情况;
- Ceph 池的副本数或纠删码参数;
- 单个 OSD、单台服务器和单个交换机端口的流量分布;
- 节点故障后可以接受的恢复时间;
- 扩容或更换节点时允许的回填时间;
- 业务访问网络与集群内部网络是否共用端口。
平均写入速率只能用于估算日常消耗,不能替代峰值数据。例如,某业务每天平均写入 30 MB/s,但备份、日志汇聚或批量导入期间可能连续数分钟达到 300 MB/s。若 Ceph 的副本同步、客户端访问和恢复任务在同一时间发生,端口需要承受的是叠加后的峰值,而不是全天平均值。
请求大小也会改变判断结果。大块顺序写通常更容易把带宽打满;小块随机写可能还没有达到端口上限,就先受到 IOPS、CPU、队列深度、延迟和 OSD 数量的限制。因此,不能只看网卡速率判断 Ceph 性能,必须同时观察网络吞吐与操作延迟。
把写入速率转换为复制带宽
可以先建立一个不带具体产品承诺的估算模型:
- 逻辑写入峰值:
W_write; - 副本数:
R; - 恢复搬运数据量:
D_move; - 恢复窗口:
T; - 协议和突发系数:
K,可按 1.15 至 1.30 作为规划参考; - 目标长期利用率:
U,可按 0.60 至 0.75 规划。
集群网络的目标带宽可以写成:
目标带宽 ≈ [W_write × (R - 1) × 8 + D_move × 8 × 1000 ÷ T] × K ÷ U
其中第一项和第二项都以 Mbps 表示。这个公式假定正常复制和恢复任务可能重叠,是偏保守的规划方式。如果恢复任务明确安排在低峰期,并且能够限制恢复速率,则可以分别建立“正常业务”和“恢复窗口”两套带宽模型。
纠删码池不能直接套用 R - 1。纠删码涉及数据块和校验块的写入、聚合以及恢复,实际网络放大比例与 k+m 配置、写入大小、对象布局和恢复方式有关,需要通过压测或历史监控数据修正。
资源变量:副本、节点和网络拓扑
副本数会直接放大正常写入流量
三副本池并不表示所有网络流量都变成三倍。客户端首先将数据发送到主 OSD,主 OSD 再将数据同步到其他副本,因此集群内部复制载荷通常先按两份额外副本估算。客户端到主 OSD 的访问流量属于前端网络,是否与复制流量共用物理端口,取决于网络设计。

如果把前端网络和集群网络合并,端口上承载的可能包括:
- 客户端写入;
- 客户端读取;
- 主 OSD 到副本 OSD 的复制;
- 故障恢复和回填;
- 监控、管理和节点间其他通信。
合并网络可以减少服务器网卡和交换机端口数量,但会降低故障恢复时的余量。对于 SSD、NVMe 或写入峰值明显的生产集群,更适合使用逻辑隔离或物理分离的前端网络与集群网络。
节点数量决定单节点压力
总带宽估算完成后,还要将结果落到单台服务器和单条链路。不能因为集群总带宽看起来不高,就直接为每台服务器配置相同的低速端口。
可以用下面的方式做初步分摊:
单节点参考带宽 ≈ 集群总带宽 × 节点不均衡系数 ÷ 活跃存储节点数
节点不均衡系数可先按 1.5 至 2.0 做参考。实际值取决于以下因素:
- OSD 是否均匀分布;
- 某些节点是否承载更多客户端请求;
- 故障恢复时源节点和目标节点是否集中;
- CRUSH 规则是否造成特定故障域负载偏高;
- 业务是否存在固定热点对象;
- 节点是否同时运行 MON、MGR、网关或其他服务。
如果一台服务器包含更多 OSD,或者同时承担客户端入口,那么它可能先达到端口上限。尤其在节点故障后,剩余节点需要承担更多恢复读写,单节点峰值可能明显高于正常平均值。
端口速率与有效吞吐不是一回事
常见以太网端口的理论换算如下:
| 端口标称速率 | 理论字节速率 | 规划含义 |
|---|---|---|
| 1Gbps | 125 MB/s | 适合低负载测试或恢复要求不高的场景,生产余量有限 |
| 10Gbps | 1250 MB/s,即 1.25 GB/s | 常见的生产起点,适合中等规模集群 |
| 25Gbps | 3125 MB/s,即 3.125 GB/s | 适合较高并发、NVMe 或需要较短恢复窗口的场景 |
| 40Gbps | 5000 MB/s,即 5 GB/s | 适合更高吞吐的存储节点,但需匹配交换机和服务器硬件 |
| 100Gbps | 12500 MB/s,即 12.5 GB/s | 需要完整评估网卡、交换机、CPU、PCIe 和存储介质 |
上述数值是十进制理论值。实际有效吞吐还会受到 MTU、包大小、CPU、网卡驱动、交换机缓存、拥塞、重传和 Ceph 内部处理的影响。规划时不建议把端口长期运行在 90% 以上,尤其不能把“突发可用速率”直接当成持续恢复速率。
还要区分全双工的发送与接收方向。10Gbps 通常表示发送方向和接收方向各自具备相应的链路能力,并不代表所有场景都可以简单相加为 20Gbps 可用吞吐。采购和验收时,应分别查看每台服务器的 TX、RX 峰值,以及交换机对应端口的发送、接收和丢包情况。
一个带计算过程的容量规划示例
下面使用一组假设数据说明计算方法,不代表某款日本服务器的实测结果。
假设有 6 台存储服务器,使用三副本池,并记录到以下业务峰值:
- 逻辑写入峰值:180 MB/s;
- 客户端读取峰值:250 MB/s;
- 故障后需要搬运的数据量:3 TB;
- 期望恢复窗口:6 小时;
- 协议和波动系数:1.20;
- 端口长期目标利用率:70%。
独立集群网络
正常复制的有效载荷为:
180 × (3 - 1) × 8 = 2880 Mbps
也就是 2.88Gbps。
恢复平均带宽为:
3000 × 8 × 1000 ÷ 21600 ≈ 1111 Mbps
也就是约 1.11Gbps。
如果正常复制与恢复同时发生,集群网络所需的规划带宽为:
(2.88 + 1.11) × 1.20 ÷ 0.70 ≈ 6.84Gbps
这里的 6.84Gbps 是集群整体的参考值,不是每台服务器的端口值。考虑节点分布、故障后的热点和流量不均衡,6 台服务器各自使用 10Gbps 集群端口,会比使用 1Gbps 端口保留更多空间。
独立客户端网络
客户端读写合计为:
250 + 180 = 430 MB/s
转换为比特速率:
430 × 8 = 3440 Mbps
加入协议开销和利用率约束后:
3.44 × 1.20 ÷ 0.70 ≈ 5.90Gbps
因此,客户端网络也可以按每台服务器 10Gbps 作为初步起点,再通过压测确认实际分布。
前后端共用网络
如果前端访问、复制和恢复都走同一条网络,三部分有效载荷合计为:
2.88 + 1.11 + 3.44 = 7.43Gbps
加入系数后:
7.43 × 1.20 ÷ 0.70 ≈ 12.74Gbps
这种情况下,10Gbps 共用端口的余量较小,25Gbps 端口更适合作为进一步评估的方向。若业务高峰与恢复任务不会重叠,或者恢复速率受到严格限制,结果可以低于这个保守值,但需要用历史监控或专项压测证明时间上的错峰确实存在。

这个示例还没有加入其他应用流量、备份流量、监控流量和网络故障后的重传。若存储介质本身可以提供更高吞吐,或者恢复窗口要求缩短,就应重新计算,而不是沿用原来的端口规格。
针对日本节点的 Ceph 存储场景,A5idc数据提供日本热销系列与 CTG 系列物理服务器,覆盖 Xeon Gold、AMD EPYC、NVMe、SSD 及大容量 HDD 组合,并提供 CIA、GIA、CN2、SoftBank 等线路选项。不同硬件与网络资源可用于规划存储节点、客户端访问和恢复流量所需的部署基础,兼顾高吞吐数据池与大容量文件、备份归档场景。
日本服务器的网络选择与计费核对
日本服务器组建 Ceph 时,服务器所在地并不会自动决定带宽需求。真正需要核对的是服务器之间的网络路径、端口上限、计费口径和故障域。
优先确认私有网络是否真正可用
应向服务商确认以下内容:
- 存储节点之间是否提供独立私有网络或专用 VLAN;
- 私有网络是否与公网端口共享上行链路;
- 同一机房、同一网络区域内的东西向流量是否计费;
- 不同机房或不同区域之间是否经过公网或专用互联;
- 私有网络的实际速率是独享、共享还是突发;
- 是否限制单连接速率或单服务器总吞吐;
- 是否支持符合 Ceph 需求的 MTU、VLAN 和路由方式;
- 交换机是否存在单点故障。
Ceph 的集群网络不应仅因为名称中含有“内网”就被视为独享或免费。不同日本服务器产品对私有网络的定义可能不同,合同中的端口速率、上行带宽、流量计费和跨区域规则需要分别确认。
区分物理端口、承诺带宽和突发带宽
产品页面上的“10Gbps 端口”可能表示网卡协商速率,也可能表示服务商允许的最大突发速率,不一定等于持续可用的 10Gbps。采购时建议分别记录:
| 项目 | 需要确认的问题 |
|---|---|
| 物理链路 | 网卡和交换机实际协商速率是多少 |
| 服务上限 | 服务商是否对单台服务器设定带宽上限 |
| 承诺速率 | 是否有持续带宽承诺,还是共享池资源 |
| 突发规则 | 突发能维持多久,是否受上游拥塞影响 |
| 计费方式 | 按端口、按流量、按峰值还是按 95 分位计费 |
| 东西向流量 | 节点间复制和恢复流量是否计费 |
| 南北向流量 | 客户端访问和公网出口是否单独计费 |
如果采用 95 分位计费,短时间峰值可能不会完全按照每个采样点计费,但持续恢复和长期复制仍可能抬高计费峰值。按流量计费时,要确认入站和出站是否分别计费,不能默认集群内部流量一定免费。
不要把双网卡直接当成双倍带宽
两块 10Gbps 网卡不一定等于 20Gbps 可用带宽。还需要确认:
- 是否接入两台独立交换机;
- 是否支持合适的链路聚合或主备模式;
- 链路聚合是否由服务商交换机支持;
- 单条 TCP 连接是否能够跨链路分布;
- Ceph 多连接流量能否有效利用两条链路;
- 一条链路故障后,剩余链路是否仍能承受恢复流量。
对于 Ceph 这种包含多个 OSD、多个副本和多个并发操作的系统,多流量通常有利于利用链路聚合,但不能在没有实际测试的情况下直接把两条端口速率相加。
瓶颈判断:带宽不足不一定先表现为满端口
Ceph 的瓶颈可能出现在网络、磁盘、CPU、内存、PCIe 通道或交换机缓存。带宽规划需要同时判断以下几种情况。
网络先达到上限
表现通常包括:
- 存储节点网卡 TX 或 RX 在业务高峰持续接近端口上限;
- 恢复任务开始后,客户端请求延迟明显上升;
- OSD 操作延迟增加,但磁盘利用率并未达到上限;
- 交换机端口出现丢包、丢弃或缓存拥塞;
- 恢复进度低于计算出的目标速率。
这类问题适合增加端口速率、拆分前后端网络、调整节点分布或限制恢复任务与业务高峰重叠。
存储介质先达到上限
如果网络利用率只有 40% 至 60%,但 OSD 延迟已经升高、磁盘队列持续堆积,继续增加带宽不一定能改善性能。此时需要检查:
- OSD 数量是否足够;
- 单个 OSD 是否成为热点;
- SSD 或 NVMe 的写入耐久和持续写入能力;
- CPU 是否受压缩、校验或加密影响;
- PCIe 插槽和通道是否限制网卡或存储设备;
- 小块随机写是否超过介质的 IOPS 能力。
因此,10Gbps 端口并不代表 Ceph 一定可以持续处理 1.25GB/s 的业务数据。
恢复策略先成为瓶颈
恢复任务如果设置得过于保守,故障窗口会变长;设置得过于激进,则可能显著影响客户端访问。规划时应把恢复速率看成一个可调度资源:
- 正常业务高峰期降低恢复并发;
- 业务低峰期提高恢复速率;
- 对恢复完成时间设置上限;
- 观察恢复期间的客户端延迟和 OSD 延迟;
- 评估单节点故障时剩余节点能否承受额外负载。
Ceph 的具体恢复参数与版本、介质和调度器有关,不宜直接复制一组与环境无关的固定配置。更稳妥的方式是先建立基线,再逐步调整并观察业务延迟。
容量余量:同时预留性能和恢复空间
存储容量与网络容量需要一起规划。三副本池的可用容量不能按原始硬盘总量计算,粗略关系可以表示为:
可用容量 ≈ 原始容量 ÷ 副本数 × (1 - 运行余量)
例如,原始容量为 72 TB,使用三副本,并预留 20% 的运行余量:
72 ÷ 3 × 0.80 = 19.2 TB
这只是容量规划示例,还没有扣除文件系统、对象布局、BlueStore 元数据、故障域限制和其他管理开销。不同 Ceph 输出中可能同时出现 TB、TiB、GB 和 GiB,采购时应统一单位后再比较。
运行余量不仅用于继续写入,还用于以下场景:
- 一个 OSD 或节点故障后的副本重建;
- 增加新节点时的数据回填;
- 更换设备时的临时数据迁移;
- 副本不完整期间的重新均衡;
- 业务突发增长;
- 维护窗口内的短时流量峰值。
如果集群接近满载,故障后可能没有足够空间放置新的副本,恢复时间也可能明显增加。对于需要持续写入的生产集群,可以把 60% 至 70% 的容量利用率作为提前评估扩容的参考区间,而不是等到接近满盘才采购新节点。具体阈值仍应结合池配置和 Ceph 版本中的 nearfull、backfillfull 等设置确认。
交付验收:不要只验收网卡标称速率
日本服务器交付后,建议分别验收客户端网络和集群网络。验收重点不是一次测速达到某个理论数字,而是确认在接近业务峰值时,复制、恢复和客户端访问能否同时满足要求。
网络侧验收项目
- 每台服务器的网卡协商速率;
- 单节点 TX、RX 峰值;
- 多节点同时发送和接收时的吞吐;
- 交换机端口是否出现丢包、错误和丢弃;
- 单条链路故障后剩余链路的能力;
- 私有网络与公网是否发生带宽争用;
- 服务器之间的延迟、抖动和重传;
- 恢复流量是否受到服务商的单机或跨机限制。
Ceph 侧验收项目
- 正常业务下的 OSD 操作延迟;
- 三副本写入时的复制速率;
- 一个测试 OSD 或节点进入恢复状态后的恢复速率;
- 恢复期间客户端读写延迟;
- PG 是否出现持续 degraded、misplaced 或 inactive;
- 节点增加后回填是否影响业务;
- 单节点故障后的副本重建时间。
只读查看状态时,可以使用与发行版和 Ceph 管理环境相匹配的命令,例如:
ceph -s
ceph health detail
ceph df detail
ceph osd df tree
ceph osd perf
Linux 网络侧可以查看接口统计和错误计数:
ip -s link show dev eth1
sar -n DEV 1 10
ethtool -S eth1
其中 eth1 只是示例接口名,实际环境应先确认网卡名称。专项吞吐测试应使用隔离的私有网络、测试数据和维护窗口,避免让压测流量影响生产业务,也不要将公网测速结果直接当成 Ceph 集群网络能力。
用监控结果确定扩容时点
扩容阈值应由端口利用率、恢复时间、容量利用率和业务延迟共同决定,而不是只看某一个指标。可以先建立以下参考规则,再根据业务重要性调整。
| 监控指标 | 规划参考 | 触发动作 |
|---|---|---|
| 集群端口 5 分钟平均利用率 | 高峰期尽量控制在 60% 至 70% 内 | 评估拆分网络或升级端口 |
| 端口 P95 利用率 | 长期超过 75% | 纳入近期扩容计划 |
| 端口短时利用率 | 多次超过 85% | 立即检查突发、丢包和业务延迟 |
| 恢复完成时间 | 不超过预定恢复窗口 | 增加恢复带宽、节点或调整窗口 |
| 客户端 P95/P99 延迟 | 恢复期间明显高于基线 | 限制恢复并发或分离网络 |
| 丢包、FCS、交换机丢弃 | 稳定基线应接近零 | 先排查链路、网卡和交换机 |
| 原始容量利用率 | 进入 60% 至 70%区间 | 根据增长率和采购周期提前扩容 |
| 增长预测 | 未来 90 天超过端口或容量阈值 | 在业务高峰前完成扩容 |
例如,可以每分钟采集一次每台服务器的 TX、RX、OSD 延迟、恢复速率、PG 状态和容量利用率,再按 5 分钟聚合。对过去 7 至 14 天分别计算业务高峰的平均值、P95 和最大值。如果端口 P95 连续多个高峰超过 75%,或者一次故障恢复已经无法在目标窗口内完成,就不应继续依赖短时突发带宽。
扩容还要考虑扩容本身产生的回填流量。新增 OSD 或节点后,数据重新分布会占用集群网络和磁盘资源。因此,扩容前需要预留一段回填窗口,并确认新增节点的私有网络速率、交换机端口和计费方式与原有节点一致。若新旧节点的端口规格不同,应按最低速率和最容易出现热点的链路重新计算。
对于多数采用 SSD 的中等规模 Ceph 集群,独立的 10Gbps 私有网络可以作为初始产品筛选条件;如果业务写入峰值较高、恢复时间要求严格、节点使用 NVMe,或前后端网络必须共用,则应把 25Gbps 及以上端口纳入比较。最终选择应同时满足三个条件:正常业务有余量,单节点故障后能够在规定时间内恢复,服务商的带宽计费和网络冗余不会在恢复流量出现时产生不可控成本。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9357.html
