存储服务器部署Ceph RGW对象网关需要哪些资源?如何规划数据与网关角色

发布人:A5数据发布时间:2026-10-28 10:05阅读量:93

存储服务器上部署 Ceph RGW 时,真正需要规划的不是“把网关装在哪台机器上”,而是如何拆分对象数据、集群控制面和 S3 访问入口。OSD 节点负责承载数据,MON 与 MGR 负责维护集群状态和管理能力,RGW 则负责认证、协议处理、对象读写和对外提供接口;这几个角色可以同机运行,也可以按负载和故障域拆开。

小规模环境可以采用存储与网关同机的超融合结构,但需要预留 CPU、内存和网络带宽,避免对象请求与 OSD 恢复互相争用。访问量较大、需要独立扩展网关或希望在存储维护时保持入口稳定时,更适合使用独立 RGW 节点。常见的可扩展起点是至少三个存储节点形成故障域,使用两个或更多 RGW 实例提供访问入口,再根据对象容量、请求并发、数据冗余方式和增长速度细化设备规格。

先按业务链路拆分资源

Ceph RGW 的典型链路可以表示为:

业务应用或客户端 → DNS/负载均衡 → RGW → RADOS 数据池与元数据池 → OSD 磁盘

先按业务链路拆分资源配图

其中,DNS 或负载均衡不是 RGW 的必选组件。业务规模较小时可以直接访问多个网关地址;当需要故障切换、统一 TLS 入口或按流量扩展时,再增加负载均衡层。

对象写入和读取经过哪些组件

一次对象写入通常包含以下环节:

  1. 客户端向 RGW 发起 S3 请求,RGW 完成访问密钥校验、签名校验、桶权限判断和请求解析。
  2. RGW 处理桶、对象、版本、分片上传等相关元数据,并确定对象对应的数据池。
  3. RGW 通过 Ceph 客户端访问 RADOS,CRUSH 规则根据池配置选择承载对象的 OSD。
  4. OSD 按复制或纠删码策略写入磁盘,并按照当前数据保护策略返回确认。
  5. RGW 将结果转换为 S3 响应返回客户端。

读取时,RGW 先根据桶和对象索引找到对象位置,再从对应的 RADOS 池读取数据。客户端通常不需要感知具体 OSD,也不应该把某个 OSD 地址直接暴露给业务应用。

这条链路中,RGW 更接近协议和请求处理层,OSD 更接近数据存储层。增加 RGW 数量可以提高入口并发和故障切换能力,但不会直接增加裸容量;增加 OSD 可以扩展容量和后端吞吐,但如果 RGW 节点 CPU 或入口网卡已经饱和,业务请求仍然会受到限制。

需要分别评估的资源

资源类别主要影响对象规划时重点关注
容量与冗余OSD、数据池、元数据池逻辑数据量、复制或纠删码、增长预留、恢复空间
磁盘性能OSD、BlueStore、桶索引对象大小、读写模式、随机 I/O、元数据更新、恢复速度
计算资源RGW、OSD、MGR请求并发、TLS、校验、压缩、纠删码计算、管理模块
网络资源客户端入口、RGW 到 OSD、OSD 之间峰值吞吐、读写方向、复制流量、恢复和回填流量
可用性资源MON、MGR、RGW、存储节点节点数量、机架或可用区故障域、维护时剩余容量

不能只用“需要多少 TB”决定服务器规格。相同的 100 TB 数据,如果是少量大对象的备份业务,瓶颈可能在顺序吞吐;如果是大量小对象和高频覆盖写,瓶颈可能转移到 RGW CPU、桶索引和元数据 IOPS。

组件职责与资源边界

OSD 节点:承载对象数据和后台恢复

OSD 是实际保存 RADOS 对象的服务进程,通常与本地 HDD、SSD 或 NVMe 设备配合运行。RGW 保存的对象数据、桶索引和其他元数据最终都要落到 Ceph 池中,因此 OSD 节点决定了主要的容量、磁盘延迟和集群恢复能力。

规划 OSD 节点时,应分别考虑以下内容:

  • 磁盘介质:大容量 HDD 适合容量型、顺序访问较多的对象存储;SSD 或 NVMe 更适合小对象、高并发、频繁覆盖或低延迟业务。
  • OSD 数量:同一节点的 OSD 越多,CPU、内存、磁盘队列和网络压力越高,不能只按磁盘容量估算。
  • BlueStore 相关空间:如果将 DB/WAL 放到独立 SSD 或 NVMe,需要评估其可靠性、容量和故障替换方式,不能把单块消费级设备当作整个集群的单点依赖。
  • 恢复余量:节点或磁盘故障后,集群需要进行恢复和回填。容量长期接近满载时,恢复速度、写入延迟和可用空间都会受到影响。
  • 故障域:三副本并不等同于三块磁盘。若三个副本都落在同一台服务器,服务器故障仍可能导致数据不可用。生产规划通常需要让副本跨主机分布;跨机架或跨可用区时,还应把故障域继续上移。

数据容量可以先用一个简化公式做初步估算:

原始容量 ≈ 计划逻辑容量 × 冗余系数 ÷ 目标平均使用率

例如,当前需要存放 200 TB 十进制逻辑数据,预留 10% 增长空间,采用三副本,并将规划时的平均使用率控制在 70%:

组件职责与资源边界配图

  • 计划逻辑容量:200 × 1.1 = 220 TB
  • 三副本原始容量:220 × 3 = 660 TB
  • 按 70% 平均使用率折算:660 ÷ 0.7 ≈ 943 TB

这里的 943 TB 只是初步容量量级,还需要继续扣除磁盘格式化损耗、BlueStore 开销、元数据池空间、热备或替换盘空间,并确认故障后是否仍有足够的恢复余量。

纠删码可以降低对象数据的冗余开销。例如 8+3 纠删码的理论数据比例为 8/11。仍以 220 TB 计划逻辑容量计算:

  • 纠删码数据原始容量:220 × 11 ÷ 8 = 302.5 TB
  • 按 70% 平均使用率折算:302.5 ÷ 0.7 ≈ 432 TB

但这个结果不能直接等同于三副本方案的最终采购容量。RGW 的桶索引、用户和桶元数据、分片上传信息等通常还需要单独的可靠池;纠删码对小对象、频繁覆盖和部分条带更新也可能带来额外开销。容量型、写入后较少修改的对象数据更容易发挥纠删码的空间优势,交互式小对象业务则需要结合压测判断。

MON 和 MGR:控制面与管理面

MON 负责维护集群地图、成员状态和 quorum。它不负责承载对象数据,但一旦 MON 无法形成有效 quorum,集群的状态变更和部分管理操作就会受到影响。生产环境通常使用奇数个 MON,并将它们分布到不同主机;三个 MON 分布在三台服务器上,比在一台服务器上启动三个进程更有意义。

MGR 负责管理模块、状态汇总和监控接口,常见的仪表盘、指标导出等能力也会消耗一定资源。可以配置活动 MGR 和备用 MGR,让它们分布在不同主机上。MGR 的数量不需要随着对象容量线性增加,但监控指标规模、管理模块数量和集群 OSD 数量增长后,应重新评估其内存和 CPU。

MON 与 MGR 的资源需求通常低于 OSD 和 RGW,但应使用稳定的系统盘,并避免与高 I/O 日志或临时文件争用。小规模超融合环境可以把它们放在 OSD 节点上;当存储节点较多、管理操作频繁或维护窗口要求更高时,可以将控制角色独立到小型管理节点。

RGW:S3 入口与请求处理层

RGW 负责对外提供 S3 兼容接口,主要承担:

  • 请求签名、用户认证和权限判断;
  • 桶和对象相关的元数据处理;
  • 普通上传、下载、分片上传、范围读取等请求处理;
  • 与 RADOS 数据池和元数据池交互;
  • TLS 终止、访问日志和部分请求级限制。

RGW 节点不以本地磁盘作为对象主存储,因此多个 RGW 实例可以访问同一 Ceph 站点和数据池。某台网关下线后,其他网关仍可以处理对象请求。不过,RGW 不是完全不需要本地空间,系统盘、日志、临时上传文件、缓存和升级过程仍需要预留容量,生产环境不宜使用空间过小或性能不稳定的系统盘。

RGW 资源通常受以下因素影响:

  • 并发连接数和每秒请求数;
  • 对象平均大小;
  • 小对象比例和桶索引更新频率;
  • TLS、鉴权、访问日志和审计开销;
  • 分片上传、版本控制、生命周期等功能;
  • 客户端峰值流量和突发流量。

因此,RGW 更适合通过增加实例横向扩展,而不是简单地给单台网关不断增加磁盘。至少两个 RGW 节点才能在单个网关维护或故障时维持入口服务;如果还要承受一台网关故障后的峰值流量,剩余节点需要按故障后的容量重新计算,而不是只按正常状态平均分配。

业务应用和外部组件

Ceph RGW 的对象元数据由 Ceph 自身的数据池和索引机制承载,通常不需要额外部署 MySQL、Redis 或消息队列来保存 RGW 的基础对象信息。业务应用可能仍然需要自己的数据库来保存订单、文件关联关系或业务索引,但那是应用层职责,不应与 RGW 的存储角色混为一谈。

负载均衡、DNS 策略或入口代理属于可选的访问层组件。是否引入它们,应根据是否需要统一域名、TLS、健康检查、访问控制和故障切换来决定,而不是因为架构图中必须出现一层代理。

组件交互决定数据池和网关规划

数据池与元数据池不能用同一套标准衡量

RGW 产生的数据并不是一种完全相同的负载。对象正文通常占用最多容量,而桶索引、用户信息、版本信息、分片上传记录和权限元数据更关注随机访问、低延迟和一致更新。

常见的规划思路是:

  • 对象数据池根据对象大小、修改频率和容量成本选择复制或纠删码;
  • 桶索引和其他关键元数据使用更偏向可靠性与低延迟的存储策略;
  • 小对象比例较高时,不能只比较数据池的理论容量比例;
  • 单桶对象数量和并发请求较大时,应关注桶索引是否形成热点;
  • 需要版本控制、对象锁定或生命周期管理时,应把额外元数据和后台处理纳入资源估算。

如果把所有数据都放进同一个池,只按总容量采购,可能出现“容量还没有用完,但桶索引 I/O 已经成为瓶颈”的情况。

RGW 数量由访问负载决定

RGW 节点数量主要由以下指标决定:

业务特征更可能的主要瓶颈部署侧重点
少量大对象、连续读写网卡和 OSD 顺序吞吐提升入口带宽和后端磁盘吞吐
大量小对象RGW CPU、桶索引和元数据 IOPS增加网关实例,使用更快的元数据介质
大量 TLS 连接RGW CPU 和连接管理独立网关节点,评估 TLS 终止位置
突发上传或集中下载入口带宽、连接数和后端队列保留峰值余量,避免所有网关同时饱和
频繁覆盖和删除元数据更新、随机 I/O 和回收压力优先验证延迟、恢复和索引表现

增加 RGW 节点时,还要同步检查 RGW 到 OSD 的网络带宽。入口流量看起来没有超过网卡上限,并不代表后端没有压力,因为复制、纠删码、恢复和回填还会产生额外的东西向流量。

复制、纠删码和恢复行为会改变资源需求

三副本通常更容易理解,写入路径和故障恢复相对直接,但原始容量成本较高。纠删码的容量利用率更高,却会增加条带计算、部分写入处理和恢复过程中的网络与 CPU 压力。

选择时可以按业务特征判断:

  • 备份、归档、日志等写入后较少修改的对象,可以重点评估纠删码;
  • 频繁覆盖、频繁删除或低延迟交互对象,需要重点观察纠删码的写放大和恢复延迟;
  • 元数据和桶索引不能只按对象数据的容量策略处理;
  • 需要跨站点容灾时,第二个站点不仅要部署网关,还要为异步数据复制准备存储容量、带宽和独立故障域。

同一站点内增加网关只能提高访问入口的可用性,不能替代跨站点数据保护。反过来,增加第二套存储集群也不会自动解决入口高可用问题,两个层面需要分别验证。

同机、分机与独立部署如何选择配图

同机、分机与独立部署如何选择

部署结构适用条件主要优点主要限制
单节点全角色开发测试、临时对象存储、可接受整机故障的场景设备数量少,结构简单,网络路径短整机是单点,RGW、OSD、MON 会争用资源,无法通过进程数量形成主机级高可用
三节点或更多超融合中小规模、访问量中等、希望控制设备数量存储、控制面和网关可以共同扩展,节点故障后仍有一定承载能力恢复期间 RGW 与 OSD 竞争 CPU、内存、磁盘和网络
存储与 RGW 分机请求并发高、TLS 负载明显、需要独立扩展入口网关和数据面解耦,便于单独增加 RGW 或维护网关需要额外服务器、交换网络和入口故障切换设计
控制面、存储、RGW 分离集群规模较大、维护窗口严格、组织边界清晰各角色可独立扩容和维护,资源争用较少设备和运维复杂度更高,需要更完整的监控与容量规划

单节点全角色

在一台服务器上同时运行 OSD、MON、MGR 和 RGW,适合验证功能、保存非关键数据或构建临时环境。它的主要问题不是服务能否启动,而是故障边界非常清晰:硬件、电源、系统盘或内核故障都会同时影响数据面、控制面和访问入口。

在单台服务器上启动多个 MON 进程,也不能把单机变成多主机高可用。若业务要求整机故障后仍能访问,应至少把 RGW 和数据节点分布到不同主机,并让控制面具备跨主机 quorum。

三节点超融合

三节点是很多中小型场景的常见起点。每个节点可以承载 OSD,并将 MON 分布到不同主机,RGW 则运行在其中两个或三个节点上。这样既能形成基本的主机级故障域,也能避免单个网关下线后入口完全中断。

这种结构要重点处理资源预留:

  • 为 RGW 保留固定 CPU 和内存,不能让 OSD 恢复任务占满节点;
  • 为客户端流量和 OSD 后台流量预留带宽;
  • 规划单节点故障后的剩余容量,确保恢复时不会立即进入空间紧张状态;
  • 维护节点时不要同时失去 quorum、数据冗余和全部 RGW 入口。

两节点存储集群可以在特定场景下运行,但它很难提供清晰的三主机故障域。即使增加见证节点解决部分控制面问题,数据副本仍然集中在两个存储主机上,不能把它与三节点存储方案视为同等级别的容错能力。

存储与 RGW 分机

当对象访问并发、TLS 连接、业务高峰或多租户隔离要求较高时,可以将 RGW 部署在独立服务器上。存储节点专注于 OSD、磁盘和集群恢复,RGW 节点专注于请求解析、认证和网络吞吐。

独立 RGW 节点通常至少部署两个,并通过负载均衡或其他入口机制分发请求。扩展时可以只增加网关,不必为了提高请求处理能力而同步增加数据盘;但网关到存储集群的网络必须有足够余量,否则瓶颈只是从入口网卡转移到了后端链路。

围绕Ceph存储节点与RGW网关分机的规划,A5idc数据提供香港、美国、日本、新加坡、马来西亚等地区的物理服务器资源,覆盖大容量机械硬盘、SSD、NVMe及不同CPU、内存和带宽配置。香港存储系列可提供多块企业级大容量硬盘,日本部分方案也涵盖大容量HDD与SSD,适合承载对象数据池;独立的高性能计算与网络配置则可用于部署RGW入口,形成按数据容量和访问负载分别扩展的硬件基础。

控制面、存储和网关全部拆分

当集群规模较大,或者存储、网络、平台运维由不同团队负责时,可以将控制节点、OSD 节点和 RGW 节点分别规划。MON/MGR 使用稳定的小型节点,OSD 节点按容量与介质配置,RGW 节点按并发与带宽扩展。

这种结构适合需要滚动维护、独立扩容或较严格资源隔离的环境,但不应为了“角色完整”而盲目拆分。规模较小且请求量有限时,过多独立节点会增加网络、监控、升级和故障定位成本。

参考资源与容量估算

下面的规格可以作为初步设备清单的参考起点,不是固定配置,也不代表特定版本的性能承诺。最终规格应以对象大小、峰值请求、复制方式和压测结果为准。

角色初步参考范围重点说明
OSD 存储节点8–24 个物理核心或等效计算能力、64–256 GB 内存、10/25 GbEOSD 数量、磁盘介质、纠删码和恢复任务会显著改变需求
RGW 网关节点8–16 vCPU、16–64 GB 内存、10/25 GbE、可靠系统盘TLS、小对象、高并发和日志量较大时需要更多 CPU 与内存
MON/MGR 节点4–8 vCPU、16–32 GB 内存、SSD 系统盘MON 关注稳定和低延迟,MGR 资源随管理模块与指标规模变化
入口负载均衡2–4 vCPU、4–8 GB 内存起步仅在需要统一入口、健康检查或流量分发时配置,并评估自身高可用

网络带宽的估算方法

假设业务每天写入 20 TB 十进制逻辑数据:

  • 20 TB = 20,000,000 MB;
  • 20,000,000 ÷ 86,400 ≈ 231.5 MB/s;
  • 231.5 × 8 ≈ 1,852 Mb/s,即约 1.85 Gbit/s;
  • 如果业务峰值是平均值的 3 倍,入口峰值约为 5.56 Gbit/s。

这个 5.56 Gbit/s 只表示客户端逻辑流量。三副本写入、纠删码计算、OSD 之间的数据传输、恢复和回填都会带来额外流量,因此不能把 10 GbE 的标称带宽全部当作可用业务带宽。若还有读取、跨节点迁移或多个业务同时使用,25 GbE 往往更容易保留余量,但仍需结合交换机、网卡、链路聚合方式和实际峰值验证。

小规模环境可以使用同一组网络承载客户端和集群通信,但要监控丢包、队列和恢复期间的延迟。流量较大时,可以在物理或逻辑层面对客户端入口、OSD 复制和管理流量进行隔离。

按对象类型选择介质和结构

  • 大对象、备份和归档:优先关注容量、顺序吞吐和恢复时间,HDD 加合理的数据保护策略可能更合适。
  • 小对象、文件碎片和高频访问:优先关注桶索引、元数据 IOPS、RGW CPU 和低延迟介质。
  • 频繁覆盖或删除:要验证后台回收、索引更新和恢复任务对前台请求的影响。
  • 高并发下载或大量 TLS 连接:应优先增加或独立部署 RGW,而不是只增加 OSD 磁盘。
  • 跨站点容灾:需要额外的存储容量、站点间带宽、复制策略和故障切换流程,不能只复制网关配置。

运行阶段需要守住的边界

保持数据故障域清晰

规划池和 CRUSH 规则时,应明确副本是跨磁盘、跨主机、跨机架还是跨可用区分布。三副本跨主机与三副本落在同一主机内,故障能力完全不同。若整个集群只有一个机架,节点级保护也不能替代机架级保护。

同时要为故障恢复保留容量和性能空间。长期接近满载时,即使客户端仍能读写,磁盘故障后的恢复也可能变慢,甚至影响新的数据写入。

将网关高可用单独验收

RGW 高可用至少要验证:

运行阶段需要守住的边界配图

  • 停止一个 RGW 实例后,入口是否能把新请求转到其他实例;
  • 健康检查是否能识别“进程还在但请求已经异常”的状态;
  • 单个网关恢复后,是否会因连接、日志或缓存重新建立而造成瞬时压力;
  • 所有网关是否使用一致的站点、认证和数据池配置;
  • 入口带宽是否能承受一台网关故障后的流量。

网关故障切换只解决访问入口问题,不能证明 OSD 数据层具备相同的容错能力。两者需要分别进行故障演练。

监控请求、容量和恢复状态

至少应同时观察三组指标:

  1. RGW 层:请求数、并发连接、读写带宽、平均延迟与 P95/P99 延迟、4xx/5xx 比例、分片上传失败和桶索引异常。
  2. Ceph 控制面:MON quorum、MGR 状态、集群健康状态、OSD up/in 状态和 PG 状态。
  3. 存储与网络层:磁盘延迟、队列深度、网卡利用率、丢包、恢复与回填速度、池使用率和节点剩余内存。

只看 RGW 的 HTTP 状态码,可能无法发现 OSD 正在持续恢复;只看 Ceph 健康状态,也可能忽略网关已经出现高延迟或连接耗尽。

上线前验证真实业务特性

不要只用一个大文件测试吞吐。至少应分别验证:

  • 小对象与大对象的上传、下载和删除;
  • 并发上传、范围读取和分片上传;
  • 版本控制、生命周期或对象锁等实际需要的 S3 特性;
  • 单个 RGW 下线后的入口切换;
  • 单个 OSD 或存储节点故障后的数据可用性与恢复速度;
  • 达到规划使用率后,前台请求延迟是否仍可接受;
  • 增加 RGW 后,业务吞吐是否受到后端网络或 OSD 限制。

因此,若数据规模有限、对象访问量稳定且可以接受同机维护,三节点左右的超融合结构可以作为起点;若访问并发、TLS 或业务峰值明显,优先把 RGW 从存储节点中拆出,并按故障后的峰值配置网关数量。最终采购前应固定三组数字:逻辑容量及增长率、峰值请求与带宽、单节点故障后的可接受性能。只有这三组数字同时满足,数据角色与网关角色的拆分方式才算真正适合业务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6177.html

相关推荐