存储服务器中的Ceph RGW对象网关如何工作?请求路径与数据落盘怎样验证

发布人:A5数据发布时间:2026-11-01 10:33阅读量:76

RGW(RADOS Gateway)不是把对象直接写成存储服务器上的普通文件,而是将 S3 或兼容对象存储请求转换为 Ceph RADOS 操作。客户端访问的是 HTTP 网关,真正承载对象数据的是由池、PG、CRUSH 和 OSD 共同组成的 Ceph 存储层。

因此,接口返回成功、能够通过 HEAD 查到对象,不能单独证明数据已经按照预期落入某个数据池,更不能直接说明每个副本都位于哪些磁盘。要验证完整链路,需要分别检查请求、RGW 对象映射、RADOS 对象、池的副本或纠删码策略,以及 OSD 当前状态。

先划清“请求成功”和“数据落盘”的边界

一次对象写入至少可以拆成以下几个层次:

验证层次能说明什么不能单独说明什么
HTTP 响应RGW 接收并处理了请求,返回了对应状态码所有副本已完成恢复、对象位于哪些 OSD
RGW 对象状态桶索引、对象元数据和对象清单中存在记录底层每个数据分片都处于健康状态
RADOS 对象RGW 映射出的数据对象存在于指定池该对象的所有副本或纠删码分片都已正常可用
ceph osd map对象对应的 PG 和当前 acting set业务请求是否经过缓存、是否命中了错误的版本
集群健康状态PG、OSD、恢复和回填的整体状态某一次请求的完整业务链路
下载后校验写入与读取后的业务内容一致是否使用了副本、纠删码或特定磁盘

RGW 返回成功通常意味着请求已经通过网关处理,并且底层写操作满足当前池和集群的写入条件。但 min_size、副本数、纠删码配置、OSD 状态和版本实现都会影响这个条件。HTTP 200 不应被简单理解为“所有物理磁盘已经完成最终同步”。

另外,HEAD 请求通常只读取对象元数据,不等于对全部对象内容执行了一次完整读取;对象使用缓存、版本控制、服务端加密或多站点同步时,验证结果还需要结合部署方式判断。

RGW 如何把请求转换成 RADOS 操作

从客户端到 RGW 前端

典型请求路径可以表示为:

RGW 如何把请求转换成 RADOS 操作|从客户端到 RGW 前端配图

客户端
  ↓
DNS、负载均衡或反向代理
  ↓
RGW HTTP 前端
  ↓
认证与权限检查
  ↓
桶索引和对象元数据查找
  ↓
对象清单与数据池定位
  ↓
RADOS、PG、CRUSH、OSD
  ↓
BlueStore 或底层磁盘设备

RGW 可以独立部署在网关节点,也可以与 OSD 所在的存储服务器混合部署。即使 RGW 和 OSD 在同一台服务器上,客户端也不会直接访问 OSD,更不会直接访问 BlueStore 的内部数据文件。

HTTP 前端负责解析 S3 或其他对象接口请求,识别请求方法、桶名、对象键、请求头和认证信息。通过认证后,RGW 会根据当前 zone、zonegroup、realm 以及 placement 配置,确定该桶使用的存储目标。

PUT 写入路径

以一次对象上传为例,逻辑过程通常包括以下步骤:

  1. 客户端向 RGW 发送 PUT Object 或分片上传请求。
  2. RGW 校验访问密钥、签名、桶权限、对象名称和请求头。
  3. RGW 查找桶实例、桶索引和版本信息。
  4. RGW 根据 placement target 找到对应的数据池和索引池。
  5. RGW 将对象拆分为适合 RADOS 保存的内部对象,形成对象清单。
  6. RGW 向 RADOS 发起写入,RADOS 再通过 PG 和 CRUSH 选择 OSD。
  7. 主 OSD 与副本 OSD,或纠删码池中的数据分片和校验分片,完成相应写操作。
  8. RGW 更新桶索引,最后向客户端返回响应。

这里的“对象”至少有三种含义:

  • 业务对象:客户端看到的桶名和对象键,例如 backup/2025/db.tar。
  • RGW 内部对象:RGW 为业务对象生成的内部名称和对象清单。
  • RADOS 对象:实际提交给某个 RADOS 池、由 PG 管理的对象。

三者并不一定同名。直接在 OSD 数据目录中搜索业务对象键,通常无法验证对象是否存在,也可能误导排查。

GET 读取路径

读取过程与写入相反:

  1. RGW 接收客户端的 GET 请求并完成认证。
  2. RGW 根据桶名和对象键查找桶索引。
  3. RGW 确定当前版本、删除标记以及对象对应的内部清单。
  4. RGW 从 head 对象或一个或多个数据分片中读取内容。
  5. RADOS 根据对象所在 PG 找到可用 OSD。
  6. RGW 按对象清单重新拼接数据,并将内容返回给客户端。

如果对象较小,部分内容可能直接保存在 head 对象中;对象较大时,通常会形成 head 对象和若干 tail 或数据分片。分片数量、分片大小和内部命名受 RGW 配置、对象大小、分片上传方式及软件版本影响。

这也是为什么一个业务对象可能对应多个 RADOS 对象。只检查其中一个对象,不能代表整个对象已经完整落盘。

元数据、桶索引和对象数据分别保存在哪里

RGW 至少要维护三类信息:

桶和用户元数据

包括用户、桶实例、zone 配置以及其他管理信息。这些内容通常保存在 RGW 使用的元数据池中。常见默认名称可能包含 .rgw.meta、.rgw.root 等,但实际名称会因 realm、zone 和部署配置变化。

桶索引

桶索引记录对象键、版本、大小、ETag、时间戳和对象状态等信息。对象数量较多时,一个桶的索引可能被分成多个分片,以降低单一索引对象的竞争。

桶索引主要回答“这个桶里有哪些对象、某个键当前对应哪个版本”,并不等于对象内容本身。桶列表、对象删除、版本切换和部分统计操作都依赖它。

对象数据

对象内容一般位于 placement 对应的数据池。常见默认名称可能包含 .rgw.buckets.data,索引池可能包含 .rgw.buckets.index,但不应把这些名称当作固定规则。应以实际 zone placement 配置和对象清单输出为准。

如果只看到桶索引中存在某个键,而数据池中的对象不完整,客户端可能出现列表中能看到对象、读取却失败的情况。反过来,底层残留孤立对象也不一定会在桶列表中显示。

CRUSH、副本和纠删码如何影响“落盘位置”

placement 决定使用哪个池

RGW 不会为每个请求临时选择磁盘,而是先根据 zone 的 placement 配置选择存储池。一个典型 placement 可能关联:

  • 索引池;
  • 数据池;
  • 元数据池;
  • 复制或纠删码类型;
  • 对象标签、存储类别或分层策略。

对象确定数据池后,RADOS 会将内部对象映射到 PG,再由 CRUSH 规则选择 OSD。其逻辑关系可以简化为:

RADOS 对象
  → PG
  → CRUSH 规则
  → acting set
  → OSD
  → BlueStore 数据、DB 或 WAL

因此,“对象落在哪块磁盘”并不是 RGW 单独决定的。PG 数量、CRUSH 规则、故障域、OSD 权重和集群当前状态都会影响最终位置。

复制池和纠删码池的差异

复制池中,一个逻辑 RADOS 对象通常会保存多个副本。例如副本数为 3 时,逻辑数据可能由三个 OSD 保存,但实际布局还会受到故障域规则影响,三个副本未必位于同一主机或同一机架。

CRUSH、副本和纠删码如何影响“落盘位置”|复制池和纠删码池的差异配图

纠删码池则把数据分成若干数据块和校验块。假设使用 8+3 的配置,理想情况下,1 GB 的大对象原始数据占用约为:

1 GB × (8 + 3) ÷ 8 = 1.375 GB

这个结果未包含对象元数据、对齐、池内部开销和可能的临时恢复空间,也不适用于所有小对象。RGW 的 head 对象和索引数据还可能位于复制池中,因此不能用“整个 RGW 都是纠删码”来估算实际占用。

围绕 Ceph RGW 对象存储的部署需求,A5idc数据提供香港大容量存储型物理服务器,多块企业级机械硬盘可为对象数据、备份与归档提供容量基础。香港及日本的部分服务器还提供 NVMe 或 SSD 配置,可用于承载 RGW 网关及读写较频繁的业务组件。结合不同地区的服务器与线路资源,企业可以按数据规模和访问区域组织计算与存储资源。

BlueStore 不是普通文件目录

在使用 BlueStore 时,RADOS 对象并不等于一个可以在 Linux 文件系统中直接打开的文件。数据可能位于 OSD 的块设备、数据库设备或 WAL 设备中,具体布局由 BlueStore 管理。

所以,下面这些方法不能作为可靠验证:

  • 在 /var/lib/ceph 下搜索业务对象名称;
  • 通过 find 查找与桶名相同的文件;
  • 直接修改 OSD 数据目录;
  • 看到某个 OSD 目录有数据,就认定某个对象已经完整保存。

正确方式是从 RGW 对象清单获得 RADOS 对象信息,再使用 Ceph 管理命令查看池、PG 和 OSD 映射。

影响请求路径和落盘结果的几个因素

对象版本和删除标记

启用版本控制后,同一个对象键可能对应多个版本。客户端不带版本号读取时,RGW 返回的是当前可见版本;删除操作也可能只写入删除标记,而不是立即清除历史版本。

验证时应记录:

  • 桶名;
  • 对象键;
  • VersionId;
  • 上传时间;
  • 对象大小;
  • 是否存在删除标记。

否则,可能把旧版本的数据状态误认为当前版本的落盘结果。

多段上传和大对象分片

Multipart Upload 会产生多个上传分片,完成合并后由 RGW 维护对象清单。对象的ETag在多段上传场景下通常不能直接当作完整对象的 MD5 值。

如果验证的是大文件,应使用本地文件和下载文件的 SHA-256 等内容校验,而不是只比较 ETag。

缓存、负载均衡和多站点同步

如果 RGW 前面有负载均衡、缓存或 CDN,客户端看到的 GET 结果可能来自缓存。验证单个 RGW 节点时,应确认请求是否真正到达目标网关。

多站点 RGW 环境还存在本地写入与远端同步之间的时间差。一个对象已经在本地 zone 可读,不代表它已经同步到其他 zone。此时需要分别检查本地 RADOS 状态和 multisite 同步状态,不能用一次远端 GET 代替同步验证。

池健康和恢复状态

对象写入后,如果集群正在回填、恢复或处理故障,PG 的 acting set 可能仍在变化。此时对象可以正常读取,但副本布局尚未回到预期状态。

需要同时观察:

  • HEALTH_OK 或具体健康告警;
  • PG 是否为 active+clean;
  • OSD 是否有 down、out、full 或 nearfull 状态;
  • 是否存在 recovery、backfill 或 degraded;
  • 对应数据池是否空间充足。

一套可执行的验证方法

以下示例假定使用 Linux 管理节点、S3 兼容客户端和可访问 Ceph 管理接口。示例中的桶和对象应使用专用测试桶,避免覆盖生产对象。

第一步:准备可追踪的测试对象

先生成一个有明确哈希值的文件,并使用唯一对象键上传:

export ENDPOINT='http://rgw.example.test:7480'
export BUCKET='rgw-verification'
export KEY="verify/$(date +%Y%m%d%H%M%S).bin"

dd if=/dev/urandom of=/tmp/rgw-check.bin bs=1M count=64 status=progress
sha256sum /tmp/rgw-check.bin

aws --endpoint-url "$ENDPOINT" \
  s3api put-object \
  --bucket "$BUCKET" \
  --key "$KEY" \
  --body /tmp/rgw-check.bin

该命令会产生真实写入,测试前应确认桶为专用桶、对象键不会覆盖业务数据,并确认测试数据的保留和清理策略。不要直接对生产对象使用相同的键。

上传后查询对象头:

aws --endpoint-url "$ENDPOINT" \
  s3api head-object \
  --bucket "$BUCKET" \
  --key "$KEY"

重点记录 ContentLength、ETag、LastModified 和可能存在的 VersionId。这里的结果只能证明 RGW 当前能返回对象元数据。

第二步:验证内容是否可读且一致

将对象下载到另一个临时文件,再比较哈希:

aws --endpoint-url "$ENDPOINT" \
  s3api get-object \
  --bucket "$BUCKET" \
  --key "$KEY" \
  /tmp/rgw-check.download.bin

sha256sum /tmp/rgw-check.download.bin
cmp /tmp/rgw-check.bin /tmp/rgw-check.download.bin

如果两个 SHA-256 值一致,说明从当前 S3 端点读取到的内容与上传文件一致。这是最有价值的业务层验证之一,但仍然不能直接说明读取经过了哪个 OSD,也不能排除缓存或读取到了当前版本以外的情况。

对于私有对象,AWS CLI 会携带认证信息;对于公开对象或已经获得签名 URL 的请求,也可以通过响应头记录 x-amz-request-id 等请求标识,用于后续关联 RGW 日志。

第三步:查看 RGW 记录的对象状态

在能够访问 Ceph 管理命令的节点上执行:

radosgw-admin bucket stats --bucket="$BUCKET"

radosgw-admin object stat \
  --bucket="$BUCKET" \
  --object="$KEY"

不同版本的输出字段可能不同,通常可以关注对象大小、索引状态、版本信息和对象所在的内部布局。

如果版本和部署支持对象清单查询,可继续执行:

radosgw-admin object manifest \
  --bucket="$BUCKET" \
  --object="$KEY" \
  > /tmp/rgw-manifest.json

cat /tmp/rgw-manifest.json

对象清单可能包含以下类型的信息:

{
  "key": "verify/20250101010101.bin",
  "data_pool": "default.rgw.buckets.data",
  "head": "bucket-instance:verify/...",
  "parts": [
    {
      "pool": "default.rgw.buckets.data",
      "object": "bucket-instance:verify/..._0",
      "size": 67108864
    }
  ]
}

上面只是结构示意,不代表所有版本都使用相同字段。验证时重点是确认:

  • 业务对象是否映射到预期的数据池;
  • 是否存在 head 对象和多个数据分片;
  • 清单中的总大小是否与 ContentLength 一致;
  • 对象是否带有版本或删除标记;
  • 大对象是否出现预期的分片数量。

如果启用了版本控制,应先从对象版本列表中确定目标版本,再使用当前版本支持的版本参数查询对象状态。不要把同一个对象键的不同版本混在一起比较。

第四步:从 RADOS 层确认对象和 PG

从对象清单中取得实际的数据池和 RADOS 对象名后,可以检查 RADOS 层。以下变量需要替换为清单中真实的值:

export DATA_POOL='default.rgw.buckets.data'
export RADOS_OBJECT='从对象清单取得的内部对象名'

rados -p "$DATA_POOL" stat "$RADOS_OBJECT"

ceph osd map "$DATA_POOL" "$RADOS_OBJECT"

rados stat 能说明指定 RADOS 对象在该池中可以被查询到。ceph osd map 通常会显示对象对应的 PG 和 acting set,例如:

osdmap e123 pool 'default.rgw.buckets.data' (12)
object 'bucket-instance:verify/..._0' -> pg 12.4a
up ([4,7,11], p4)
acting ([4,7,11], p4)

示例中的 OSD 编号和 epoch 仅用于说明格式。实际输出应以现场结果为准。

需要注意两个边界:

  1. 如果对象使用了 RADOS namespace,查询时还必须使用对象清单提供的 namespace。
  2. 对象映射反映的是当前 OSD map,不一定等于写入瞬间的历史布局。集群发生 PG 迁移、OSD 替换或恢复后,acting set 可能改变。

对于纠删码池,映射结果代表 PG 的 acting set,不能把它简单理解为“每个 OSD 都保存一份完整对象”。完整对象可能被拆成数据块和校验块。

第五步:核对池属性和集群健康

检查数据池的总体配置:

ceph osd pool get "$DATA_POOL" all
ceph -s
ceph health detail

需要结合池类型理解输出:

  • 复制池重点看 size、min_size 和 CRUSH rule;
  • 纠删码池重点看纠删码 profile、数据块数量和校验块数量;
  • 两类池都要关注 PG 数量、应用标记、空间使用和当前健康状态;
  • 如果有 recovery、backfill、degraded 或 nearfull 告警,落盘位置可能正在变化。

示例判断可以是:

观察结果较合理的判断
下载哈希一致,RGW 对象状态存在,RADOS 对象可查询业务对象已贯通 RGW 到 RADOS
RADOS 对象存在,但 PG degraded对象当前可见,但冗余状态尚未恢复完整
桶列表有对象,object stat 或清单异常可能存在索引与数据状态不一致,需要进一步检查
对象清单指向非预期数据池应检查 zone placement、桶 placement target 或配置变更
GET 成功,但目标 RGW 日志没有对应请求可能命中了缓存、其他网关或负载均衡的另一后端
多站点本地可读,远端不可读需要检查同步队列和远端 zone 状态,不能直接判断为本地写入失败

第六步:关联 RGW 请求日志

先确认实际 RGW 服务实例名称:

systemctl list-units --type=service 'ceph-radosgw*'

如果采用 systemd 管理,可以按现场服务名查看日志:

journalctl -u ceph-radosgw@rgw.gateway1 \
  --since "10 minutes ago" \
  --no-pager

如果使用容器或编排方式部署,应改用对应容器日志或编排工具的日志查询命令。不要直接猜测服务单元名称。

日志关联时使用以下信息组合比单看状态码更可靠:

  • 请求时间;
  • HTTP 方法;
  • 桶名和对象键;
  • HTTP 状态码;
  • 请求耗时;
  • 读写字节数;
  • RGW 请求 ID;
  • 处理该请求的网关实例。

若要临时调整日志级别或启用操作日志,应先查看当前版本支持的配置项和现有日志量,评估磁盘占用及敏感信息风险,再在维护窗口执行。日志可能包含对象键、请求头甚至认证关联信息,不应长期无控制地提高详细程度。

不能用单一命令证明的事项

不能用 head-object 证明所有副本已完成

head-object 主要验证对象元数据可访问。它不展示副本 OSD,也不保证集群没有后台恢复任务。

不能用 ETag 代替内容校验

单次普通上传时,ETag 在部分实现中可能与 MD5 有关;但多段上传、服务端加密或其他处理方式会改变这种关系。跨场景验证应优先使用上传文件和下载文件的 SHA-256。

不能把池容量当成对象实际物理占用

逻辑对象大小、RGW 管理开销、复制倍数、纠删码开销、BlueStore 元数据、压缩效果和恢复临时空间都可能不同。容量估算只能在明确池类型和对象分布后进行。

不能直接修改内部 RADOS 对象

通过 rados 读取对象状态适合诊断,但直接删除、覆盖或修改 RGW 管理的内部对象,可能造成孤立数据、桶索引不一致或对象不可读。验证阶段应使用只读命令;任何修复操作都应先备份相关元数据、明确影响范围,并准备回滚方案。

适用边界与最终判断口径

这套验证方法适合确认三件事:请求是否到达指定 RGW、RGW 是否把业务对象映射到预期的 RADOS 池、底层对象是否能够通过 PG 和 OSD 正常访问。它还可以帮助区分“客户端读取失败”“桶索引异常”“对象清单错误”“池状态异常”和“多站点同步延迟”。

如果需要证明更严格的存储耐久性,还要进一步结合复制或纠删码策略、min_size、故障域、OSD 日志和集群恢复状态进行评估。单个 HTTP 成功响应、单次对象列表结果或某个 OSD 目录中的文件,都不足以代表完整的物理落盘证据。

实际验收时,可以按以下顺序保留证据:

  1. 保存上传对象的本地 SHA-256。
  2. 记录 RGW 返回的对象头、版本号和请求 ID。
  3. 下载对象并再次计算 SHA-256。
  4. 使用 radosgw-admin 查看对象状态和对象清单。
  5. 根据清单查询 RADOS 对象、PG 和 acting set。
  6. 同时保存数据池配置、ceph -s 和健康详情。
  7. 对多网关、多站点或带缓存的环境,分别确认请求后端和同步状态。

当这些证据能够相互对应时,才能较有把握地说明对象已经从 S3 请求层贯通到 Ceph RADOS 层;至于副本是否完整、纠删码分片是否健康以及远端 zone 是否同步,则必须根据各自的状态和配置单独判断。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6873.html

相关推荐