RGW 对象存储：S3 网关

把 RADOS 包成一个 S3

RGW（RADOS Gateway）是一个 HTTP 服务，它把 S3 / Swift API 翻译成 RADOS 操作。和 RBD、CephFS 不同，客户端不需要装任何 Ceph 客户端——一个 HTTP 请求就够了。

S3 客户端 ──HTTP──> RGW ──librados──> RADOS
                     │
                     └─ 自己也要存元数据（用户、bucket、对象索引）

RGW 会自动创建一组池：

池	存什么	冗余建议
.rgw.root	realm / zonegroup / zone 配置	副本
<zone>.rgw.meta	用户、bucket 元数据	副本
<zone>.rgw.log	使用日志、GC 队列	副本
<zone>.rgw.buckets.index	bucket 内对象的索引	副本，必须 SSD
<zone>.rgw.buckets.data	对象数据本体	可以 EC

部署

# cephadm
ceph orch apply rgw s3 --placement="3" --port=8080

# 确认
ceph orch ps --daemon-type rgw
curl http://ceph-node1:8080

返回一段 XML 的 ListAllMyBucketsResult 就说明 RGW 起来了。

生产环境前面通常挂负载均衡：cephadm 可以直接部署 ingress（haproxy + keepalived），提供 VIP 和健康检查。

ceph orch apply ingress --backend-service rgw.s3 \
  --virtual-ip 10.0.20.100/24 --frontend-port 80 --monitor-port 8999

用户与访问

# 创建用户
radosgw-admin user create --uid=app1 --display-name="App One"

{
    "user_id": "app1",
    "keys": [{
        "user": "app1",
        "access_key": "AKIAIOSFODNN7EXAMPLE",
        "secret_key": "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY"
    }],
    "bucket_quota": { "enabled": false, "max_size": -1, "max_objects": -1 }
}

# 配额
radosgw-admin quota set --uid=app1 --quota-scope=user --max-size=10T
radosgw-admin quota enable --uid=app1 --quota-scope=user

# 用量统计
radosgw-admin user stats --uid=app1
radosgw-admin bucket stats --bucket=mybucket

Rook 环境下用户由 CRD 创建，密钥放在 Secret 里：

kubectl -n rook-ceph get secret rook-ceph-object-user-s3-rgw-rgw-default-user \
  -o jsonpath='{.data.AccessKey}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-s3-rgw-rgw-default-user \
  -o jsonpath='{.data.SecretKey}' | base64 --decode

客户端验证

aws configure set aws_access_key_id AKIAIOSFODNN7EXAMPLE
aws configure set aws_secret_access_key wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

# 自建 RGW 通常要用 path-style
aws configure set default.s3.addressing_style path

aws --endpoint-url http://10.0.20.100 s3 mb s3://testbucket
aws --endpoint-url http://10.0.20.100 s3 cp bigfile.tar s3://testbucket/
aws --endpoint-url http://10.0.20.100 s3 ls s3://testbucket/

bucket 分片：海量对象的关键

一个 bucket 的索引默认分成若干片，每片是一个 RADOS 对象。片数不够时，写入会集中到少数几个 OSD 上形成热点。

# 查看当前分片数
radosgw-admin bucket stats --bucket=mybucket | grep num_shards

# 新建 bucket 的默认分片数（按预期对象数规划：每片 10 万对象）
ceph config set client.rgw rgw_override_bucket_index_max_shards 64

# 对已有 bucket 重新分片（会短暂阻塞该 bucket 的写入）
radosgw-admin bucket reshard --bucket=mybucket --num-shards=128

规划口径：每个索引分片约 10 万个对象。预计存 1000 万对象的 bucket，分片数应在 100 以上。

生命周期与分段上传

{
  "Rules": [
    {
      "ID": "abort-incomplete-uploads",
      "Status": "Enabled",
      "Filter": {"Prefix": ""},
      "AbortIncompleteMultipartUpload": {"DaysAfterInitiation": 7}
    },
    {
      "ID": "expire-old-logs",
      "Status": "Enabled",
      "Filter": {"Prefix": "logs/"},
      "Expiration": {"Days": 90}
    }
  ]
}

aws --endpoint-url http://10.0.20.100 s3api put-bucket-lifecycle-configuration \
  --bucket mybucket --lifecycle-configuration file://lifecycle.json

# 查看 RGW 的生命周期执行情况
radosgw-admin lc list
radosgw-admin lc process       # 手工触发一次

第一条规则（7 天清理未完成的分段上传）应该是每个 bucket 的标配——上一阶段说过，残留分片是"用量对不上"的头号原因。

监控

# RGW 自带 Prometheus 指标（由 MGR 的 prometheus 模块暴露）
ceph mgr module enable prometheus
curl http://ceph-node1:9283/metrics | grep ceph_rgw

# 开启使用日志，用于计费和审计
ceph config set client.rgw rgw_enable_usage_log true
radosgw-admin usage show --uid=app1

检查点单选

自建 RGW 存放海量小对象，运行几个月后写入变慢、ls bucket 经常超时。最该先检查什么？

• Adata 池的 EC 配置
• Bbuckets.index 池是否在 SSD 上，以及 bucket 的分片数是否足够
• C增加 RGW 实例数量
• D客户端网络带宽

提交

检查点多选

关于 RGW 的池规划，下面哪些是对的？（多选）

• Abuckets.data 池可以用 EC 提高空间效率
• Bbuckets.index 池必须用副本
• Cindex 池应该放在 SSD 上
• D所有 RGW 池都用 EC 最省空间

提交

检查点单选

新建一个 bucket，预计要存 2000 万个对象。索引分片数该设多少？

• A用默认值即可
• B200 以上（按每片约 10 万对象估算）
• C10 就够了
• D越多越好，设成 10000

提交

这节课的落点

• RGW 是无状态 HTTP 网关，客户端零依赖
• index 池必须副本 + SSD，data 池才用 EC
• 三个高频报错：签名不匹配（查时间）、域名风格、时间偏移
• bucket 分片按每片 10 万对象规划，建时设够，避免事后 reshard
• 每个 bucket 都应配「7 天清理未完成分段上传」的生命周期规则