在一个Ceph集群里部署一个multisite RGW环境。有什么意义吗？没有，存属个人折腾。由于资源有限，所以只能在一个集群里委屈了。
限盐少许，直接开整。
版本 14.2.3 (0f776cf838a1ae3130b2b73dc26be9c95c6ccc39) nautilus (stable)
RGW配置部署 一个Site的部署 修改.rgw.rootPool 修改/etc/ceph/ceph.conf中使用到.rgw.rootpool的所有配置项，将其改为exter.rgw.root。ceph.conf中没有显示的配置，所以建议查找一下源代码中的配置options.cc。realm、zonegroup、zone等信息都会记录到exter.rgw.root中。
1 2 3 4 5 rgw_zone_root_pool = exter.rgw.root rgw_region_root_pool = exter.rgw.root rgw_zonegroup_root_pool = exter.rgw.root rgw_realm_root_pool = exter.rgw.root rgw_period_root_pool = exter.rgw.root
配置完成后，启动RGW。本人将RGW安装到了容器中，所以下面给出容器的启动命令
1 docker run -d --net=host --name rgw -v /etc/ceph/:/etc/ceph/ -v /var/lib/ceph/:/var/lib/ceph/ ceph/daemon:latest-nautilus rgw
运行后记得用docker logs -f rgw看一下rgw日志，确保其正常运行。
然后使用ceph df看一下，当前RGW创建了哪些Pools
1 2 3 4 5 6 7 8 9 10 # ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 57 GiB 56 GiB 654 MiB 1.12 POOLS: NAME ID USED %USED MAX AVAIL OBJECTS exter.rgw.root 18 1.2 KiB 0 27 GiB 4 default.rgw.control 19 0 B 0 27 GiB 8 default.rgw.meta 20 0 B 0 27 GiB 0 default.rgw.log 21 0 B 0 27 GiB 33
创建Realm 创建一个 realm ，若不创建，后续在设置自定义的zone为default时会报无效参数的错误。此问题，可以看rgw_admin.cc的源码。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 4438 case OPT_ZONE_DEFAULT:4439 {4440 RGWZoneGroup zonegroup (zonegroup_id,zonegroup_name) ;4441 int ret = zonegroup.init(g_ceph_context, store->svc()->sysobj);4442 if (ret < 0 ) {4443 cerr << "WARNING: failed to initialize zonegroup " << zonegroup_name << std ::endl ;4444 }4445 if (zone_id.empty() && zone_name.empty()) {4446 cerr << "no zone name or id provided" << std ::endl ;4447 return EINVAL;4448 }4449 RGWZoneParams zone (zone_id, zone_name) ;4450 ret = zone.init(g_ceph_context, store->svc()->sysobj);4451 if (ret < 0 ) {4452 cerr << "unable to initialize zone: " << cpp_strerror(-ret) << std ::endl ;4453 return -ret;4454 }4455 ret = zone.set_as_default();4456 if (ret < 0 ) {4457 cerr << "failed to set zone as default: " << cpp_strerror(-ret) << std ::endl ;4458 return -ret;4459 }4460 }4461 break ;
在failed to set zone as default这个位置报错。
所以先配置一个realm吧
1 2 3 4 5 6 7 8 9 10 11 12 [root@master ~]# radosgw-admin realm list { "default_info": "", "realms": [] } [root@master ~]# radosgw-admin realm create --rgw-realm=default --default { "id": "f334e6c2-c2b4-4c04-b541-f64d96c10c07", "name": "default", "current_period": "40775bd3-d592-46c0-98c7-33171915825b", "epoch": 1 }
设置zonegroup的default info 此时zonegroup的default info缺失了
1 2 3 4 5 6 7 8 9 [root@master ~]# radosgw-admin zonegroup list { "default_info": "", "zonegroups": [ "default" ] } [root@master ~]# radosgw-admin zonegroup get failed to init zonegroup: (2) No such file or directory
使用 zonegroup default重新设置default info
1 2 3 4 5 6 7 8 [root@master ~]# radosgw-admin zonegroup default --rgw-zonegroup=default [root@master ~]# radosgw-admin zonegroup list { "default_info": "57b6eaac-63da-42dd-b69d-f7e871ce74c9", "zonegroups": [ "default" ] }
创建Zone 接下来，创建我们需要的zone, 并设置其为default
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 [root@master ~]# radosgw-admin zone list { "default_info": "", "zones": [ "default" ] } [root@master ~]# radosgw-admin zone create --rgw-zonegroup=default --rgw-zone=exter --master --default 2019-10-14 19:00:50.322 7f3698ef7240 0 NOTICE: overriding master zone: f2a55476-fb68-4ea7-af97-251b91e94747 { "id": "69234f1d-8f48-4431-b45f-912087431a47", "name": "exter", "domain_root": "exter.rgw.meta:root", "control_pool": "exter.rgw.control", "gc_pool": "exter.rgw.log:gc", "lc_pool": "exter.rgw.log:lc", "log_pool": "exter.rgw.log", "intent_log_pool": "exter.rgw.log:intent", "usage_log_pool": "exter.rgw.log:usage", "reshard_pool": "exter.rgw.log:reshard", "user_keys_pool": "exter.rgw.meta:users.keys", "user_email_pool": "exter.rgw.meta:users.email", "user_swift_pool": "exter.rgw.meta:users.swift", "user_uid_pool": "exter.rgw.meta:users.uid", "otp_pool": "exter.rgw.otp", "system_key": { "access_key": "", "secret_key": "" }, "placement_pools": [ { "key": "default-placement", "val": { "index_pool": "exter.rgw.buckets.index", "data_pool": "exter.rgw.buckets.data", "data_extra_pool": "exter.rgw.buckets.non-ec", "index_type": 0, "compression": "" } } ], "metadata_heap": "", "realm_id": "f334e6c2-c2b4-4c04-b541-f64d96c10c07" } [root@master ~]# radosgw-admin zone list { "default_info": "69234f1d-8f48-4431-b45f-912087431a47", "zones": [ "exter", "default" ] }
删除default zone 现在你会发现有两个zone了，一个是我们新建的，另一个是default，这个default没用了，我们把它删掉。
1 radosgw-admin zone delete --rgw-zone=default --default
细心的朋友可能会发现radosgw-admin命令中没有zone delete这个命令啊，-h中显示的是zone rm啊。这是Bug，嘿嘿嘿～～～
1 2 3 4 5 6 7 8 9 10 11 12 [root@master ~]# radosgw-admin -h | grep -i zone | grep -i rm zonegroup rm remove a zone group info zonegroup rm remove a zone from a zonegroup zonegroup placement rm remove a placement target from a zonegroup zone rm remove a zone zone placement rm remove a zone placement target --tags-rm=<list> list of tags to remove for zonegroup placement modify command --sync-from-rm=[zone-name][,...] [root@master ~]# radosgw-admin -h | grep -i delete replica mdlog get/delete replica datalog get/delete (NOTE: required to delete a non-empty bucket)
重启RGW服务 1 2 [root@master ~]# docker stop rgw [root@master ~]# docker start rgw
删除default相关的Pools 1 2 3 4 5 6 7 8 9 10 11 12 13 [root@master ~]# ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 57 GiB 56 GiB 657 MiB 1.13 POOLS: NAME ID USED %USED MAX AVAIL OBJECTS exter.rgw.root 18 1.7 KiB 0 27 GiB 13 default.rgw.control 19 0 B 0 27 GiB 8 default.rgw.meta 20 0 B 0 27 GiB 0 default.rgw.log 21 0 B 0 27 GiB 175 exter.rgw.control 22 0 B 0 27 GiB 8 exter.rgw.meta 23 0 B 0 27 GiB 0 exter.rgw.log 24 0 B 0 27 GiB 159
重启RGW服务后，发现多了三个Pool exter.rgw.control、exter.rgw.meta、exter.rgw.log。而default开头的pool就没用了，可以删除了。
1 2 3 4 5 6 [root@master ~]# ceph osd pool rm default.rgw.control default.rgw.control --yes-i-really-really-mean-it pool 'default.rgw.control' removed [root@master ~]# ceph osd pool rm default.rgw.meta default.rgw.meta --yes-i-really-really-mean-it pool 'default.rgw.meta' removed [root@master ~]# ceph osd pool rm default.rgw.log default.rgw.log --yes-i-really-really-mean-it pool 'default.rgw.log' removed
另一个Site的部署 *** 参考一个Site的部署方法吧 ***
Zone之间的数据同步 如果上述的部署方法你都清楚了，相信配置一个Zone之间同步数据的Multisite应该不在话下了。下面说说数据同步的几点注意事项吧。
数据同步必须是在不同zone之间进行的，但zone必须在同一zonegroup之下。
每一个zonegroup内都有一个master zone；一个realm中有多个zonegroup，但master zonegroup只有一个，realm命名空间全局唯一；
数据分为 period 数据、user数据、bucket数据、object数据。
每个zone的endpoints需要配置，否则zone之间无法正常访问
zone上配置的access key和secret要与master zone一致
补个图吧：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 +--- master zone | +--- secondary zone 1 | +---------- master zonegroup ----+--- ...... | | | +--- secondary zone n | realm ---+---------- secondary zonegroup 1 --+--- master zone | | | +--- secondary zone 1 +---------- ...... | | +--- ...... | +---------- secondary zonegropu n