0%

如何替换Ceph的Journal

nginx
很多人会提出这样的问题:
能不能够将 Ceph journal 分区从一个磁盘替换到另一个磁盘?
怎样替换 Ceph 的 journal 分区?
有两种方法来修改Ceph的journal:
创建一个journal分区,在上面创建一个新的journal
转移已经存在的journal分区到新的分区上,这个适合整盘替换
Ceph 的journal是基于事务的日志,所以正确的下刷journal数据,然后重新创建journal并不会引起数据丢失,因为在下刷journal的数据的时候,osd是停止的,一旦数据下刷后,这个journal是不会再有新的脏数据进来的
第一种方法
在开始处理前,最开始要设置OSD状态为noout

[[email protected] ~]# ceph osd set noout
set noout

停止需要替换journal的osd(这里是osd.1)

[[email protected] ~]# systemctl stop [email protected]

我的版本是jewel的,如果是hammer版本,就使用 /etc/init.d/ceph stop osd.1
下刷journal到osd,使用 -i 指定需要替换journal的 osd的编号

[[email protected] ~]# ceph-osd -i 1 --flush-journal
SG_IO: bad/missing sense data, sb[]: 70 00 05 00 00 00 00 0a 00 00 00 00 20 00 01 cf 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
SG_IO: bad/missing sense data, sb[]: 70 00 05 00 00 00 00 0a 00 00 00 00 20 00 01 cf 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
2016-07-26 22:47:20.185292 7fc54a6c3800 -1 flushed journal /var/lib/ceph/osd/ceph-1/journal for object store /var/lib/ceph/osd/ceph-1

创建一个新的journal
删除原来的journal

[[email protected] ~]# ll /var/lib/ceph/osd/ceph-1/journal
lrwxrwxrwx 1 ceph ceph 58 Jul 25 09:25 /var/lib/ceph/osd/ceph-1/journal -> /dev/disk/by-partuuid/872f8b40-a750-4be3-9150-033b990553f7
[[email protected] ~]# rm -rf /var/lib/ceph/osd/ceph-1/journal

准备一个新的分区
我的环境准备使用/dev/sdd1,分区大小为10G,这个注意磁盘大小比参数设置的要大一点即可

[[email protected] ~]# ls -l /dev/disk/by-partuuid/
total 0
lrwxrwxrwx 1 root root 10 Jul 25 14:25 4766ce93-a476-4e97-9aac-894d461b367e -> ../../sdb2
lrwxrwxrwx 1 root root 10 Jul 26 22:51 5bb48687-6be6-4aef-82f6-5af822c3fad8 -> ../../sdd1
lrwxrwxrwx 1 root root 10 Jul 26 22:47 872f8b40-a750-4be3-9150-033b990553f7 -> ../../sdc2

我的新的journal的uuid的路径为/dev/disk/by-partuuid/5bb48687-6be6-4aef-82f6-5af822c3fad8
将这个磁盘的分区链接到原始路径

[[email protected] ~]# ln -s /dev/disk/by-partuuid/5bb48687-6be6-4aef-82f6-5af822c3fad8 /var/lib/ceph/osd/ceph-1/journal
[[email protected] ~]# chown ceph:ceph /var/lib/ceph/osd/ceph-1/journal
[[email protected] ~]# echo 5bb48687-6be6-4aef-82f6-5af822c3fad8 > /var/lib/ceph/osd/ceph-1/journal_uuid

创建journal

[[email protected] ~]# ceph-osd -i 1 --mkjournal

启动进程

[[email protected] ~]# systemctl restart [email protected]

去除noout的标记

[[email protected] ~]# ceph osd unset noout

启动后检查集群的状态
第二种方法
这个属于备份和转移分区表的方法
首先进行上面方法的停进程,下刷journal
备份需要替换journal的分区表

[r[email protected] ~]# sgdisk --backup=/tmp/backup_journal_sdd /dev/sdd

还原分区表

[[email protected] ~]# sgdisk --load-backup=/tmp/backup_journal_sde /dev/sde
[[email protected] ~]# parted -s /dev/sde print

新的journal磁盘现在跟老的journal的磁盘的分区表一样的了。这意味着新的分区的UUID和老的相同的。如果选择的是这种备份还原分布的方法,那么journal的那个软连接是不需要进行修改的,因为两个磁盘的uuid是一样的,所以需要注意将老的磁盘拔掉或者清理掉分区,以免冲突
在做完这个以后同样跟上面的方法一样需要重建journal
创建journal

[[email protected] ~]# chown ceph:ceph /var/lib/ceph/osd/ceph-1/journal
[[email protected] ~]# ceph-osd -i 1 --mkjournal

启动进程

[[email protected] ~]# systemctl restart [email protected]

去除noout的标记

[[email protected] ~]# ceph osd unset noout