98300

查看: 37|回复: 0

Ceph基础知识和基础架构认识(2)

[复制链接]
  • TA的每日心情
    擦汗
    2019-9-22 20:46
  • 签到天数: 12 天

    [LV.3]偶尔看看II

    601

    主题

    601

    帖子

    2516

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    2516
    QQ
    发表于 2019-9-7 21:06:39 | 显示全部楼层 |阅读模式
    1302233-20171223155452631-121429135.jpg
    RADOS系统主要由两部分组成,分别是OSD和Monitor。
    基于LIBRADOS层开发的又可以看到有三层,分别是RADOSGW、RBD和CEPH FS。
    RBD:RBD通过Linux内核客户端和QEMU/KVM驱动来提供一个分布式的块设备。
    4  Ceph数据分布算法
    在说明CRUSH算法的基本原理之前,先介绍几个概念和它们之间的关系。
    object与pg的关系:由于object的数量很多,所以Ceph引入了pg的概念用于管理object,每个object最后都会通过CRUSH计算映射到某个pg中,一个pg可以包含多个object。
    pg和pgp的关系:pg是用来存放object的,pgp相当于是pg存放osd的一种排列组合,我举个例子,比如有3个osd,osd.1、osd.2和osd.3,副本数是2,如果pgp的数目为1,那么pg存放的osd组合就只有一种,可能是[osd.1,osd.2],那么所有的pg主从副本分别存放到osd.1和osd.2,如果pgp设为2,那么其osd组合可以两种,可能是[osd.1,osd.2]和[osd.1,osd.3],是不是很像我们高中数学学过的排列组合,pgp就是代表这个意思。一般来说应该将pg和pgp的数量设置为相等。这样说可能不够明显,我们通过一组实验来体会下:
    ceph pg dump pgs | grep ^1 | awk ‘{print $1,$2,$15}’
    dumped pgs in format plain
    1.1 75 [3,6,0]
    1.0 83 [7,0,6]
    1.3 144 [4,1,2]
    1.2 146 [7,4,1]
    1.5 86 [4,6,3]
    1.4 80 [3,0,4]
    第1列为pg的id,第2列为该pg所存储的对象数目,第3列为该pg所在的osd
    我们增加pgp的数量来看下,使用命令:
    ceph osd pool set testpool pgp_num 12
    再看下
    1.a 49 [1,2,6]
    1.b 48 [1,6,2]
    1.1 37 [3,6,0]
    1.0 41 [7,0,6]
    1.3 48 [4,1,2]
    1.2 48 [7,4,1]
    1.5 86 [4,6,3]
    1.4 80 [3,0,4]
    1.7 48 [1,6,0]
    1.6 49 [3,6,7]
    1.9 38 [1,4,2]
    1.8 42 [1,2,3]
    再看pg1.1和pg1.9,可以看到pg1.9不在[3,6,0]上,而在[1,4,2]上了,该组合是新加的,可以知道增加pgp_num其实是增加了osd盘的组合。
    pg和pool的关系:pool也是一个逻辑存储概念,我们创建存储池pool的时候,都需要指定pg和pgp的数量,逻辑上来说pg是属于某个存储池的,就有点像object是属于某个pg的。
    1302233-20171224011812365-1637840216.png
    Cluster Map里的内容信息包括存储集群中可用的存储资源及其相互之间的空间层次关系,比如集群中有多少个支架,每个支架中有多少个服务器,每个服务器有多少块磁盘用以OSD等。
    下面这个式子简单的表明CRUSH的计算表达式:
    式子中的X就是一个随机数。
    (1)Client输入Pool ID和对象ID;
    (3)CRUSH计算OSD的个数,Hash取模获得PG的ID,比如0x48;
    (5)CRUSH预先考虑到Pool ID相同的PG ID,比如1.48。

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|小黑屋| 98300.NET

    GMT+8, 2019-10-18 21:56 , Processed in 0.123054 second(s), 9 queries , MemCache On.

    Powered by Discuz! X

    © 2015-2016 98300.NET

    快速回复 返回顶部 返回列表