神楽坂ニャン

主机规划 根据上篇 CEPH 集群入门笔记-基础 制定规划 主机 集群内网IP 角色 管理主机 192.168.52.1   CEPH01 192.168.52.11 osd、mon、mgr CEPH02 192.168.52.12 osd、mon CEPH03 192.168.52.13 osd、mon 3台CentOS8，2核心，1G内存，20G系统盘，20G OSD，精简置备，安装CEPH Nautilus。 跑在i7 8550u 16G 1T pm961上。 虚拟机双网卡，一个桥接到外网，一个连接到192.168.52.0/24的集群内网。 关于版本选择可以参考CEPH踩坑笔记 安装过程 准备工作 略过系统安装，安装时关闭了kdump节约内存，最小安装。 配置网卡到 ......

关于版本的踩坑点（20200206） Ubuntu 1804 ceph-iscsi官方没有提供deb包和ubuntu部署教程，只有centos的。 iscsi需要用到的tcmu-runner在ubuntu1804中是没有的，如果拿1904和2004的包来用是与init系统不兼容的。需要自己编译相关软件包。   CentOS 7 ceph-iscsi相关软件包官方提供了yum源，并且下载/镜像站只存储了ceph-iscsi*，缺少tcmu-runner，可以从shaman中可以得到。   CentOS 8 根据官方wiki，目前已经release的版本是v14.2.7 Nautilus，该版本没有提供用于CentOS8的源。而新的Octopus版本提供了适用于CentOS8的 ......

这里是个人笔记总结，详细的说明可以参考李航：分布式存储 Ceph 介绍及原理架构分享和官方wiki

CEPH自带数据冗余和数据均匀分布，对OSD不需要做RAID

• OSD：数据存储 一个硬盘对应一个OSD 不要在同一块硬盘上建立两个OSD
• Monitor：记录OSD元数据
• MDS：记录CephFS元数据（Ceph 块设备和 Ceph 对象存储不使用MDS ）
• MGR：监控集群状态 提供Dashboard和REST API
• RGW：RADOS网关 对象存储网关 与S3/Swift协议兼容
• RBD：块存储服务

File>Objects>PGs>OSDs

文件拆分成多个Object，将Objects均匀分布到多个PG上，根据CRUSH算法将PG分配到多个不同的OSD上，确保数据冗余、可用和均匀分布。

所以说我可以充分利用家里多个不同容量的硬盘，而没有RAID要求容量一致的问题。

通常需要3个mon和3个osd实现高可用。