ceph存储过程（ceph文件存储）



曾经用群晖帮助朋友用做数据中心虚拟化服务器的共享存储来部署使用，我自己也有一台群晖，能够达到企业级应用标准；群晖一度是众多买不起专业存储设备的小企业青睐的存储产品，无论是iSCSI还是NAS功能，无论是数据加密、磁盘扩展还是HA高可用功能，都值得称赞。

近几年，随着云计算诞生、企业上云、DevOPS、数字化转型等关键名词的出现，使得整个IT业界发生快速的变化，导致数据存储类型也变得更加的丰富多样，数据量也变得更加的庞大；什么块存储、文件存储、对象存储包括对接公有云上各类的存储服务等，也就是说，分布式存储技术的需求越来越多，此时我们需要的是能够和存储设备硬件实现松耦合的软件定义存储相关的解决方案，能够将以上提到的各类数据存储类型整合，实现统一的存储管理和监控平台。

红帽的Ceph就是侧重于基于块、对象和文件的数据提供统一存储和管理这样的解决方案。接下来我们就要唠一下Ceph的定义、它在分布式存储软件定义方向中占有绝对的Leader地位以及通过一次模拟演示下Ceph的效果。

Ceph是开源的分布式存储系统，用于块数据、对象等。通过原生API中AWS S3或者OpenStack swfit API方式进行访问。基于块存储访问通过块协议以及iscsi提供。

Ceph的官方文档地址：

https://docs.ceph.com/en/pacific/

# Ceph的架构

Ceph应用到不同的场景中，如对象存储是通过RADOSGW来进行数据存储的，能够提供亚马逊AWS中的S3风格以及红帽OpenStack云平台架构中的Swift风格所对应的接口；块存储的话，是通过RBD将块设备映射给主机或者虚拟机中，作为持久化的块设备(磁盘)进行关联使用；另外，文件存储方式提供了客户端Linux内核级别和FUSE级别的访问方式。组后，LIBRADOS库是可以直接支持原生访问存储，通过Go、C、C++、Python等语言调用访问存储。

 pCeph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean状态（ Ceph默认有3个副本，可以调整副本数）。

 pMonitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。

 pManager:管理器：Ceph管理器守护程序（Cephmgr）负责跟踪运行时指标和Ceph群集的当前状态，包括存储利用率、当前性能指标和系统负载。Ceph管理器守护进程还托管基于python的模块，以管理和公开Ceph集群信息，包括基于web的Ceph仪表板和Restful APT。高可用性通常需要至少两个管理器。

 pMDSs: Ceph元数据服务器（ MDS ）为 Ceph文件系统存储元数据（也就是说，Ceph块设备和 Ceph对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。

# Ceph的数据写入流程

以上是Ceph的存储和读写的流程图，从图中可以看出，Ceph保存的都一些对象，每一个对象都会有自己的id叫做oid，之后装载到类似存放对象的文件夹PGs，通过hash+掩码运算oid的方式产生PGid，表明对象所在的PG中。

再通过CRUSH算法分别放到对应的Ceph集群节点中对应的OSD，算法不同，落到OSD的位置也是不同，即产生副本。可以按照机架Rack 主机host等作为算法的依据分布不同的OSD。

通过VMware workstation虚拟出三台Linux操作系统(给它们起了名字分别为node01、node02和node03)作为Ceph的群集节点。

采用Ceph集群部署方法中的最简单也是最传统的方式ceph-deploy部署Ceph集群节点。通过ceph-deploy方式创建集群，配置public、cluster网络，部署ceph-mon监控以及部署相关Manager管理机制；将集群中的节点主机的本地磁盘部署OSD。

创建upwen-pool创建upwen1.img文件，并关联映射RBD块存储。最终会在Linux系统中产生一个/dev/rbd0块设备文件，得到这块盘之后就像常规分区格式化后创建文件系统挂载使用。

正是因为Ceph具备了开源和完善存储的功能，国内不少做分布式存储的大厂都在借鉴Ceph的技术，加以功能扩展化。

举几个国内厂商的产品案例。其中，国内安全厂商深信服的企业级分布式存储产品EDS，可以看出其支持的存储协议完全都是借鉴Ceph所支持的功能。

另外就是xsky星辰天合，发布各类型的存储，也是在Ceph的基础之上进行自定义扩展。

国家在"十四五"规划中提出将开源列入数字经济发展的计划中，相信在国家政策支持开源的的大好环境下，开源系列的Ceph一定会成为分布式存储解决方案的半壁江山。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/cjjbc/14072.html