当前时代的IT系统架构伴随着软件定义的发展,正发生着巨大的变化,作为IT架构核心数据保险箱的存储单元正在面临着前所未有的挑战。前端业务应用规模从数据量、性能、安全性以及应用类型上都有了成倍的增长,传统的存储设备和解决方案很难满足这种大规模应用场景的需求。
分布式存储是软件定义存储解决方案的实现,它是通过软件将硬件进行抽象化管理,将集群全部的CPU资源、内存资源、硬盘资源、网络资源等进行池化,组合成统一资源池,然后通过简单友好的管理界面或API提供给用户个性化的存储解决方案。
软件定义存储解决方案可以使生产系统在线运行的情况下进行纵向扩展(Scale-Up)或横向扩展(Scale-Out),且存储系统在扩展后可以达到容量与性能均线性扩展的效果。其具有以下特性:
分布式存储系统能够将所有存储节点的处理器资源、硬盘资源、网络资源进行整合,将任务切分给多台存储节点,进行并发数据处理,避免了单个硬盘或设备造成的瓶颈,提升整个集群的处理能力。分布式存储系统具有良好的性能扩展能力,可以满足应用程序对存储性能不断增长的要求。
分布式存储系统通过扩展集群存储节点规模从而提高系统存储容量、计算和性能的能力,通过增加和升级服务器硬件,或者指通过增加存储节点数量来提升服务能力。分布式存储系统支持在线增加存储节点,对前端业务透明,系统整体性能与存储节点数量呈线性关系。
分布式存储系统同时基于硬件及软件设计了高可用机制,在面对多种异常时(如存储节点宕机、网络中断、硬盘故障、数据损坏等)仍可提供正常服务,提高分布式存储系统硬件的可用性可以通过增加存储节点数量或者采用多种硬件冗余机制保证。分布式存储系统多采用副本机制或纠删码机制保证数据的高可用性,副本机制可以提供较高的数据冗余度,但会降低存储系统有效空间的利用率,纠删码机制可以在保证一定数据冗余度的情况下,大幅提高存储系统的有效空间利用率。
分布式存储系统支持可靠的权限控制及互信确认机制,同时采用私有的数据切片及数据编码机制,可以从多重角度保证集群系统不受恶意访问和攻击,保护存储数据不被窃取。分布式的“四高”特性,使得其在高性能计算、大数据视频云及大数据分析等应用场景中有着广泛的应用。
随着视频高清技术及超高清技术的普及,视频大数据应用场景,如雪亮工程、平安城市、广电媒资、影视制作、视频网站等领域,对存储设备提出了大容量、高读写性能、高可靠性、低延时及可扩展性等需求。针对这样大规模视频数据应用场景,就需要一个技术先进、性能优越的存储系统作为后端数据存储的支撑者。在数据爆发增长的“数字时代”,软件定义的分布式存储是存储技术高速发展的结晶,并具有着很大的成长空间,必将应用于更广泛的大数据业务场景。