2016热门数据存储技术
2018-06-11 来源:
我们的2016年热门科技名单又一次跟读者见面了!在过去13年里,我们一次次地跟读者分享了新的一年里最好的、前景最光明的技术。和以往一样,对于我们介绍的这批技术将会带来的深远影响,我们充满自信。
我们的名单注重实用性,我们的大部分技术是“较新”的,而不是面向未来的,我们希望把关注点放在已经被验证的成熟技术,确保它很快能够投入实用。
接下来就开始体验我们为您精心挑选的2016年热门存储技术。
数据复制管理
从多种管理工具对相同数据的众多物理拷贝实施管理依然昂贵,让管理者深感头疼,并带来潜在的安全威胁。这就使得数据复制管理(CDM)成为存储领域2016年可能的技术发展趋势之一。它采用单独的数据副本用于备份,归档,复制和其他数据服务。
该市场包括初创型公司Cohesity和Rubrik,它们都于近期推出自己的产品;还有传统厂商例如Catalogic Software,CommVault, HDS以及NetApp。据IDC,预计到2018年IT企业在数据复制上的投入将达到510亿美元。
Actifi是这个领域的先驱,它的数据复制虚拟化平台(copy data virtualization platform)实现了数据与基础设施的解耦,并将相互孤立的数据保护流程进行了整合。
Cohesity推出了Cohesity数据平台(Cohesity Data Platform),用于融合所有的二级存储工作负载。这是一款基于英特尔芯片的2U设备,并且可以作为构建模块组建横向扩展的架构。它的可扩展智能存储开放架构(Open Architecture for Scalable, Intelligent Storage, OASIS)软件,能够在单一平台上对融合分析,归档和数据保护实现服务质量(QoS)管理。
Rubrik在2015年推出了它的数据管理产品,这是一个2U的设备,内置软件进行备份,重复数据删除,压缩和版本管理等各种操作。日立公司则利用其Hitachi Data Instance Director(HDID)和日立虚拟存储平台,以帮助减少数据副本。
数据复制管理与传统的存储管理不同,因为它的目的是对客户使用多个厂商的多种工具进行的某个独立过程进行简化,这个独立过程主要在于数据保护。
“今天的二级存储存在一系列的碎片,”Cohesity首席执行官Mohit Aron说。 “客户从多个厂商购买了一堆不同产品,然后不得不通过某种方式手动实现产品间的对接,并通过多种用户界面进行管理。这是一个主要的管理痛点。“
Aron认为CDM产品的发展将会具有不同的功能。
“Cohesity数据平台在一台设备中包含了所有的数据保护流程,”Aron说。 “我们通过单一的操作界面可以处理所有的工作负载。打个比喻,我们的基础设施就类似于苹果的iPhone。我们生产的基础设施和平台可以针对某些客户用例部署一些原生应用来加以解决。今后,我们要继续扩大,容纳其他厂商甚至第三方基于我们的平台编写软件。“
“做数据复制管理的公司有三种类型,” Actifio创始人兼首席执行官Ash Ashutosh说。“首先,有做备份起家的公司。他们把自己的快照管理功能加以修饰,然后就称其为数据复制管理。第二种类型公司则会说,'如果你已有14台存储设备,那么购买我们的产品作为第十五台吧'。我们和前面的两类截然不同。我们是完全独立的基础设施。可以从数据被创建之初就进行管理,并贯穿其整个生命周期。我们提供快速的数据访问,并且无论数据身在何处都能进行有效的数据扩展管理。“
所有这些产品的目的都是在传统数据保护平台上,对创建敏感数据的无效副本数量加以管控,从而维护安全性和数据访问之间的平衡。
纠删编码
日益普及的对象存储,基于云的备份存储以及大容量硬盘(HDD)的出现,都使得纠删编码在过去几年里持续升温,预计它将成为2016年的热门存储技术之一。超大存储容量例如千兆字节或艾字节规模的数据集使得RAID技术的使用越来越勉为其难,IT分析公司存储瑞士总裁George Crump如是评价。
“当我们开始使用6 TB和8 TB的磁盘驱动器,能够对大数据量提供切实可行数据保护的唯一技术就是纠删编码。如果你的阵列中使用了大容量驱动器,基于RAID的数据恢复将耗费你数周的时间。而通过纠删编码,恢复时间以小时计,“Crump说。
纠删编码应用数学公式将数据分成多个片段,然后把每个片段放置在存储阵列的不同位置。冗余的数据部分会在这个过程中加入,如果数据遭到损坏或丢失,冗余数据部分的一个子集将会被用于原始数据的再生。
纠删编码的目标是要实现快速的磁盘重建。数据复制并且将其分散到各个驱动器的过程与RAID相似。然而,纠删编码在支持数据的规模和数据寿命方面与RAID不同。如果数据被破坏或丢失,进行驱动器重构只需用到某些“纠删”片段。该技术还可以在不降低性能的情况下容忍多个驱动器故障,保持数据完整性。
今天,纠删编码已经成为对象存储供应商的筹码,其中包括领先的供应商例如Amplidata(已被HGST收购),Caringo,IBM Cleversafe和Scality。然而,块存储和文件存储厂商也在加紧行动。超融合阵列厂商Nutanix在七月份将其私有的EC-X纠删编码集成到Nutanix操作系统(NOS)的一个升级版本中。纵向扩展存储厂商Nexenta System则在今年五月NexentaEdge软件的一个升级版本中添加了对块和对象存储的支持。
由于其在保护海量数据方面的可扩展性,纠删编码是基于云的对象存储的核心数据保护机制。到目前为止,用户只是在某些具体应用场景例如备份和主动归档,将数据移动到云,这一趋势有望在新的一年里继续升温。
“纠删编码对于对象存储系统是一种理想的设计:横向扩展,多节点的存储基础设施。它能提供一种跨节点的类似于RAID的数据保护,而不是局限于单个存储系统,”Crump说。
下一代存储网络
下一代存储网络作为存储技术新趋势的主要驱动力是闪存和虚拟化,无论存储网络是光纤通道(FC),以太网或者InfiniBand的。
16 Gbps的光纤通道交换机和适配器的出货量在下一年会继续保持火爆,而32 Gbps的设备也将在市场上崭露头角。博科和思科的产品路线图将会集中在32 Gbps交换机。QLogic已经推出了他们的16 Gbps第五代FC适配器,并且允许客户在2016年升级到第六代32 Gbps。
QLogic产品营销与策划副总裁Vikram Karvat表示,闪存存储供应商都快“把我们的门敲烂了”,他们急切地需要我们的16 Gbps四端口FC适配器,能提供16通道PCIe 3.0,从而满足虚拟化、分析和交易繁重型工作负担的许多需求。
“这种性能水平并不是每个客户都会需要,但是当你需要的时候,你就必须得有它,”Karvat说。“以太网是非常好的技术。我对某些事情绝对没有抱着偏见。但是,的确有一些类型的工作负载是光纤通道最适合的。它就是最管用。”
Dell' Oro集团SAN,网络安全和数据中心设备市场研究部主管Casey Quillin表示,16 Gbps光纤通道在很大程度上仍然是在发展变化的,因为今天的服务器或存储阵列具备16 Gbps端口的还并不多。他预计16 Gbps FC适配器将会在下一年快速追赶,并在2016年年底占到FC端口总出货量的50%。
Quillin表示,博科正在与FC适配器公司致力于打造32 Gbps的生态系统,希望它比16 Gbps的生态系统更好更成熟。但是,他也预计迁移到32 Gbps的历程将比从前迁移到16 Gbps的速度更慢。
而在基于以太网的存储网络方面,主流趋势是25Gb交换机和配备了适配器芯片的端口,使企业能够利用它们已经部署的某些类型的10 GBE线缆。原来的以太网发展路线图把速率从10 GbE一下跳跃到40 GbE,但40 GbE以太网技术要求更换更厚,更昂贵的电缆。
面对超大规模云服务提供商的需求,网络厂商们继而转向新的单针25 GbE以太网交换机和适配器芯片的标准。新的25 GbE以太网芯片端口使用服务器PCIe总线上的引脚数和通道数都和10 GbE端口完全一样。并且发展路线图延伸到了50 GbE和100 GbE,只是后者使用了四个25 GbE的通道。
“25 GbE到50 GbE的最大优点是你不需要更换什么,将来就可以升级到100 GbE。这是无需增加大量成本就能获得更高性能的最简单的方式。这就是它将会流行起来的原因,“屠龙咨询公司总裁Marc Staimer说。 “下一代将从25 GbE到50 GbE,40 GbE可能最终无人问津而被淘汰。“
现在,两种速度的网络在市场上都能见到。Enterprise Strategy Group企业网络分析师Dan Conde说,用户会根据供应商的支持程度以及成本来决定是上25 GbE还是40 GbE。
与此同时,InfiniBand继续专注于高性能计算(HPC)。目前占主流地位的速率是56 Gbps,而随着高性能计算,大数据和Web 2.0应用的大热,从56 Gbps升级到100 Gbps将会在2016年火热起来,Mellanox Technologies营销副总裁Kevin Deierling这样表示。
Gartner研究主任Serais Mushell表示,闪存是用户升级到下一代存储网络的主要理由。“由于闪存的驱动,更高的IOPS,带宽以及更低的延迟正在变得越来越重要。如果你真的希望释放闪存的价值,你需要更低的延迟和更高的带宽,“他说。
然而,除了更高的带宽,存储网络在2016年最突出的趋势可能是在FC,以太网或InfiniBand上支持NVMe的产品的出现。Mushell表示,轻量级的NVMe协议层减少了阵列操作的相关命令集并提高了性能。
Deierling还表示,不断增加而且必须实时可用的数据量使得软件定义的闪存存储系统开始利用远程直接内存访问(RDMA)。闪存存储系统需要快速的RDMA互连,从而需要更高速的网络来发挥作用。
对象存储
我们首次将对象存储纳入年度热点技术是在2012年,现在,它更加热门了。随着厂商提供的完整产品和具体应用场景越来越多,对象存储技术将在2016年的市场上掀起更大波澜。
和文件系统不一样,对象存储系统将数据存储在一个扁平的命名空间里,通过唯一标识符进行数据检索,而无需服务器知道数据具体存放在哪儿。扁平化的命名空间允许保存的元数据量比传统文件系统存储所能支持的元数据量大得多,这使得像自动化和存储管理这类管理员任务变得更加简单。现在,对象存储技术主要被用于长期数据保存,备份和文件共享。
直到最近,对象存储系统的选择依然有限,大多数系统都采用基于REST的协议搭载专有硬件。“而现在,对象存储系统厂商开始将系统包装成传统IT部门可以直接利用的形式,”Crump说。“他们开始支持更多的接入协议,如NFS,CIFS和iSCSI等,他们提供的系统后端性价比也越来越高。”
今天,某些厂商更加注重软件,让用户可以选择他们自己的硬件,实现更低的成本以及更容易集成到主数据中心。例如,对象存储软件厂商Caringo,9月份推出的FileFly软件,允许用户在对象存储和文件系统之间移动他们的数据。
“更广泛的采用还是会在传统数据中心,而传统数据中心正紧盯着云服务提供商正在做的,并且准备将该功能也应用到相应的应用场景里,”Crump说。
HGST三月份收购了对象存储供应商Amplidata,IBM十月份收购了Cleversafe ——这些迹象都在表明,传统厂商已经意识到对象存储技术对于备份和归档策略是多么重要。
对象存储技术的一个主要缺点是由于元数据量引起的系统延迟。而最明显的应用场景是在那些性能不是主要关注点的地方。例如,内部文件同步和共享正变得越来越流行,它可以减少影子IT,并提高业务效率。
过去一年里我们也看到对于大数据湖的兴趣正在增加。多厂商对于多协议支持的优点使得对象存储特别适合容纳该数据,由于它的低成本和可扩展特性。
“阻碍对象存储进一步壮大的最大问题是, 没有人仅仅因为它是对象存储而购买对象存储产品。它必须要能解决客户都某个具体问题,对于这些问题的认识,我们已经做得比以前更好了。“Crump说。
软件定义存储设备
软件定义的存储经过两年喋喋不休的争吵,厂商们都意识到即使是最好的存储软件也需要良好的硬件与之配合工作。
2015年,钟摆开始理性回归到硬件。我们看到初创企业Savage IO推出可以运行其他家存储软件的硬件阵列。而像EMC ScaleIO和Cloudian HyperStore这些软件定义的存储产品都纷纷推出实体设备。戴尔的Blue Thunder项目,使其硬件可以搭载其他厂商的存储软件,并与VMware,微软,Nutanix,Nexenta和Red Hat等一众厂家结成合作伙伴。SanDisk推出InfiniFlash IF100,这是一个运行其他供应商软件的闪存阵列,软件定义存储供应商Nexenta成为其第一个签约合作伙伴。
成为这种趋势一部分的硬件并不一定是新型硬件。Curvature Solutions甚至会销售二手存储硬件,搭载DataCore的SANsymphony-V,这家公司在软件定义存储流行以前,就一直从事这方面的研发。
随着更多硬件的出现, 厂商们毫不掩饰地声称自己是软件定义的趋势开始消退。 “我们当然不是软件定义的存储,因为我们包括机架式设备,” Datrium创始人和首席执行官Brian Biles说,这家初创企业刚刚在七月份发布了其DVX服务器闪存存储系统。想想看你上一次听到存储厂商这样说是什么时候? Datrium确实有DVX软件,但它只能运行在它的存储设备上。然而,在过去几年中厂商们却总是试图把这样的设置称作软件定义存储。
Savage IO则把存储设备的概念又向前推进了一步。SavageStor 4800是一款4U的设备,包含48个驱动器和12核处理器,支持光纤通道,InfiniBand和固态硬盘。它是专为高性能计算,大数据分析和云存储而设计。然而,Savage IO并不开发软件,它必须运行商用存储管理软件或者开源应用程序,例如Lustre,OpenStack或CentOS。 “这就是一个法拉利的动力系统,你可以根据你所需要的性能搭配你的软件,” Savage IO业务发展主管John Fithian如此评价SavageStor。
EMC ScaleIO节点设备和Cloudian HyperStore FL3000设备最初是被设计为软件定义存储,专为那些不想自己搭建存储硬件的客户。显然绝大多数客户均属此列。
“主流存储买家仍然希望是一个集成的设备,” IDC企业存储和服务器项目主管Ashish Nadkarni说。“他们希望从软件定义的存储中受益,但不希望因此而牺牲掉一个盒子里什么都有的便利与舒适。”
当然,我们还没有听到软件定义的存储,或者软件定义的技术将要走向尾声的消息。但我们预计作为实际存储数据的硬件,将会受到与之相匹配的关注。
标签: CentOS idc 安全 标准 大数据 大数据分析 服务器 企业 数据分析 网络 网络安全 问题 选择 用户 云服务
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。
上一篇:云存储和容量管理
下一篇:监控易如何让闸北区教育局放心运维