中国计算机报封面报道：澄清大数据存储

 

　厂商说

　　大数据不是一个分析工具，而是新的基础架构。

　　大数据的核心价值是如何把数据变成商业价值。

　　大数据存储，可以认为是存储厂商基于现有大数据应用的特点进行优化的解决方案。

　　记者不久前去香港出差，刚下飞机就收到招商银行发来的一条短信，内容是告之香港有哪些商场在举办促销活动。不知道这是巧合，还是招商银行利用大数据的新成果，但是可以肯定，利用大数据分析可以为客户提供定制化的服务，实现精准营销。大数据正在改变企业业务模式，也让人们的生活变得更加便利和丰富多彩。

　　存储必须整合

　　大数据存储是一类单独的产品吗?赛迪顾问高级分析师陈靓并不这么认为：“把大数据软件与存储进行整合，就称为大数据存储，未免有些牵强。如果非要说出大数据存储的特征，那么我认为它至少应该能让大数据的‘4V’发挥出应有的效果，满足大数据对性能和扩展性的要求。”

　　“与其说大数据存储是一类产品，不如说它是下一代的存储架构。这种架构可以将传统的DAS、SAN和NAS有效地整合起来，以满足上层计算平台的要求。”Forrester Research首席咨询分析师戴昆表示，“大数据存储本身的性能与传统企业级存储并没有显著差异，它主要依赖于上层计算平台的分布式并行处理能力，但其扩展性一定要强。”

　　“在中国市场上，大数据应用还没有真正落地，许多用户谈的还是BI(商业智能)。而从国外的实践看，BI只是大数据的一部分，属于大数据的起步阶段，真正的大数据应用是近实时或实时的数据分析。”中桥调研咨询首席分析师王丛告诉记者，“计算、存储、网络等都与大数据的价值有关。大数据存储并不是一类单独的产品，它也可以通过类似公有云或私有云的方式提供给用户。应用和数据量的增加，对数据的存取提出了更高要求。因此，并行存储能力的增强对大数据存储来说非常重要。”

　　EMC Isilon存储事业部总经理杨兰江表示，大数据存储有很多实现方式，不过它应具备以下特性：海量数据存储能力、全局命名空间、支持标准接口、读写性能优异、易于管理维护、基于开放架构、多级数据冗余、多级存储备份等。

　　“存储产品并不像网络产品那样有严格的界线，因此很难将大数据存储单独划分出来。其实，大数据存储并不是只有分布式存储这一种方式，传统的存储也可以成为大数据存储解决方案的一部分。”华为存储产品线市场总监经宁解释说，“华为将大数据存储当成相对独立的一类产品，主要是从产品的主定位角度考虑的。华为有针对企业级应用的高端存储，也有针对中小型用户的通用存储，当然还有专门为大数据优化的分布式、可横向扩展的大数据存储。”

　　目前，业内并没有关于大数据存储产品的通用定义，但是综合考虑厂商的产品以及用户的需求，可以简单概括出大数据存储的特征：首先，大数据存储必须能够支持全类型数据，包括结构化、半结构化和非结构化数据，实现统一数据支持;其次，在保证可靠性的基础之上，大数据存储必须具备线性扩展能力，同时还要具有很强的批处理和实时处理能力;最后，在系统达到一定规模后，大数据存储平台的易用性和可管理性也是不可或缺的。

　　在大数据处理过程中，用户发现性能的瓶颈并不在计算层面，而在于海量数据的上传和下载。因此，极高的数据加载速率是大数据存储必须具备的特性。大数据解决方案通常包含数据存储、计算及分析，存储是大数据基础架构中的一部分。

　　凸显高性能、可扩展

　　对中国用户来说，大数据应用落地的关键是如何更好地让企业的IT决策者和架构师理解业务需求，建立适合企业业务特点的数据应用场景和数据管理架构，更好地利用企业现有的数据资产，而非盲目地进行所谓的大数据投资。“用户首先要考虑的是什么样的大数据应用才能为企业带来合理产出，其次再考虑大数据平台和存储，切勿本末倒置。”戴昆表示。

　　赛迪顾问的研究发现，中国使用大数据存储比较多的行业是电信、互联网、金融等，其他行业大多还在观望及测试中。中国用户对于大数据存储的需求首先是可靠和稳定，金融行业的用户非常重视这一点;互联网用户则要求大数据存储具有很高的I/O吞吐能力;电信行业的客户更青睐高性价比的大数据存储设备。

　　中国惠普有限公司企业集团存储产品部存储架构师张楠表示，很多中国用户会追求大容量和高性能，忽略了大数据存储本身应该具有的其他属性，这让用户在实际应用中很容易遇到一些障碍，比如无法将存储与大数据平台进行对接，无法在业务中充分发挥大数据存储的价值等。究其原因，主要障碍在于有些大数据存储产品没有开放的接口协议, 没有针对用户的大数据应用场景进行特别优化, 没有提供用户容易接受的易用管理方式等。

　　存储的高可扩展性、高可用性和并行处理能力是企业评估大数据存储最重要的三个因素。高可扩展性可以确保企业的IT能够随着数据量的增长和性能需求的提高进行扩展;高可用性能够保证大数据分析过程的平稳和无间断运行;高并行处理能力则能够确保在大数据处理过程中同时进行更多数据的处理，高效地完成数据分析，同时缩短产品或技术的上市周期。低延迟、自动分层存储以及对10GbE网络的支持等也是用户评估大数据存储的重要考核因素。

　　“如何管理好大数据真的是一个大问题。从IT的角度看，我们还缺乏能够展现数据价值的行之有效的手段。数据作为一种资产，如何被长期、高效、经济地保存也是一个问题。”华为海量存储产品线总经理袁远表示，“大数据提出了一个新的方法论——以数据为中心，而不是以应用为中心。以数据为中心，就要考虑数据的来源，如何以更低的成本存储和管理数据，谁有权利获得哪些数据，对数据进行分析前必须进行模型化的抽象等。大数据需要新的工具、新的管理思路和方法，同时还要对技术架构进行创新。”

　　欧洲核子研究中心(CERN)创建的OpenLAB旨在通过部署全球领先的IT系统和解决方案，将全球大型强子对撞机(LHC)行业的资源、研究成果汇集在一起。持续快速增长的海量科研数据对CERN的存储系统在可扩展性、可靠性等方面提出了严峻挑战，这也促使CERN开始评估新的存储技术。最终，CERN选择了华为UDS云存储系统，并在三个月内完成了安装调测和基准性能的评估。测试结果显示，UDS创新的软硬件和系统非常适合海量数据存储的业务要求，这让CERN可以在未来轻松应对EB级数据量的挑战。

　　谈到华为大数据存储解决方案的特色，经宁概括说：“我们能更好地把握大数据的本质需求，并依靠自主研发能力，在IT架构上实现创新，将计算与存储进行有机结合。我们还基于自己的大数据存储平台，提供了多种类型的接口，便于与应用衔接。”从产品研发的角度看，华为将重点放在了软件方面，硬件则采用了开放的标准化的存储服务器架构。在2013年华为云计算大会上，华为与中央电视台正式签署合作协议，在大数据存储领域建立战略合作关系，为媒资行业提供领先的技术和应用模式。双方计划联合开发自适应、深度节能的高密度、大容量的媒资存储系统。

　　面对大数据的需求，存储永远不变的是对数据可靠性、性能、可扩展性和效率的追求，而有可能发生改变的是为了提高效率、节省消耗，存储可以变得更加灵活，也可以考虑与计算进行融合等。不管存储如何变化，用户对高性价比的需求始终不变。

　　数据收集和存储是大数据分析的第一个环节。在大数据时代，应用数量、数据量和使用者数量的增长，对存储IOPS以及OLTP和OLAP的要求越来越高，具体表现在现有的存储已不能满足业务关键型应用的需求。中桥调研咨询针对中国用户的调研数据显示，FC SAN仍是企业级用户(42.1%)和中型企业(34.0%)的首选，远高于其他存储类型的占比。这是因为FC SAN对OLTP和OLAP的性能稳定性优于其他存储技术。这一调查结果也显示，目前中国用户大多处于大数据分析的第一阶段，其工作以存储和IT架构的整合和优化为主。王丛分析说，随着Hadoop和MapReduce的不断普及，中国用户将逐步进入近实时和实时分析阶段，节点式存储的占比会随之增加。

　　打通行业价值链

　　华为的金字塔型“4V”理论具体来说，第一步，要建立一个高效的存储架构平台，它既能处理大量的小文件，也能处理单体较大的文件。第二步，这个存储平台要具备极高的处理性能。第三步，这个存储平台要能处理多样化的数据，包括结构化和非结构化数据。只有通过前面三步打下的基础，企业用户才能进入最后一步，在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘，并最终获得所需的价值。

　　经宁表示：“如果仔细甄别，大数据与海量数据还是有差别的，毕竟大数据不仅仅是指数据量大，还包括处理、分析和挖掘等过程。从表面上看，大数据的‘4V’特征是并列的关系，但实际上这些因素之间还是有层次性的。我们提出的大数据金字塔模型，可以更好展现大数据价值的实现过程。”

　　华为倡导构建高效的大数据存储平台，而其中的高效又是如何来衡量的呢?高效的第一个衡量指标就是性能。性能是大数据存储平台的基石之一，没有性能的保证，大数据系统无异于空中楼阁。其次，大数据强调的是简化使用，提高效率。最后，高效的大数据存储平台应该采用融合的技术架构。以华为OceanStor 9000大数据存储系统为例，它采用华为首创的全融合创新架构，可以实现存储、分析和归档的融合，同时具有很强的横向扩展能力，最大可扩展至288节点，单一文件系统可支持40PB容量。分析功能是指OceanStor 9000中内置了分布式数据库，能完成数据的快速检索和查询，以支持上层应用。

　　华为一直坚持“被集成”的策略，这在大数据领域同样适用。华为的大数据存储平台可以提供开放的接口，方便与BI软件和应用软件连接，进一步提高查询效率。在OceanStor 9000这样的融合平台之上，用户还可以根据业务的情况灵活添加相关的功能模块。“在大数据方面，我们主要从垂直行业切入，与行业ISV紧密合作，为金融、电信运营商、媒体、智慧城市、石油勘探等领域的用户提供端到端的大数据存储解决方案。”经宁说，“虽然我们已在大数据存储市场上取得了丰硕的成果，但是我们更看好大数据存储市场未来的潜力，因为其增长速度远高于传统存储市场。”

　　更好的兼容 更经济的交付

　　中桥调研咨询的调查结果显示，未来24个月内，64.8%的用户将部署新存储来满足大数据时代业务关键型应用对存储性能越来越高的需求。王丛表示：“针对大数据应用，存储可以选择的余地较大，基于一些开源架构的基础平台也能满足大数据的需求。未来，大数据主要处理的是非结构化数据，如何将数据快速转变为价值是关键。大数据不是一个产品，而是解决方案，只有将解决方案与应用相结合才可能更好地挖掘数据的商业价值。”

　　综合多位分析师的观点，在大数据存储领域，国外厂商仍处于领跑地位，国内厂商如华为也在大数据存储领域保持了高速增长。各厂商在大数据存储方面各具所长，谁能建立更好的客户关系和生态系统，使大数据存储解决方案与企业现有的技术架构兼容，并能实现更经济的交付，谁就能在大数据存储市场上脱颖而出。

　寻求容量、可靠性和速度的平衡

　　用户说

　　对非结构化数据进行存储，除了考虑易用性、性能和安全因素以外，还要考虑与智能挖掘相关技术相结合。

　　大数据要求用户不仅要对传统商业智能软件进行改造，还要对企业已有的业务系统基础架构进行改造。

　　大数据面临的最大挑战是大规模、实时的关联性分析。对于存储来说，高吞吐、低延迟的要求会越来越高，内存、闪存的重要性也会越来越高。

　　中国的大数据应用已经起步。记者采访了金融、互联网、教育、制造等行业的一些敢于“吃螃蟹”的用户。

　　精准营销效果佳

　　大数据最先从互联网行业兴起，互联网企业在大数据应用方面的一些成功经验值得其他行业借鉴。以携程旅行网(CTRIP)为例，它的大数据应用目前正处于快速发展阶段，已经在很多方面进行了有益尝试，包括细化网站平台的流程，优化业务运营，支持业务成长的决策，解决部分传统方法难以解决的具体问题。携程旅行网高级副总裁、研发中心总经理叶亚明(Eric Ye)给记者举了两个例子：在饭店推荐和航班查询方面，携程就利用其数据精细化工具来计算业务的投资回报率(ROI);携程还通过机器学习的方法识别用户，进一步改善针对用户的推荐结果，解决“查询不到匹配酒店”等难题。

　　利用大数据为企业决策提供支持或者实现精准营销是企业中常见的大数据应用。东方航空公司就是一例，它开展大数据研究和应用已经有很长时间，并且采购了大数据一体机专门解决大数据的相关问题。目前，东方航空公司的大数据应用主要集中在营销业务领域，包括渠道分析、航线分析、航班后期走势分析、航线上客速度分析等。在东方航空公司，大数据处理和分析的益处显而易见，它能提供更准确、更实用、更全面的数据分析和展现，形成统一的营销数据分析门户，更好地为东方航空公司营销的各个环节提供决策支持，使精准营销成为可能。

　　中国传媒大学高性能计算中心主任鲁永泉博士和他的团队近年来一直致力于打造中国首个动漫产业的云平台，并且已经发布了VSO虚拟工作室平台。此平台集虚拟工作室、动漫渲染、在线交易等众多功能于一身，是真正能够落地的动漫云平台。据鲁永泉介绍，他们已经将大数据用于动漫云平台，平台的主要功能是对动漫云的用户行为进行分析，为运营人员制定更加精确的营销和服务策略提供支持。

　　追求高性价比

　　为满足大数据的应用需求，存储平台究竟应该如何搭建呢?不同行业的用户针对不同应用会进行不同的搭配。携程已经建立了一个具有一定规模的Hadoop集群，其大数据应用就基于此集群。“为这个集群选择相应的存储方案时，我们综合考虑了I/O吞吐性能、性价比、计算密集型还是存储密集应用型等诸多因素。”叶亚明介绍说，“目前，我们标准的存储配置是基于SATA硬盘，配合JBOD、数据倾斜调整、机架感知等可靠技术的应用，实现存储和计算的优化。面对一些特殊应用，我们还会采用不同的内存存储，如HBase节点中的内存比例会稍高，而Hive/PIG等节点中的内存比例则有所调整。”

　　东方航空公司对于大数据存储的要求很明确，不仅要性能卓越，可扩展性强，还要实现安全保护，能够实时响应，实现负载均衡等。东方航空公司下一步将考虑引入对非结构化数据的处理。针对非结构化数据的存储，东方航空公司除了会考虑易用性、性能和安全性等因素以外，对于与智能挖掘相关的技术也十分关注。东方航空公司选择大数据解决方案秉承的原则是：业务驱动，信息技术引领，追求更高性价比。

　　目前，南华期货股份有限公司在大数据方面的应用还不够深入，但数据的采集和积累是其一直坚持在做的重要工作。南华期货积累的数据主要包括两年以上的全市场逐笔Tick行情数据、近10年的主力合约分钟数据、全部客户的交易和结算数据、详细的网络访问日志等。“我们的大数据应用主要集中在针对高端客户的数据服务和有针对性的交易指导方面。接下来，我们还会依托实时交易数据分析，向客户推送有针对性的咨询服务等。”南华期货股份有限公司总经理助理顾松表示。

　　谈到大数据对存储的需求，顾松表示，核心需求主要体现在容量、可靠性和速度三方面。针对不同的应用，上述三个需求重要性的排序也会有所变化：比如在逐笔Tick行情数据处理中，重要性的排序是可靠性、容量、速度;在网络访问日志中，重要性的排序为容量、速度、可靠性。顾松特意强调了存储可扩展的重要性：“当前，我们为每个应用都估算了具有一定冗余的存储容量，所以可扩展性的重要性并没有凸显出来。不过随着应用的发展和后续数据迁移、备份需求的增加，存储的可扩展性和重复数据删除等技术就会显得更加重要和必要。”

　　长安汽车股份有限公司副总裁马军最想找的是懂算法的人，希望依靠更先进的算法实现数据的自动抽取，从而提升数据采集和分析的效率。他认为，公司现有的存储平台不会成为瓶颈。

　　鲁永泉也表示，其动漫云平台对存储没有特别的要求：“大数据意味着大存储，而能够满足大数据需求的存储，比如HDFS等的设计理念不再强调单个存储的可靠性，而是强调利用建立副本等软件的方式来确保数据的安全。至于性能方面，大型分布式系统的单个存储节点的性能高一点固然很好，但其实对整体性能的影响不大，反而需要在网络优化方面多下些功夫。”

　　容量、性能同步扩

　　华为跨界到IT领域，其重要的资本就是在网络领域多年积累的自主研发能力和过硬的产品品质，而华为最擅长的无阻塞交换网络技术也让华为在服务器、存储和大数据解决方案的开发中显得游刃有余且特色鲜明。华为OceanStor 9000大数据存储系统在标准性能评估机构SPEC的SPECsfs2008基准测试中再次刷新记录，其性能领先友商产品3倍多。参与测试的华为OceanStor 9000的配置为100个节点，在NFS网络共享协议环境下的性能达到5030264 IOPS，位居业界第一。同时，OceanStor 9000的横向扩展架构保证了系统的线性扩展能力，在不中断业务的情况下，每增加一个新节点，容量和性能即可线性增长。

　　“大数据最显著的特征是在海量数据中快速地把数据变成信息。因此，数据的快速读取和安全保存是大数据存储的关键指标。”国家测绘局卫星测绘应用中心副主任孙承志表示，“卫星测绘技术不断发展和多类型测绘卫星的在轨运行，使得数据存储量快速增加。为了更有效地解决大数据存储问题，我们希望未来与华为开展更多的合作。”

　　华为OceanStor 9000大数据存储系统已经在能源勘探、卫星测绘、金融票据影像归档、智慧城市视频监控存储分析等行业的重要业务场景下得到验证和应用，受到了客户的广泛好评。华为在大数据方面的一个重要客户中国石油研究院总工程师赖能和说：“为了提高大数据处理性能，中国石油研究院采用了高性能的并行存储以及并行文件系统，可以将性能提高近50%，另外通过增加内存和使用万兆级的网络，也可以提升大数据处理性能。”

　大数据考验整合能力

　　系统集成商说

　　大数据在带来新的商机和用户的同时，也带来了诸多挑战。

　　大数据存储主要考验的是技术整合能力和资源整合能力。

　　大数据是一项持久的工程，也是一个不断迭代的过程，不能一蹴而就。

　　业务集中在云计算、大数据和业务连续性方面的柏科数据总经理林柏乔给记者举了一个例子，某客户需要做大量的日志分析，每天可以产生40TB的新数据，因此每天需要增加一至两台存储。越来越多的客户需要用大数据工具去分析其业务，以投入更加精准的资源去开发更具针对性的功能和新的应用。

　　“美国20%的企业已经不同程度地使用大数据工具来提高投资回报率。中国的500强公司也开始积极关注并制定自己的大数据计划。不久的将来，大数据应用在中国会越来越多。”林柏乔表示。

　　存储架构不变不行

　　随着大数据时代的到来，用户对存储最迫切的需求就是更好的扩展性。存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，而且在升级过程中最好不要停机。随着数据量的持续增长和数据来源的多样化，传统的存储系统已经无法满足大数据应用的需要。存储厂商已经意识到这一点，并开始修改基于块和文件的存储系统的架构，以适应新的要求。

　　北京荣之联科技股份有限公司基础架构部经理李明壮认为，大数据存储应该具备出色的扩展能力、可管理性、高可用、高性能和分布式架构等五大基本特征。“为降低成本，企业必须采用一个能够长期发展的数据存储平台，不仅需要购买行业标准的服务器和存储产品，同时还要保证产品的扩展能力和性能。存储系统需要持续满足企业需求，并可通过灵活的扩展来保证数据处理对高性能的需求。”李明壮解释说，“传统的网络存储系统采用集中式的存储服务器来存放数据，存储服务器存在性能瓶颈，不能满足大数据存储的需要。而分布式存储系统采用可扩展的系统架构，能够利用多台存储服务器实现数据的负载均衡访问，提高了系统可靠性、可用性和存取效率，且易于扩展。”

　　“面对大数据，很多用户希望能充分利用原有的存储。因此，存储整合是一个不小的障碍。”李明壮表示，“我们要为客户考虑，如何更好地节约成本，使传统存储能够在新的大数据平台中发挥最大效用。”

　　华胜天成集团市场总监唐北雁认为，用户除了要面对大数据的去冗降噪技术、高效率低成本的大数据存储、大数据的融合等技术方面的挑战以外，在大数据的落地模式、实时数据分析与实时业务响应方面也面临诸多难题。

　　先里后外效率高

　　林柏乔认为，大数据存储技术会发生颠覆性的改变，如果一个厂家只关注基于控制器的存储，那么其在大数据方面很难有用武之地。无论在美国还是中国，真正使用大数据的客户没有采用传统磁盘阵列的。“一个大数据解决方案如果想吸引用户，就应该提供比Hadoop的HDFS更加高效的文件系统。”林柏乔认为，“用户需要的是一个高效的综合了计算、网络和存储的解决方案，而不是单纯的存储。”

　　大数据应用的前提是必须有明确的业务需求。换句话说，就是用商业思维来推动大数据，只有这样，大数据的价值才能得到充分展现。

　　唐北雁建议用户可从以下几方面入手开展大数据应用。

　　第一，做好企业非结构化数据的“数字化”，将处于半休眠和休眠状态的非结构化数据激活，进行统一管控。

　　第二，先做好企业内部数据的整合，将通过企业IT规划、主数据管理、业务系统和其他渠道收集来的数据进行整合和标准化，然后再利用大数据分析技术解读这些数据，为企业提供有价值的数据分析。

　　第三，建立合理的长期规划。当内部的数据得到充分应用以后，企业的目光就会转移到外部数据，特别是那些从移动互联网、社交商务、微博和微信中获得的数据。这些数据中也存在着大量的数据财富。

　　据北京荣之联科技股份有限公司产品预研部产品经理甘国华的观察，中国用户更倾向于选择开放式的存储来搭建大数据平台。开放式的存储采用分布式存储架构，数据分散在各存储节点上。“作为集成商，我们能够为用户提供分布式存储，并在此基础上提供包括检索、分析和可视化工具在内的一整套大数据解决方案。”甘国华表示。

　　大数据需要的是一个高效的存储平台。华为认为，构建这一平台的基础是全融合技术架构，它融合了存储、分析和归档功能，可以实现数据全生命周期的管理，提高大数据的应用效率。

　　产品、规化都重要

　　大数据既给系统集成商带来了挑战，也创造了新的商机。唐北雁表示：“大数据给我们带来的挑战主要是如何进行数据的收集和存储。在存储方面，用户应该通过云存储和分布式文件存储等技术实现对大数据基础构架的支撑，同时使用NoSQL数据库来实现数据的存储和管理。”

　　李明壮表示：“在大数据平台建设中，我们不单纯为用户提供产品，更要帮助用户制定一个适应大数据需求的长久的数据中心规划。这个规划涉及我们以前不熟悉的软件方面的知识，比如数据分析、数据挖掘等。对于新兴的应用领域，我们需要从零开始了解这些行业用户的需求，为其提供更好的方案。”

标签： 安全 标准 大数据 大数据处理 大数据的应用 大数据分析 大数据分析技术 大数据基础 大数据平台 大数据平台建设 大数据软件 大数据时代 大数据系统 大数据研究

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。