传统 IOE 架构已无力应对大数据的挑战,云计算变革时代已经到来【图】【原创】
2013-11-30 来源:
大数据正在彻底改变 IT 世界。而数据多格式、数据处理速度和大容量是大数据时代必须解决的问题。大数据之所以处理起来很困难,是因为大数据有别于传统关系型数据。大数据有三大特点,也就是业界常说的“3V”,即大流量(Volume)、生成的速度快(Velocity)、种类多(Variety)。另外,大数据虽然量大,但与关系型数据相比,其同等数据量的经济价值要小得多,如果还像传统数据那样投入同样的资源来处理也是不值得的,这些都决定了不适合用关系型数据库和数据仓库来处理大数据。
大数据时代三大特点,集中式存储与计算已经无法应对挑战
中国产业信息网http://www.chyxx.com发布的《2013-2018年中国云计算市场分析预测与投资战略咨询报告》认为传统 IOE 架构已无力应对大数据的挑战,云计算变革时代已经到来。IOE 架构是建立在IBM 小型机+Oracle 数据库+EMC存储设备上的数据处理架构,是一种集中专用的架构,存在多种瓶颈,无法适应大数据环境下的数据处理。1)传统架构强调单一系统的规模,通过强化单一系统提升数据处理能力。而在大数据时代,数据量的增长十分迅猛,不是任何单一系统能够满足的,系统的横向扩展成为必然之选,而 IOE 架构的横向扩展能力有限;2)在传统架构下,数据存储和处理依赖于关系型数据库,而无法有效处理大数据环境下的非结构化数据;3)传统架构的软件和硬件设备被 IOE 三家公司所垄断,价格十分昂贵。在大数据环境下的系统规模极其庞大,需要付出极高的成本采购 IOE 软件和硬件设备;4)第三,硬件平台兼容性差,比如惠普硬件无法与 IBM 系统形成无缝的跨平台。
传统 IOE 架构面临多方面瓶颈
云计算平台主要有以下几个优点:1)可靠性,分布式云计算平台能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配;2)经济性,云计算平台的硬件可以由普通服务器构成,无需购买昂贵的小型机;3)高可扩展性,云计算是在可用的服务器集群中分配数据并完成计算任务的,数据处理能力正比于服务器数量的增加。
基于云计算平台的优点
互联网行业是率先迈入大数据环境的领域。互联网行业的大量数据满足“3V”特点,因此采用传统 IOE 架构的互联网企业感到明显的压力,遇到包括数据实时分析能力差、海量数据处理效率低、IT 运维效率低下等各方面的 IT 系统问题。包括 Google、Amazon、阿里巴巴等互联网巨头已经开始踏上去“IOE”征途。目前在国引领互联网浪潮的阿里巴巴集团内部,传统的 IOE 架构已经颠覆。阿里巴巴通过改写 mysql等开源项目开发出新型的大规模分布式存储系统,通过虚拟化技术将普通 CPU 和普通硬盘组成了计算资源池和存储资源池,构建了符合自身业务需求并且性能稳定的 IT 基础架构。
标签: Google Mysql 处理大数据 大数据 大数据时代 服务器 互联网 互联网巨头 互联网企业 互联网行业 企业 数据库 问题 行业 云计算 云计算平台 云计
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。