大数据与云计算变革生产力与社会

   如今，我们站在了IT产业变革的节点上，感受着巨浪的侵袭：云计算和大数据的发展促使IT产业生产力发生重大变革；生产力的变化让许多技术和模式拥有了新的血液；同时，互联网和社会也面临着重构……此时此刻，谁能看清变化趋势，谁能抓住变革先机，谁便能拥有更大的筹码。

    一、生产力之变革：系统架构+数据+人

    IT产业生产力变化，在百度大数据首席架构师林仕鼎看来，可以从四个时间段来分析——大型机时代、PC时代、互联网时代、云计算时代。

    在大型机时代，硬件是主要的生产力。到了PC时代，软件则成为主要生产力。而进入互联网时代后，IT产业生产力变为了软件+人——一个软件开发出来后，很多工程师会去不断地升级、完善这个软件。

    而在云时代，云计算和大数据对生产力产生的改变就是，IT产业生产力变革成了系统架构+数据+人。

    云计算带来的计算、存储资源集中化效应，以及数据量的激增，都使得系统架构在IT产业发展中发挥越来越关键的作用——因为支持云计算和大数据的基础就是系统架构。大数据时代的到来，也使得数据更多地参与到了系统和各种服务的构建中。

    在云时代，软件和系统架构可被看成一整个系统，更多的人参与进来修改、维护、升级这套系统，同时，依靠海量数据来完善这个系统，提升系统性能。这也就是这种新生产力三个要素间的关系。

    以百度搜索为例，林仕鼎介绍说：“用户输入一个搜索请求，有时一开始我们很难确定在搜索结果页面，以什么样的排序呈现给用户合适。那么，我们就会分别依照一定的算法，制定两个排序方法，并在用户中，随机选5%的用户使用排序方式A，5%用户使用方式B。之后，将海量的对比结果和数据反馈回机器学习平台，去分析、挖掘相关算法的优势，进而制定出更优的排序方式，完善百度搜索系统。这样，会使用户在百度搜索中更好地获得想要的结果。”

    二、计算范式之变革：数据中心计算

    实际上，IT产业生产力变革也就意味着计算范式的变化。

    如前文所述，计算、存储资源集中化效应，以及海量数据的存储与处理需求，使得系统架构发挥越来越重要的地位，而这一现象也代表着计算范式的变化。“计算范式正逐步从桌面系统（即单机计算）向数据中心计算发展。”林仕鼎表示。

    范式的变化同时引发了软硬件设计原则、思路的改变——整个IT产业的技术根基都在发生着剧烈变革。

    根据林仕鼎介绍，数据中心计算与单机计算相比，在系统设计理念上的一大改变就是对容错的处理思路。“在单机设计理念中，系统一定是越可靠越好，原因很简单，你只有一台机器，坏掉就没了。所以，在设计时，要在系统里面加很多冗余信息和校验逻辑，这样在出现错误后还可恢复。在数据中心计算中，主要是分布式系统。分布式系统假设所有的设备最终都会发生故障，所以它可以容忍任意一台设备出现问题。这使得两者在系统设计上拥有很多差异”。

    另外，单机计算和数据中心计算的应用场景也不同，前者是单用户多任务，而后者则是多用户单任务，因此系统设计要更多地考虑并行性问题。百度自主研发的SSD就是这种理念下的产物。

    在传统的SSD架构中，是由一个总的SSD控制器来控制下面的Flash存储单元，这样的优势是黑箱化、层次化，不利之处是SSD往往读取较快，写入较慢，容易形成瓶颈。而百度根据应用需求，取消了SSD架构中的写缓冲、擦写平衡等复杂逻辑，大幅简化SSD控制器的设计。通过将一个大的SSD划分为N个单元，每个单元都有独立的控制器和存储单元，这些信息和控制接口暴露给上层存储系统后，形成了多个管道，并行读取、存储效率可以大幅提升。

    这种设计上的创新，使得百度自研SSD相对SATA SSD性能提升6倍成本降低10%，相对PCIE Flash性能提升2倍成本降低40%。

    三、社会之变革：重构互联网

    云计算和大数据已经带来了像IT生产力、计算范式、开发方式这样偏架构和技术的变革，但在林仕鼎看来，它们最大的价值在于让社会得以革新与升级。“技术只有当真正能够去改变人的生活时才会更有意义。”林仕鼎坚持着这一信条。

    而要让社会变革，就需要依靠云计算和大数据重构互联网。

    想像一下这样一个场景：当你在公司系统里确认完出差事宜，你手机上的某个订飞机航班的APP就推送给你几个符合你喜好的航班，供你选择。当你在手机上一键选择完后，相关租车APP就跳出来让你直接预约出租车，提供往返机场或异地开会时的接送服务；并且在你预定完机票后，你的手机会自动进入航空公司选座系统……

    要实现这一切，需以云计算为基础，并融合、联通来自各种渠道的海量数据。但目前的情况是，数据和资源都是分散的。“现在的互联网有很多问题，比如每个用户的数据是分散的，这些数据被割裂在不同的设备上、不同的应用间，同时，计算资源也很分散。”林仕鼎表示。

    所以，互联网需要重构。

    林仕鼎描述了重构互联网的关键：搭建统一的云操作系统。“真正的云平台实际上是一个人人共享的统一操作系统，所有数据、服务、用户的ID、业务系统本身都聚合在一个平台上，形成一个大规模、合作创新的平台。由于有了全局的数据，大数据算法可以发挥作用，这个平台在工程师和用户以及大数据的推动下不断进化，最终会变成一个超大的、囊括性的统一智能系统。这本质上就是对互联网的一次重构”。

    人与机器合一组成的这个“生命体”，实际上是把最终的结果和产生这个结果的原因连接在一起了，在林仕鼎看来，这个“生命体”将会快速进化，最终重构整个社会。

在不久的将来，云计算一定会彻底走入我们的生活，有兴趣入行未来前沿产业的朋友，可以收藏云计算，及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识，让我们一起携手，引领人工智能的未来！

标签： ssd 产业发展 大数据 大数据时代 互联网 搜索 云计算 云计算和大数据

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。