金山云CTO杨钢:从零开始 做大云存储

2019-02-26    来源:多智时代

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

在这种情况下,还会有一个问题,业务逻辑和业务逻辑之间它们会进行通讯,因为真正的应用会连贯的过程,比如说,在网上拍了一个物品,不管是库存的逻辑还是用户这边的逻辑,订单处理那边的逻辑必须都串起来,这时候有两种方式,一种同步,一种是异步,同步是一个逻辑服务,另外一个逻辑服务等他返回,对要求一致性非常适用,但这种有很大的问题,很容易由一个端点引起整个系统的血崩,大家基本上可以看到,特别是网购,在做活动的时候,会出现明年买3倍服务器,对于电商来说是经常遇到的事情。

另外一种方式是异步,把这个请求发过去,这个请求完成之后,由后者再通知另外一个地方,完成这业务链,这个对一致性要求不是那么高的场合,对用户评论,晚个半分钟出来没什么问题,这种需要消息系统他们来做,用户接入这块第一排最右边是消息系统,有很多开源的方案,随便选一个就可以,我们自己开发,性能上还不是太够。另外是在用户接入的时候,调度系统,因为现在业务逻辑非常多,但你不可能对用户来说,每个企业起不同的域名,接到不同前端负载服务器,域名方案不是太适合,这时候需要集中调度,用户所有请求到调度里面去做一次清洗,很多用户请求是错误的,因为出了问题,很多业务尝试破解你的服务,这种情况在调度里面会清洗掉,有的不一定是恶意,有的尝试破解你的谢意,量的时候其实是挺多的。

这张图实际上来自我们金山云团队内部的技术培训,当然画到这张图,当时想到一个东西,12306.CN,事实上,不管多庞大,多么复杂的系统,其实解决方法只有一条,把它拆分,拆分成最小的力度,每个力度保自己的稳定性,再看业务的需求,如果对持续要求非常高,就用同步模型,配置加大一点,如果要求不高,就有异步。到这步基本上已经能够适应所有的网络服务需求,包括架构模型,实际上大家都殊途同归。

我在这上面做了页面编号,这个时候我们做的是云存储服务,刚才提的东西跟存储没什么相关的,确实是最开始很长一段时间,9和A之间是云存储和其他的互联网业务的分水岭,这个时候要考虑开始引入存储。说实话,对于所有公司来说,如果要进入云存储领域,最合适的起步方式是去买一个专门的存储设备,这点说起来一点不丢脸,因为这样会省掉你很多的事情,让你的业务变得敏捷,专用的存储设备,这个地方写着传统的是千兆网,这个还有其他的设备便宜一些,虽然说单位成本与我们的方案来说肯定要高很多,但关键问题是从零开始做一个云存储的方案,技术难度非常得大。

另外一个选择方案,就是去应用开源,业界用得最多的还是Hodoop,如果我自己推荐,不会推荐Hodoop,不适合于金山快盘,因为像Name Node,甚至开源方案会选择发射的DFS,TFS不适合做快盘业务。Hodoop两结构,一个是NameNode。再往上走一点,我们业务里面做一个相册,它的文件冷热数据呈现比较高的情况,到这块说实话,去年开玩笑,现在国内百盘大战,我们到目前为止快盘是领先的状态,包括隔壁展厅WPS老朋友,许世伟同学他们也在做。其中这100个里面有95个都是采用买一个存储设备或者搭一个Hodoop,我见过一个最牛的团队是上海韩竹同学,一个人加两个学生,三个人在那儿做,不过他现在拉的融资不做那个了,那个已经停了。

到现在为止,我们刚才已经演进了12版,对于大型的互联网服务,到那个阶段了呢?这个地方给大家分享它在互联网服务的第一阶段,快速应对不断增加的服务压力,从1到C12个演进方案,非常可行,很多互联网走过来的,可以直接用,在一个星期完成从这一步到下一步的演进。第二个是服务端的稳定性不断提高,最开始是单服务器架构,很多都放在一台服务器,这个时候服务器稳定性可想而知,随着后面的拆分表,不断的做冗余服务器稳定性达到比较高的程度。其实做云之后,我们之前做Office的时候,那还是2008年初,我们给自己定的目标也很高,服务稳定性做到多少个9,还是做云之后跟业界不停的交流,大家都是从慢慢的减少停机时间特别维护时间,就像现在国内公认做得比较好的,淘宝、腾讯,他们也会经常维护,第一阶段我们觉得这样做挺好的,随着用户量不断的往上走,第一阶段是验证业务本身可行。第二阶段最主要的是,我如何在比较复杂的系统,比较大的系统里面既能够玻璃稳定性,又能够保证业务敏捷性,因为要重新修改我的服务,这个时候自动化的运维系统和中间件的开发就比较重要了。

第三阶段国内大部分互联网公司,这个时候服务成本增加了。

第四阶段大家可以看Facebook。

我们希望快盘和金山云简化这个系统,图的右边可以看到,目前已经上线的应用和金蝶,康佳,没上线还很多。下面这是快盘的开放架构的介绍,一个基础架构图,这图在照顾小孩的同时手绘的。下面是金山云技术,因为我们这个团队是来自WPS技术气氛比较强,因为WPS是有一个很大的系统架构组,它去负责可从用框架性的技术研究,这个基础架构组两个负责人,我和许世伟,我们做云的时候也是一样,第一个我们希望能够把这个基石打得很坚定,打得比较实的基础,第二个希望业务快速敏捷的变化,总结来说做了五类:

第一个是云存储,这地方跟大家说,云存储和分布式文件系统完全不同的两码事,分布式完全系统可以认为只是云存储里面的十几个子系统的其中一个,云存储会解决更复杂的问题。其实在国内做云存储这个问题非常复杂,通过专线成本非常高,快盘开放系统给大家提供这个上面的帮助。

第二个是数据框架,基本所有互联网服务遇到数据库的问题,特别数据库本身快速响应的,给大家介绍技术演进的时候,大家有没有注意到我跳过来一个领域,因为我们事实上自己做了整套冷热数据,动态扩展一整套的框架。

第三个是虚拟化。

第四个计算框架,可以认为是APP这样的东西。

第五个是运维技术。金山并没有做盛大云的模式,我们云平台更多的是比较倾向于支撑和快盘合作的应用,云平台上面就是快盘平台,openAPI,包括快盘所有终端也可以进行合作,我画了三个草图,Windows、安卓的,迈克板的快盘在几个星期之后跟大家见面。这个地方示意是个人用户,还有企业用户这条线,企业这条线晚一点推出。快盘云平台架构和其他不同,简单说和大家一起共享用户,共享用户数据这样的方案,更多的是产品,更像产品上的合作。

这地方刚才也介绍过,快盘API包括两个系统,一个是本身合作,另外一个是为很多应外提供平台。合作案例是刚才大家看过的墙,这个地方是关于快盘开放API,这是网址,申请一个帐号,选择SDK可以开始了,如果有云的需求直接和BD邮箱联系即可。

在不久的将来,云计算一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏云计算,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

标签: 大数据 电商 服务器 互联网 互联网服务 互联网公司 互联网业务 数据库 网络 域名 云计算

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:亚马逊云数据中心遭雷击 两天无法提供服务

下一篇:美云计算电话公司融资1000万美元