大数据解决方案

2018-11-12 06:51:29来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

大数据处理

1、数据库

垂直拆分:根据业务把表放到不同的数据库,解决表之间的IO竞争

水平拆分:根据某种规则把单表数据分成多张表存储,解决单表数据量大的问题

索引:根据业务场景创建合理的索引,如果数据量很小建议使用索引(300条以内)

索引使用场景:

动作描述

聚集索引

非聚集索引

主键列

外键列

列经常被分组排序

返回某范围内的数据

一个或极少不同值

小数目的不同值

大数目的不同值

频繁更新的列

频繁修改索引列

分离活跃数据:把常用的数据和不常用的数据分离,例如活跃用户和不活跃用户

读写分离:写用主库,读用从库

其它:表结构优化、SQL语句优化

2、缓存

     读数据时先从缓存中取,命中不到再读库

3、集群

     使用hadoop做集群,可以同时处理相同的数据

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:.net4.0重新注册IIS 的方法

下一篇:Layui:前后端分离之Form表单