大数据解决方案
2018-11-12 06:51:29来源:博客园 阅读 ()
大数据处理
1、数据库
垂直拆分:根据业务把表放到不同的数据库,解决表之间的IO竞争
水平拆分:根据某种规则把单表数据分成多张表存储,解决单表数据量大的问题
索引:根据业务场景创建合理的索引,如果数据量很小建议使用索引(300条以内)
索引使用场景:
动作描述 |
聚集索引 |
非聚集索引 |
主键列 |
是 |
是 |
外键列 |
是 |
是 |
列经常被分组排序 |
是 |
是 |
返回某范围内的数据 |
是 |
否 |
一个或极少不同值 |
否 |
否 |
小数目的不同值 |
是 |
否 |
大数目的不同值 |
否 |
是 |
频繁更新的列 |
否 |
是 |
频繁修改索引列 |
否 |
是 |
分离活跃数据:把常用的数据和不常用的数据分离,例如活跃用户和不活跃用户
读写分离:写用主库,读用从库
其它:表结构优化、SQL语句优化
2、缓存
读数据时先从缓存中取,命中不到再读库
3、集群
使用hadoop做集群,可以同时处理相同的数据
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- ASP.NET MVC中jQuery与angularjs混合应用传参并绑定数据 2020-03-29
- MVC数据验证详解 2020-03-14
- .net 数据表格显示控件介绍 2020-03-03
- asp.net实现导出DataTable数据到Word或者Excel的方法 2020-02-28
- 详解ASP.NET数据绑定操作中Repeater控件的用法 2020-01-18
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash