Alluxio在携程大数据平台中的实践

分享嘉宾郭建华，携程大数据平台研发工程师,2016年硕士毕业于上海大学后,一直在携程的大数据平台部门从事离线平台的维护与研发工作,对存储框架HDFS、Alluxio,计算框架Spark SQL和Hive有一定的了解。

本文的主要内容包括离线和实时在携程大数据中都占据重要地位，为了解决资源竞争带来的问题，携程将部分实时作业单独建立集群，同时带来了新的问题，跨集群读写数据。同时，部分作业需要准时实时的离线查询，这给当前的框架带来挑战。本次分享介绍了如何引入Alluxio来解决这些问题进行了探讨，并分享碰到的一些问题和踩过的坑。

标签： 大数据 大数据平台

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。