面试了10为大数据开发者，总结了几道常见面试题

前言

金三银四，金三已经过去，到了银四，根据统计，很多人都会选择在7月8月跳槽，原因有很多，企业年后会有大量员工离职，员工觉得老公司待遇不怎么样？薪资不够高，想换个新环境等等原因，所以，7月份就变成了招聘与跳槽的旺季

前面一段时间给公司面试了10个大数据开发的人，自己总结了50道面试题，在此，我分享给大家，希望大家在7月份要找工作的朋友，我的这篇文章能给你有所帮助。

大纲

kafka的message包括哪些信息

 

怎么查看kafka的offset

 

一、Map端的shuffle

 

二、Reduce端的shuffle

 

spark集群运算的模式

 

读：

1、跟namenode通信查询元数据，找到文件块所在的datanode服务器

2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）

4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件

写：

1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在

2、namenode返回是否可以上传

3、client请求第一个 block该传输到哪些datanode服务器上

4、namenode返回3个datanode服务器ABC

5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端

6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答

7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

RDD中reduceBykey与groupByKey哪个性能好，为什么

reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce中的combiner。这样做的好处在于，在map端进行一次reduce之后，数据量会大幅度减小，从而减小传输，保证reduce端能够更快的进行结果计算。

groupByKey：groupByKey会对每一个RDD中的value值进行聚合形成一个序列(Iterator)，此操作发生在reduce端，所以势必会将所有的数据通过网络进行传输，造成不必要的浪费。同时如果数据量十分大，可能还会造成OutOfMemoryError。

通过以上对比可以发现在进行大量数据的reduce操作时候建议使用reduceByKey。不仅可以提高速度，还是可以防止使用groupByKey造成的内存溢出问题。

spark sql怎么取数据的差集

 

spark2.0的了解

 

rdd 怎么分区宽依赖和窄依赖

 

spark streaming 读取kafka数据的两种方式

这两种方式分别是：

 

kafka的数据存在内存还是磁盘

 

怎么解决kafka的数据丢失

 

答案

 

由于答案太多，我做了一个word文档，由于博客园不能上传文件，需要答案可以加小编的qq交流群531629188在里面直接获取文档，也欢迎招聘者，找工作的来，提供一个更大的平台

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有