首页 > > 程序设计 > Java技术 >

Hadoop高可用集群

2018-11-13 07:34:09来源：博客园阅读 ()

1.简介

若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。

若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。

*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为StandBy的节点则只负责数据的同步，在必要时提供快速故障转移。

Hadoop各个模块剖析：https://www.cnblogs.com/funyoung/p/9889719.html

Hadoop集群管理：https://www.cnblogs.com/funyoung/p/9920828.html

2.HDFS HA集群

2.1 模型

当有两个NameNode时，提供哪个NameNode地址给客户端？

1.Hadoop提供了NameService进程，其是NameNode的代理，维护NameNode列表并存储NameNode的状态，客户端直接访问的是NameService，NameService会将请求转发给当前状态为Active的NameNode。

2.当启动HDFS时，DataNode将同时向两个NameNode进行注册。

怎样发现NameNode无法提供服务以及如何进行NameNode间状态的切换？

1.Hadoop提供了FailoverControllerActive和FailoverControllerStandBy两个进程用于NameNode的生命监控。

2.FailoverControllerActive和FailoverControllerStandBy会分别监控对应状态的NameNode，若NameNode无异常则定期向Zookeeper集群发送心跳，若在一定时间内Zookeeper集群没收到FailoverControllerActive发送的心跳，则认为此时状态为Active的NameNode已经无法对外提供服务，因此将状态为StandBy的NameNode切换为Active状态。

NameNode之间的数据如何进行同步和共享？

1.Hadoop提供了JournalNode用于存放NameNode中的编辑日志。

2.当激活的NameNode执行任何名称空间上的修改时，它将修改的记录保存到JournalNode集群中，备用的NameNode能够实时监控JournalNode集群中日志的变化，当监控到日志发生改变时会将其同步到本地。

*当状态为Active的NameNode无法对外提供服务时，Zookeeper将会自动的将处于StandBy状态的NameNode切换成Active。

2.2 HDFS HA高可用集群搭建

1.安装并配置Zookeeper集群

https://www.cnblogs.com/funyoung/p/8778106.html

2.配置HDFS（hdfs-site.xml）

<configuration> 
  <!-- 指定NameService的名称 -->  
  <property> 
    <name>dfs.nameservices</name>  
    <value>mycluster</value> 
  </property>  
  <!-- 指定NameService下两个NameNode的名称 -->  
  <property> 
    <name>dfs.ha.namenodes.mycluster</name>  
    <value>nn1,nn2</value> 
  </property>  
  <!-- 分别指定NameNode的RPC通讯地址 -->  
  <property> 
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>  
    <value>192.168.1.80:8020</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>  
    <value>192.168.1.81:8020</value> 
  </property>  
  <!-- 分别指定NameNode的Web监控页面地址 -->  
  <property> 
    <name>dfs.namenode.http-address.mycluster.nn1</name>  
    <value>192.168.1.80:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.mycluster.nn2</name>  
    <value>192.168.1.81:50070</value> 
  </property>  
  <!-- 指定NameNode编辑日志存储在JournalNode集群中的目录-->  
  <property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://192.168.1.80:8485;192.168.1.81:8485;192.168.1.82:8485/mycluster</value> 
  </property>
  <!-- 指定JournalNode集群存放日志的目录-->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/usr/hadoop/hadoop-2.9.0/journalnode</value> 
  </property>  
  <!-- 配置NameNode失败自动切换的方式-->  
  <property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!-- 配置隔离机制-->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence</value> 
  </property>  
  <!-- 由于使用SSH,那么需要指定密钥的位置-->  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/root/.ssh/id_rsa</value> 
  </property>  
  <!-- 开启失败故障自动转移-->  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- 配置Zookeeper地址-->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>192.168.1.80:2181,192.168.1.81:2181,192.168.1.82:2181</value> 
  </property>  
  <!-- 文件在HDFS中的备份数(小于等于NameNode) -->  
  <property> 
    <name>dfs.replication</name>  
    <value>3</value> 
  </property>  
  <!-- 关闭HDFS的访问权限 -->  
  <property> 
    <name>dfs.permissions.enabled</name>  
    <value>false</value> 
  </property>  
  <!-- 指定一个配置文件,使NameNode过滤配置文件中指定的host -->  
  <property> 
    <name>dfs.hosts.exclude</name>  
    <value>/usr/hadoop/hadoop-2.9.0/etc/hadoop/hdfs.exclude</value> 
  </property> 
</configuration>

*指定NameNode的RPC通讯地址是为了接收FailoverControllerActive和FailoverControllerStandBy以及DataNode发送的心跳。

3.配置Hadoop公共属性（core-site.xml）

<configuration> 
  <!-- Hadoop工作目录,用于存放Hadoop运行时NameNode、DataNode产生的数据 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/hadoop-2.9.0/data</value> 
  </property>  
  <!-- 默认NameNode,使用NameService的名称 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://mycluster</value> 
  </property>  
  <!-- 开启Hadoop的回收站机制,当删除HDFS中的文件时,文件将会被移动到回收站(/usr/<username>/.Trash),在指定的时间过后再对其进行删除,此机制可以防止文件被误删除 -->  
  <property> 
    <name>fs.trash.interval</name>  
    <!-- 单位是分钟 -->  
    <value>1440</value> 
  </property> 
</configuration>

*在HDFS HA集群中，StandBy的NameNode会对namespace进行checkpoint操作，因此就不需要在HA集群中运行SecondaryNameNode、CheckpintNode、BackupNode。

4.启动HDFS HA高可用集群

1.分别启动JournalNode

2.格式化第一个NameNode并启动

3.第二个NameNode同步第一个NameNode的信息

4.启动第二个NameNode

5.启动Zookeeper集群

6.格式化Zookeeper

*当格式化ZK后，ZK中将会多了hadoop-ha节点。

7.重启HDFS集群

当HDFS HA集群启动完毕后，可以分别访问NameNode管理页面查看当前NameNode的状态，http://192.168.1.80:50070、http://192.168.1.81:50070。

*可以查看到主机名为hadoop1的NamNode其状态为StandBy，而主机名为hadoop2的NameNode其状态为Active。

8.模拟NameNode宕机，手动杀死进程。

此时访问NameNode管理页面，可见主机名为hadoop1的NameNode其状态从原本的StandBy切换成Active。

2.3 JAVA操作HDFS HA集群

*由于在HDFS HA集群中存在两个NameNode，且服务端暴露的是NameService，因此在通过JAVA连接HDFS HA集群时需要使用Configuration实例进行相关的配置。

/**
 * @Auther: ZHUANGHAOTANG
 * @Date: 2018/11/6 11:49
 * @Description:
 */
public class HDFSUtils {

    /**
     * HDFS NamenNode URL
     */
    private static final String NAMENODE_URL = "hdfs://mycluster:8020";

    /**
     * 配置项
     */
    private static Configuration conf = null;

    static {
        conf = new Configuration();
        //指定默认连接的NameNode,使用NameService的名称
        conf.set("fs.defaultFS", "hdfs://mycluster");
        //指定NameService的名称
        conf.set("dfs.nameservices", "mycluster");
        //指定NameService下的NameNode列表
        conf.set("dfs.ha.namenodes.mycluster", "nn1,nn2");
        //分别指定NameNode的RPC通讯地址
        conf.set("dfs.namenode.rpc-address.mycluster.nn1", "hadoop1:8020");
        conf.set("dfs.namenode.rpc-address.mycluster.nn2", "hadoop2:8020");
        //配置NameNode失败自动切换的方式
        conf.set("dfs.client.failover.proxy.provider.mycluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
    }

    /**
     * 创建目录
     */
    public static void mkdir(String dir) throws Exception {
        if (StringUtils.isBlank(dir)) {
            throw new Exception("Parameter Is NULL");
        }
        dir = NAMENODE_URL + dir;
        FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
        if (!fs.exists(new Path(dir))) {
            fs.mkdirs(new Path(dir));
        }
        fs.close();
    }

    /**
     * 删除目录或文件
     */
    public static void delete(String dir) throws Exception {
        if (StringUtils.isBlank(dir)) {
            throw new Exception("Parameter Is NULL");
        }
        dir = NAMENODE_URL + dir;
        FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
        fs.delete(new Path(dir), true);
        fs.close();
    }


    /**
     * 遍历指定路径下的目录和文件
     */
    public static List<String> listAll(String dir) throws Exception {
        List<String> names = new ArrayList<>();
        if (StringUtils.isBlank(dir)) {
            throw new Exception("Parameter Is NULL");
        }
        dir = NAMENODE_URL + dir;
        FileSystem fs = FileSystem.get(URI.create(dir), conf);
        FileStatus[] files = fs.listStatus(new Path(dir));
        for (int i = 0, len = files.length; i < len; i++) {
            if (files[i].isFile()) { //文件
                names.add(files[i].getPath().toString());
            } else if (files[i].isDirectory()) { //目录
                names.add(files[i].getPath().toString());
            } else if (files[i].isSymlink()) { //软或硬链接
                names.add(files[i].getPath().toString());
            }
        }
        fs.close();
        return names;
    }


    /**
     * 上传当前服务器的文件到HDFS中
     */
    public static void uploadLocalFileToHDFS(String localFile, String hdfsFile) throws Exception {
        if (StringUtils.isBlank(localFile) || StringUtils.isBlank(hdfsFile)) {
            throw new Exception("Parameter Is NULL");
        }
        hdfsFile = NAMENODE_URL + hdfsFile;
        FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
        Path src = new Path(localFile);
        Path dst = new Path(hdfsFile);
        fs.copyFromLocalFile(src, dst);
        fs.close();
    }


    /**
     * 通过流上传文件
     */
    public static void uploadFile(String hdfsPath, InputStream inputStream) throws Exception {
        if (StringUtils.isBlank(hdfsPath)) {
            throw new Exception("Parameter Is NULL");
        }
        hdfsPath = NAMENODE_URL + hdfsPath;
        FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
        FSDataOutputStream os = fs.create(new Path(hdfsPath));
        BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream);
        byte[] data = new byte[1024];
        while (bufferedInputStream.read(data) != -1) {
            os.write(data);
        }
        os.close();
        fs.close();
    }


    /**
     * 从HDFS中下载文件
     */
    public static byte[] readFile(String hdfsFile) throws Exception {
        if (StringUtils.isBlank(hdfsFile)) {
            throw new Exception("Parameter Is NULL");
        }
        hdfsFile = NAMENODE_URL + hdfsFile;
        FileSystem fs = FileSystem.get(URI.create(NAMENODE_URL), conf);
        Path path = new Path(hdfsFile);
        if (fs.exists(path)) {
            FSDataInputStream is = fs.open(path);
            FileStatus stat = fs.getFileStatus(path);
            byte[] data = new byte[(int) stat.getLen()];
            is.readFully(0, data);
            is.close();
            fs.close();
            return data;
        } else {
            throw new Exception("File Not Found In HDFS");
        }
    }


}

3.YARN HA集群

3.1 模型

*启动两个ResourceManager后分别向Zookeeper注册，通过Zookeeper管理他们的状态，一旦状态为Active的ResourceManager无法正常提供服务，Zookeeper将会立即将状态为StandBy的ResourceManager切换为Active。

3.2 YARN HA高可用集群搭建

1.配置YARN（yarn-site.xml）

<configuration> 
  <!-- 配置Reduce取数据的方式是shuffle(随机) -->  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <!-- 开启日志 -->  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value> 
  </property>  
  <!-- 设置日志的删除时间 -1:禁用,单位为秒 -->  
  <property> 
    <name>yarn.log-aggregation。retain-seconds</name>  
    <value>864000</value> 
  </property>  
  <!-- 设置yarn的内存大小,单位是MB -->  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <value>8192</value> 
  </property>  
  <!-- 设置yarn的CPU核数 -->  
  <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name>  
    <value>8</value> 
  </property>
  <!-- YARN HA配置 -->  
  <!-- 开启yarn ha -->  
  <property> 
    <name>yarn.resourcemanager.ha.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- 指定yarn ha的名称 -->  
  <property> 
    <name>yarn.resourcemanager.cluster-id</name>  
    <value>cluster1</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的名称 -->  
  <property> 
    <name>yarn.resourcemanager.ha.rm-ids</name>  
    <value>rm1,rm2</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的地址 -->  
  <property> 
    <name>yarn.resourcemanager.hostname.rm1</name>  
    <value>192.168.1.80</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.hostname.rm2</name>  
    <value>192.168.1.81</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的Web访问地址 -->  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name>  
    <value>192.168.1.80:8088</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name>  
    <value>192.168.1.81:8088</value> 
  </property>  
  <!-- 配置使用的Zookeeper集群 -->  
  <property> 
    <name>yarn.resourcemanager.zk-address</name>  
    <value>192.168.1.80:2181,192.168.1.81:2181,192.168.1.82:2181</value> 
  </property>  
  <!-- ResourceManager Restart配置 -->  
  <!-- 启用ResourceManager的restart功能,当ResourceManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  <property> 
    <name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- ResourceManager Restart使用的存储方式(实现类) -->  
  <property> 
    <name>yarn.resourcemanager.store.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
  </property>  
  <!-- ResourceManager重启时数据保存在Zookeeper中的目录 -->  
  <property> 
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>  
    <value>/rmstore</value> 
  </property>  
  <!-- NodeManager Restart配置 -->  
  <!-- 启用NodeManager的restart功能,当NodeManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  <property> 
    <name>yarn.nodemanager.recovery.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- NodeManager重启时数据保存在本地的目录 -->  
  <property> 
    <name>yarn.nodemanager.recovery.dir</name>  
    <value>/usr/hadoop/hadoop-2.9.0/data/rsnodemanager</value> 
  </property>  
  <!-- 配置NodeManager的RPC通讯端口 -->  
  <property> 
    <name>yarn.nodemanager.address</name>  
    <value>0.0.0.0:45454</value> 
  </property> 
</configuration>

ResourceManager Restart使用的存储方式(实现类)

1.ResourceManager运行时的数据保存在ZK中：org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

2.ResourceManager运行时的数据保存在HDFS中：org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore

3.ResourceManager运行时的数据保存在本地：org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore

*使用不同的存储方式将需要额外的配置项，可参考官网，http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

2.启动YARN HA高可用集群

1.在ResourceManager所在节点中启动YARN集群

2.手动启动另一个ResourceManager

*当启动YARN HA集群后，可以分别访问ResourceManager管理页面，http://192.168.1.80:8088、http://192.168.1.81:8088。

访问状态为StandBy的ResourceManager时，会将请求重定向到状态为Active的ResourceManager的管理页面。

3.模拟ResourceManager宕机，手动杀死进程

*Zookeeper在一定时间内无法接收到状态为Active的ResourceManager发送的心跳时，将会立即将状态为StandBy的ResourceManager切换为Active。

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：java关于字符串是否存

下一篇：JAVA WEB快速入门之从编写一个JSP WEB网站了解JSP WEB网站的基本

架构调优之如何压缩整合hadoop，本文详解 2020-05-23
idea2020.1最新版永久破解/pycharm也可用 2020-04-15
这就是大名鼎鼎的Netty, Hadoop、Dubbo都用了 2020-04-02
LeetCode 999. 车的可用捕获量 2020-03-26
亲测可用！在线购书系统项目分享(Java) 2020-02-01

IDC资讯：主机资讯注册资讯托管资讯 vps资讯网站建设

网站运营：建站经验策划盈利搜索优化网站推广免费资源

网站联盟：联盟新闻联盟介绍联盟点评网赚技巧

行业资讯：搜索引擎网络游戏电子商务广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器安全防护

软件技巧：其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识：网络协议网络安全网络管理组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条

最新资讯

热门关注

热门标签