配置Hadoop2.xx的高可用(Hadoop2.0 HA)

    xiaoxiao2025-05-18  6

    配置Hadoop2.xx的高可用(Hadoop2.0 HA)

    在Hadoop2.0以前,由于只有一个NameNode,存在单点故障的问题;在Hadoop2.0中的HA解决了该问题。hadoop2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态,另一个处于随时待命状态。这样,当一个NameNode所在的服务器宕机时,可以在数据不丢失的情况下,手工或者自动切换到另一个NameNode提供服务。 

    本文主要说明Hadoop的HA的配置。

    前提

    1、zookeeper集群配置

    zookeeper的配置相对简单,当有点需要说明:集群个数最好为单数台,不然无法选出leader,若你的集群中有偶数台服务器,那么有一台就不配置zookeeper即可。

    2、配置Hadoop的HA

    关于准备工作请参考我的博文:Hadoop2.7.2完全分布式配置。

    配置core-site.xml文件

    <configuration> 

    <!-- 指定hdfs的nameservices名称为mycluster,与hdfs-site.xml的HA配置相同 -->  

    <property>  

    <name>fs.defaultFS</name>  

    <value>hdfs://mycluster</value>  

    </property>  

     <!-- 指定缓存文件存储的路径 -->  

     <property>  

    <name>hadoop.tmp.dir</name>  

    <value>/home/hadoop/hadoop-2.7.2/data/tmp</value>  

    </property>  

    <!-- 配置hdfs文件被永久删除前保留的时间(单位:分钟),默认值为0表明垃圾回收站功能关闭 -->  

    <property>  

     <name>fs.trash.interval</name>  

     <value>1440</value>  

    </property>  

    <!-- 指定zookeeper地址,配置HA时需要 -->  

    <property>  

     <name>ha.zookeeper.quorum</name>  

     <value>slave1:2181,slave2:2181, slave3:2181,master1:2181, master2:2181</value>  

    </property>

    </configuration> 

     配置hdfs-site.xml文件

    <configuration>  

    <!— 指定hdfs元数据存储的路径 -->  

    <property>  

     <name>dfs.namenode.name.dir</name>  

     <value>/home/hadoop/hadoop-2.7.2/data/namenode</value>  

    </property> 

    <!-- 指定hdfs数据存储的路径 -->  

    <property>  

    <name>dfs.datanode.data.dir</name>  

    <value>/home/hadoop/hadoop-2.7.2/data/datanode</value>  

    </property>  

    <!-- 数据备份的个数 -->  

    <property>  

    <name>dfs.replication</name>  

    <value>3</value>  

    </property>  

    <!-- 关闭权限验证 -->  

    <property>  

    <name>dfs.permissions.enabled</name>  

    <value>false</value>  

    </property>  

    <!-- 开启WebHDFS功能(基于REST的接口服务) -->  

    <property>  

     <name>dfs.webhdfs.enabled</name>  

     <value>true</value>  

    </property>  

    <!-- 以下为HDFS HA部分的配置 -->  

    <!-- 指定hdfs的nameservices名称为mycluster -->  

    <property>  

      <name>dfs.nameservices</name>  

      <value>mycluster</value>  

    </property>  

    <!-- 指定mycluster的两个namenode的名称分别为nn1,nn2 -->  

    <property>  

      <name>dfs.ha.namenodes.mycluster</name>  

      <value>nn1,nn2</value>  

    </property>  

    <!-- 配置nn1,nn2的rpc通信端口 -->  

    <property>  

      <name>dfs.namenode.rpc-address.mycluster.nn1</name>  

      <value>master1:8020</value>  

    </property>  

    <property>  

      <name>dfs.namenode.rpc-address.mycluster.nn2</name>  

      <value>master2:8020</value>  

    </property>  

    <!-- 配置nn1,nn2的http通信端口 -->  

       <property>  

     <name>dfs.namenode.http-address.mycluster.nn1</name>  

     <value>master1:50070</value>  

    </property>  

    <property>  

     <name>dfs.namenode.http-address.mycluster.nn2</name>  

     <value>master2:50070</value>  

    </property>  

    <!-- 指定namenode元数据存储在journalnode中的路径 -->  

    <property>  

     <name>dfs.namenode.shared.edits.dir</name>  

     <value>qjournal://slave1:8485;slave2:8485;slave3:8485/mycluster</value>  

    </property>  

    <!-- 指定journalnode日志文件存储的路径 -->  

    <property>  

     <name>dfs.journalnode.edits.dir</name>  

     <value> /home/hadoop/hadoop-2.7.2/data/journal</value>  

    </property>  

    <!-- 指定HDFS客户端连接active namenode的java类 -->  

    <property>  

     <name>dfs.client.failover.proxy.provider.mycluster</name>  

    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  

    </property>  

    <!-- 配置隔离机制为ssh -->  

    <property>  

     <name>dfs.ha.fencing.methods</name>  

     <value>sshfence</value>  

    </property>  

    <!-- 指定秘钥的位置 -->  

    <property>  

     <name>dfs.ha.fencing.ssh.private-key-files</name>  

     <value>/home/hadoop/.ssh/id_rsa</value>  

    </property>  

    <!-- 开启自动故障转移 -->  

    <property>  

     <name>dfs.ha.automatic-failover.enabled</name>  

     <value>true</value>  

    </property>  

    </configuration> 

    配置mapred-site.xml文件

    <configuration>  

    <!-- 指定MapReduce计算框架使用YARN -->  

    <property>  

    <name>mapreduce.framework.name</name>  

    <value>yarn</value>  

    </property>  

    <!-- 指定jobhistory server的rpc地址 -->  

    <property>  

    <name>mapreduce.jobhistory.address</name>  

    <value>hadoop-master1:10020</value>  

    </property>    

    <!-- 指定jobhistory server的http地址 -->  

    <property>  

    <name>mapreduce.jobhistory.webapp.address</name>  

    <value>hadoop-master1:19888</value>  

    </property>  

    <!-- 开启uber模式(针对小作业的优化) -->  

    <property>  

    <name>mapreduce.job.ubertask.enable</name>  

    <value>true</value>  

    </property>  

    <!-- 配置启动uber模式的最大map数 -->  

    <property>  

    <name>mapreduce.job.ubertask.maxmaps</name>  

    <value>9</value>  

    </property>  

    <!-- 配置启动uber模式的最大reduce数 -->  

    <property>  

    <name>mapreduce.job.ubertask.maxreduces</name>  

    <value>3</value>  

    </property>  

    </configuration>

    配置yarn-site.xml文件

    <configuration>  

    <!-- NodeManager上运行的附属服务,需配置成mapreduce_shuffle才可运行MapReduce程序 -->  

    <property>  

        <name>yarn.nodemanager.aux-services</name>  

        <value>mapreduce_shuffle</value>  

    </property>     

    <!-- 配置Web Application Proxy安全代理(防止yarn被攻击) -->  

    <property>  

        <name>yarn.web-proxy.address</name>  

        <value>hadoop-master2:8888</value>  

    </property>  

    <!-- 开启日志 -->  

    <property>  

        <name>yarn.log-aggregation-enable</name>  

        <value>true</value>  

    </property>  

    <!-- 配置日志删除时间为7天,-1为禁用,单位为秒 -->  

    <property>  

        <name>yarn.log-aggregation.retain-seconds</name>  

        <value>604800</value>  

    </property>  

    <!-- 修改日志目录 -->  

    <property>  

        <name>yarn.nodemanager.remote-app-log-dir</name>  

        <value>/logs</value>  

    </property>  

    <!-- 配置nodemanager可用的资源内存 -->  

    <property>  

        <name>yarn.nodemanager.resource.memory-mb</name>  

        <value>2048</value>  

    </property>  

    <!-- 配置nodemanager可用的资源CPU -->  

    <property>  

        <name>yarn.nodemanager.resource.cpu-vcores</name>  

        <value>2</value>  

    </property>  

    <!-- 以下为YARN HA的配置 -->  

    <!-- 开启YARN HA -->  

    <property>  

        <name>yarn.resourcemanager.ha.enabled</name>  

        <value>true</value>  

    </property>  

    <!-- 启用自动故障转移 -->  

    <property>  

        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  

        <value>true</value>  

    </property>  

    <!-- 指定YARN HA的名称 -->  

    <property>  

        <name>yarn.resourcemanager.cluster-id</name>  

        <value>yarncluster</value>  

    </property>  

    <!-- 指定两个resourcemanager的名称 -->  

    <property>  

        <name>yarn.resourcemanager.ha.rm-ids</name>  

        <value>rm1,rm2</value>  

    </property>     

    <!-- 配置rm1,rm2的主机 -->  

    <property>  

        <name>yarn.resourcemanager.hostname.rm1</name>  

        <value>master1</value>  

    </property>  

    <property>  

        <name>yarn.resourcemanager.hostname.rm2</name>  

        <value>master2</value>  

    </property>  

    <!-- 配置YARN的http端口 -->  

    <property>  

        <name>yarn.resourcemanager.webapp.address.rm1</name>  

        <value>master1:8088</value>  

    </property>   

    <property>  

        <name>yarn.resourcemanager.webapp.address.rm2</name>  

        <value>master2:8088</value>  

    </property>  

    <!-- 配置zookeeper的地址 -->  

    <property>  

        <name>yarn.resourcemanager.zk-address</name>  

        <value>slave1:2181,slave2:2181,slave3:2181</value>  

    </property>  

    <!-- 配置zookeeper的存储位置 -->  

    <property>  

        <name>yarn.resourcemanager.zk-state-store.parent-path</name>  

        <value>/rmstore</value>  

    </property>  

    <!-- 开启yarn resourcemanager restart -->  

    <property>  

        <name>yarn.resourcemanager.recovery.enabled</name>  

        <value>true</value>  

    </property>  

    <!-- 配置resourcemanager的状态存储到zookeeper中 -->  

    <property>  

    <name>yarn.resourcemanager.store.class</name>      

    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  

    </property>  

    <!-- 开启yarn nodemanager restart -->  

    <property>  

        <name>yarn.nodemanager.recovery.enabled</name>  

        <value>true</value>  

    </property>  

    <!-- 配置nodemanager IPC的通信端口 -->  

    <property>  

        <name>yarn.nodemanager.address</name>  

        <value>0.0.0.0:45454</value>  

    </property>  

    </configuration>

    配置slaves文件

    $ vim slaves

    slave1

    slave2

    slave3

    修改hadoop-env.sh文件及yarn-env.sh

    $ cd/home/hadoop/hadoop-2.7.2/etc/hadoop

    $ vim hadoop-env.sh(yarn-env.sh)

    exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79

    转载请注明原文地址: https://ju.6miu.com/read-1299015.html
    最新回复(0)