centos7环境下hadoop-2.7.3伪分布式搭建

    xiaoxiao2021-03-25  57

    centos7环境下hadoop-2.7.3伪分布式搭建

    ##1、 修改主机名称 ##

    ###永久生效 hostnamectl set-hostname hadoop01

    2、下载解压##

    将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下

    3、修改配置

    首先切换目录到/usr/local/hadoop-2.7.3/etc/hadoop下

    cd /usr/local/hadoop-2.7.3/etc/hadoop 修改hadoop-env.sh中的JAVA_HOME为 export JAVA_HOME=/usr/local/jdk1.8.0_111 修改core-site.xml

    在configuration标签中添加如下属性

    <configuration> <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.7.3/data</value> </property> </configuration> 修改hdfs-site.xml 在configuration标签中添加如下属性 <configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 修改mapred-site.xml 在configuration标签中添加如下属性 <configuration> <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 修改yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--使能够通过windows访问8088端口--> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.1.105:8088</value> </property> </configuration> 添加hadoop环境变量 #hadoop start export HADOOP_INSTALL=/usr/local/hadoop-2.7.3 export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin #hadoop end

    执行 hadoop version命令,则可看到当前hadoop的版本

    启动hadoop

    首先格式化 执行hdfs namenode -format命令

    启动hdfs

    start-dfs.sh

    在浏览器输入地址 http://192.168.1.105:50070访问hdfs

    启动yarn start-yarn.sh

    在浏览器输入地址http://192.168.1.105:8088/cluster

    问题记录

    由于虚拟机后来变了ip地址yarn访问不了 解决方法:将yarn-site的ip地址改为新的ip地址192.168.0.106 重新启动yarn仍然不能访问 查询端口,发现端口还在被原来的连接占用,kill掉 重新启动yarn,端口就启动连到新的ip上了,yarn管理页面也可访问了
    转载请注明原文地址: https://ju.6miu.com/read-36579.html

    最新回复(0)