新手上路——hadoop2.7.3伪分布式模式环境搭建

    xiaoxiao2021-03-26  29

    创建文件夹 在/usr/lib/hadoop目录下创建文件夹

    mkdir tmp mkdir hdfs mkdir hdfs/name mkdir hdfs/data

    修改配置文件 配置文件都在安装目录的etc/hadoop下,修改hadoop-env.sh,添加JAVA_HOME环境变量

    export JAVA_HOME=/usr/lib/java/jdk1.8.0_121

    在配置文件中找到三个xml文件: core-site.xml: hadoop core的配置项,例如HDFS和MAPREDUCE常用的I/O设置等。 hdfs-site.xml: hadoop守护进程的配置项,包括namenode, secondarynamenode 和datanode等。 mapred-site.xml.templates: Mapreduce守护进程配置项,包括jobtracker和tasktracker.

    修改core-site.xml

    修改hdfs-site.xml文件:

    修改mapred-site.xml.templates文件:

    启动伪分布式模式 第一次启动都要格式化数据文件,命令:

    hadoop@ubuntu:~$ hadoop namenode -format

    出现以下信息说明格式化成功:

    启动hadoop命令,新版的hadoop start-all.sh文件在sbin目录下

    ./sbin/start-all.sh

    查看守护进程情况,执行jps命令,但是我在执行的时候发现command not found,查找原因之后发现英爱编剧/etc/profile文件,加入java的PATH环境变量

    export PATH=$JAVA_HOME/bin:$PATH source /etc/profile

    然后执行JPS命令

    表示启动成功

    web访问端口

    NamNode 50070 ResourceManager 8088 访问http://localhost:8088

    访问http://localhost:50070

    遇到的问题备注 前一天搭建单机模式的时候,hadoop安装完毕,执行hadoop version 命令是可以看到hadoop版本信息的,但是今天突然看不到了,网上给的解决方案是: 编辑~/.bashrc文件,添加

    export PATH=$PATH:/usr/lib/hadoop/bin/
    转载请注明原文地址: https://ju.6miu.com/read-662691.html

    最新回复(0)