hadoop伪分布式环境搭建

    xiaoxiao2021-03-25  87

    hadoop的部署方式有三种:本地模式、伪分布模式、集群模式。本地模式是要求本地操作系统是linux系统,在本地直接进行hadoop的部署,这样部署出的hadoop开发环境是集主节点和从节点于一身的。这样不利于hadoop后续分布式的学习。通过创建虚拟机来搭建hadoop的部署环境,可以相继完成伪分布模式和集群模式。我用的虚拟机版本是VMware12,linux版本是CentOS。现把伪分布模式搭建流程做如下记录。

    hadoop伪分布式环境搭建遵循五个步骤:,

             关闭防火墙

              修改主机名

              设置SSH自动登录

              安装JDK

              安装hadoop

    1.      新建虚拟机,命名为hadoop0,密码是123456。如果本地电脑通过无线连接到网络,记得虚拟机连接网络方式设置为桥接

    2.      xShell或者secureCRT远程连接到三台服务器上,便于操作。本人使用的是xShell

    3.      通过用户名root身份连接到虚拟机上。

    4. 关闭防火墙:执行命令service iptables stop,验证防火墙是否关闭:service iptables status。当下次登录该系统,防火墙会自动打开。所以还要执行如下命令:chkconfig iptables off(关闭防火墙的自动运行),验证:chkconfig --list | grep iptables

    5. 修改主机名:修改hostname为 hadoop0。修改主机名配置文件:vi /etc/sysconfig/network 修改HOSTNAME=hadoop0。重启系统:reboot

    6.      将ip与hostname绑定:执行命令:vi /etc/hosts。增加行ip hostname。

    7.      设置SSH免密码登录:执行命令:

            1)ssh-keygen -t rsa

            2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys。

            3)验证:ssh hadoop0,这个时候如果不用设置密码就能登录到系统,说明免密码设置成功。

    8. 安装JDK:因为我用的hadoop版本是1.1.2的,这里用的jdk版本也只是jdk-6u24-linux-i586.bin。通过WinSCP远程连接到linux系统上,做所需jdk、hadoop上传,默认放到linux文件夹/usr/local下。现做执行命令操作:

           1)cd /usr/local

           2)chmod u+x jdk-6u24-linux-i586.bin 

           3)./jdk-6u24-linux-i586.bin

           4)mv jdk-1.6.0_24 jdk

           5)vi /etc/profile增加内容如下:

                  export JAVA_HOME=/usr/local/jdk

                  export PATH=.:$JAVA_HOME/bin/:$PATH如果缺少$PATH,系统会识别不出所有命令

           6)验证jdk是否安装成功:java -version

    9. 安装hadoop,执行如下命令:

           1)解压:tar -zxvf hadoop-1.1.2.tar.gz

           2)mv hadoop-1.1.2 hadoop

           3)vi /etc/profile 增加如下内容:

                export JAVA_HOME=/usr/local/jdk

                export HADOOP_HOME=/usr/local/hadoop

                             export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH              4)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml              5) 格式化namenode:hadoop namenode -format              6)启动hadoop:start-all.sh              7) 验证                        1)输入指令:jps,如果可以看到5个java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker,说明安装成功                        2)在浏览器查看http://hadoop0:50070   http://hadoop0:50030 至此,hadoop伪分布式部署成功。

        

    转载请注明原文地址: https://ju.6miu.com/read-38869.html

    最新回复(0)