从0开始搭建hadoop2.X.X集群环境

硬件：vmware10.0.7 软件： ①安装centos系统，我这里安装的是7 hadoop2.5.2 jdk1.8.X ②配置ip 配置ip前先给贴下vmware 的设置 vmware【编辑】->【虚拟网络编辑器】 虚拟机设置 这样就能使本地机器和虚拟机上的集群处于一个局域网 ③将第一步的centos复制2份，并在虚拟机中打开，启动 ④分别配置ip 第一句命令是想看看网卡是那一个，发现是eno16777736 第二句命令是配置ip sudo ip addr add 192.168.141.50/24 dev eno16777736 第三句ping命令是看看是否能ping通主机 按照这个方法再设置02,03两台虚拟机 确保互相能ping通后，就可以在xshell上操作了 配置静态ip 路径/etc/sysconfig/network-scripts 红色部分为添加或修改 做完后重启网络 systemctl restart network 出现的问题： 重启时报如下错误 Could not load file '/etc/sysconfig/network-scripts/ifcfg-lo 主要是另外两个centos是拷贝的，网卡地址没改，所以先用ip addr查看网卡地址，然后改上面那个图里的配置。 这里先配置一个分布式系统管理工具pssh，以后需要配置集群时尽量从工具开始 下载insecure_pssh-master.zip，本地解压并传到服务器上，我这里传到50这台服务器上， 参考 http://blog.csdn.net/newstruts/article/details/46424191 ⑤同步服务器时间 切换到root用户下，分别执行 yum -y install ntp ntpdate time.nist.gov systemctl enable ntpd systemctl ntpd start ⑤安装jdk 先下载jdk 传到50服务器上 解压 tar -zxvf jdk-8u121-linux-x64.gz 然后使用pssh传到 ./pscp -h hosts.txt ../jdk-8u121-linux-x64.gz  /home/zhang01/ 解压 ./pssh -h hosts.txt -P "tar -xvf jdk-8u121-linux-x64.gz" 分别配置环境变量 vi /etc/profile 添加内容 export JAVA_HOME=/home/zhang01/jdk1.8.0_121 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 保存。 source /etc/profile ⑥上传hadoop到50机器，并解压，使用pssh将hadoop再分别放到51,52机器上。 /home/zhang01/hadoop-2.5.2/etc/hadoop 需要配置的文件： 1，hadoop-env.sh 2，修改yarn-env.sh 3，配置core-site.xml 4，hdfs-site.xml（下图的value应该改成2） 5，yarn-site.xml 6,mapred-site.xml 复制 mapred-site-template.xml 文件 cp mapred-site.xml.template mapred-site.xml 编辑mapred-site.xml 在master节点上配置slaves 编辑slaves文件 配置hadoop启动环境变量（master和slave上都需要） vi ~/.bash_profile source ~/.bash_profile 创建数据目录（master和slave上都需要） kdir /home/zhang01/hadoopdata 启动hadoop集群 格式化hadoop（hadoop master节点） hdfs namenode -fromat 启动hadoop 执行sbin目录下的start-all.sh ssh localhost也要成功 报错 2017-03-06 20:41:05,306 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: zhang01/192.168.141.50:9000. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) master节点上有防火墙，关闭 sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service 启动集群/sbin/start-all.sh跑例子 hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10 发现一只hang在不动了，就是accepted状态

查了下这是因为node节点上没有配置RM的原因，

 

把crxy1 yarn-site.xml

 

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>crxy1</value>

 </property>

 

复制到nodeManager上，重启集群，执行hadoop jar，的mr任务执行成功！！！ http://zhouchaofei2010.iteye.com/blog/2116178