hadoop 1.2.0集群搭建

修改网卡的名称：cd /etc/udev/rules.d/  vim 70-persistent-net.rules  Hadoop1.2.0集群搭建 目标 : 一台master(实现NameNode Jobtracker)，两台slave(实现DataNode taskTracker)集群环境准备 安装ssh软件。(yum install ssh\* -y )实现每个机器的名称管理（主机名 对应IP）。生产环境中采用DNS来完成。测试环境可以采用修改本地hosts文件。配置完成执行scp /etc/hosts slave1:/ect/hosts;scp /etc/host slave2:/etc/hosts ；scp /etc/host master:/etc/hosts 。到此每个机器上都有了各台机器的名称(包括自己)。实现免密登录 每个机器上执行ssh-keygen -t rsa，产生自己的公钥和私钥。为了实现master管控其他机器。master必须要实时登录其他机器，因此要实现master免密登录其他机器。故在master机器上执行ssh-copy-id slave1、ssh-copy-id slave2 、还有master自己ssh-copy-id master。至此master实现ssh免密登录。 安装指定java(hadoop 1.x 使用JDK6) 将解压后的文件拷贝到 /usr/java 目录中。(保证原有的java已经卸载)配置环境变量 vim /etc/profile  export JAVA_HOME=/usr/java  export PATH=$JAVA_HOME/bin:$PATH 复制Hadoop1.2.0解压文件到/bigdata/hadoop-1.2.0/ 修改 /bigdata/hadoop1.2.0/conf/下的指定文件： hadoop-env.sh 去除export JAVA_HOME 的注释。将新的java路径写到等号有右边。 core-site.xml 在<configuration></configuration> hdfs.site.xml maperd.site.xml 修改master文件中为：master 指定NameNode 和jobtracker在master机器上修改slaves文件中为：slave1 slave2 配置hadoop环境变量 vim /etc/profile  在下面加入source /etc/profile使得文件生效。 分发安装环境环境到集群其他节点 分发java环境 在master上执行：scp -r /usr/java root@slave1:/usr/java 在master上执行：scp /etc/profile slave1:/etc/profile 针对slave2执行相同操作！！！ 分发hadoop环境到集群其他节点上。 在master上执行：scp -r /bigdata slave1:/bigdata(分发的时候将整个hadoop文件copy过去，保证master与slave相同，尤其是其中的conf文件夹)。 在master上执行：ssh slave1 /etc/profile slave2执行与上相同操作 格式化Namen， master 上执行：hadoop namenode -formatstart-all.sh启动hadoop。如果没有配置免密登录。需要我们多次输入密码。启动状态 master  slave        特别注意要放开防火墙，关闭SELinux(如何关闭SELinux自行百度)。