hadoop集群搭建过程-简版

ubuntu 12.04 hadoop 2.x

网络配置

配置静态ip /etc/network/interfaces修改机器名称，即DNS服务器信息 /etc/hosts

以上的目的是使用ping 机器名称 可以通

SSH无密码配置

NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的

原理是：master 上生成一个密钥对，将公钥拷贝到slave, 当master请求给slave时，slave会生成一个随机数，并使用公钥对随机数进行加密再发送给master，然后master使用私钥对其解密，然后把解密结果发给slave，slave确认无误时就可以连接了

命令：ssh-keygen –t rsa –P '' cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys

ssh设置 启动 ssh验证 /etc/ssh/sshd_config

最后一步,拷贝id_rsa.pub 到slave 这样就可以ssh ip/机器名远程登陆机器了

安装jdk

安装hadoop

接下来是hadoop的配置了。

hadoop-env.sh 配置java home core-site.xml 临时目录 hdfs端口号 hdfs-site.xml hdfs备份方式 mapred-site.xml jobtracker的地址和端口

masters文件 填入master机器ip即可 slaves文件 master机器特有。填入所有slave机器ip

启动验证

hadoop namenode -format 一次即可，格式化的结果在core-site.xml临时文件中 start-all.sh jps master namenode secondenamenode jobtracker slave datanode tasktracker 这样就表示成功了。