1 安装的主要环境
OS：Centos 7 64-bit
Hadoop version:2.6.0
Java:Jdk1.7.0_75
1.1 首先安装编译和安装过程所需要的所有依赖程序包：
sudo yum install autoconfautomake libtool cmake ncurses-devel gcc* openssl-devel
注意：更新过程中，若发现速度慢，则进行源更换，换个镜像下载。
1.2 Java环境配置：
l Jdk下载地址：
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
l 在/usr/下新建java文件夹，将下载好的压缩文件移动到/usr/java/文件夹中并解压：
sudo mkdir/usr/java
sudo mv jdk-7u79-linux-x64.tar.gz/usr /java/
sudo tar –zxvf jdk-7u79-linux-x64.tar.gz
l 修改~/.bashrc，配置java环境变量
vim ~/.bashrc
（文件末尾加入以下四行）
exportJAVA_HOME=/usr /java/jdk1.7.0_79
exportJRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
exportPATH=${JAVA_HOME}/bin:$PATH
l 使环境变量生效
source ~/.bashrc
l 检查一下是否配置成功
java –version
1.3 protobuf安装配置
l protobuf下载地址：
https://code.google.com/p/protobuf/downloads/list
l 在/usr/下新建protobuf文件夹，将下载好的压缩文件移动到/usr/protobuf/文件夹中并解压，然后编译安装：
sudo mkdir /usr/ protobuf
sudo mv protobuf-2.5.0.tar.gz /usr / protobuf /
tar -zxvfprotobuf-2.5.0.tar.gz
l 进入到protobuf的安装目录/usr/protobuf/protobuf-2.5.0
cd /usr/protobuf/ protobuf-2.5.0
./configure --prefix=/usr/（--prefix=/usr/这部分可以不写，直接执行./configure即可）
sudo make
sudo make check
sudo make install
l 检查是否安装成功：
protoc --version
1.4 ant安装配置
l 在/usr/下新建ant文件夹，将下载好的压缩文件移动到/usr/ant/文件夹中并解压,然后编译安装：
sudo mkdir /usr/ ant
sudo mv apache-ant-1.9.5-bin.tar.gz /usr / ant /
tar -zxvf apache-ant-1.9.5-bin.tar.gz
l 修改~/.bashrc，配置ant环境变量
vim ~/.bashrc
（文件末尾加入一行）
expoet ANT_HOME= /usr/ant/apache-ant-1.9.5
1.5 findbugs安装配置
l 在/usr/下新建findbugs文件夹，将下载好的压缩文件移动到/usr/ findbugs /文件夹中并解压,然后编译安装：
sudo mkdir /usr/ findbugs
sudo mv findbugs-3.0.1.tar.gz /usr / findbugs /
tar -zxvf findbugs-3.0.1.tar.gz
l 修改~/.bashrc，配置ant环境变量
vim ~/.bashrc
（文件末尾加入一行）
expoetFINDBUGS_HOME= /usr/findbugs/ findbugs -3.0.1
1.6 maven安装配置
l 在/usr/下新建maven文件夹，将下载好的压缩文件移动到/usr/ maven/文件夹中并解压,然后编译安装：
sudo mkdir /usr/ maven
sudo mv apache-maven-3.3.3-bin.tar.gz /usr / maven/
tar -zxvf apache-maven-3.3.3-bin.tar.gz
l 修改~/.bashrc，配置java环境变量
vim ~/.bashrc
（文件末尾加入一行）
expoet MAVEN_HOME=/usr/maven/ apache-maven -3.3.3
l 最后在~/.bashrc文件末尾加上一行
exportPATH=$JAVA_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$PATH
l 使环境变量生效
source ~/.bashrc
注意：完成这一部分之后，若是在虚拟机中安装，可以将这台机器关闭，复制整台机器到其他服务器上，并在其他服务器中的虚拟机中打开。
2配置网络环境及ssh免密安装配置
假设服务器设备如下：（每台机器都可以连接外网，进行通信）
hostname
IP
作用
master
125.216.242.200
NameNode、ResourceManager
slave1
125.216.242.202
DataNode、NodeManager
slave2
125.216.242.203
DataNode、NodeManager
2.1. 配置网络环境
l 修改hostname：
sudo vim/etc/hostname
l 三台服务器修改成对应的hostname后保存文件。
具体如下图:
master机器上：
slave1机器上：
slave2机器上：
l 修改hosts：
sudo vim /etc/hosts
将其中内容全部删掉，然后在文件中加入以下三行：
125.216.242.200master
125.216.242.202slave1
125.216.242.203slave2
（三台服务器均需配置。）
2.2. SSH免密安装配置
l 在三台服务器中执行：
ssh-keygen –t rsa –P‘’
l 查看~/.ssh权限
ls –al ~
l 若为700，则不做任何操作，否则执行
sudo chmod 700 ~/.ssh
l 进入到.ssh目录
cd ~/.ssh
sudo chmod 600 authorized_keys
l 在master中执行：
scp id_rsa.pub hadoop@slave1:~/.ssh/key_from_master（其中hadoop是用户名）
scp id_rsa.pub hadoop@slave2:~/.ssh/key_from_master
l 在slave1和slave2中执行：
catkey_from_master >> authorized_keys
rm key_from_master
以上步骤实现了数据节点（slave1、slave2）单向免密登录主节点（master），但主节点（master）并不能免密登录数据节点（slave1、slave2）
l 在slave1执行：
scp id_rsa.pub hadoop@slave1:~/.ssh/key_from_slave1
l 在slave2中执行：
scp id_rsa.pub hadoop@slave1:~/.ssh/key_from_slave2
l 在master中执行：
cat key_from_ slave1>>authorized_keys
cat key_from_ slave2>>authorized_keys
rm key_from_ slave1
rm key_from_ slave2
这样就实现了主节点和数据节点双向通信了。
注意：若上述操作后，主节点和数据节点还是不能免密连接时，如下图：
则在所有机器中使用命令：ssh-add，即可成功免密通信。
3 hadoop-2.6.0安装配置
3.1安装hadoop
l 将下载好的压缩文件hadoop-2.6.0.tar.gz移动到用户的主目录/home/hadoop下并解压,然后编译安装：
mv hadoop-2.6.0.tar.gz /home/hadoop
tar –zxvf hadoop-2.6.0.tar.gz
l 修改~/.bashrc，配置hadoop环境变量
vim ~/.bashrc
（文件末尾加入以下6行）
exportHADOOP_HOME=/home/hadoop/hadoop-2.6.0
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
exportHADOOP_LOG_DIR=$HADOOP_HOME/logs
exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
exportHDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
exportYARN_CONF_DIR=$HADOOP_HOME/etc/Hadoop
如下图：
l 使环境变量生效
source ~/.bashrc
3.2配置hadoop
l 进入hadoop的配置目录
cd ~/hadoop-2.6.0/etc/hadoop/ （其中~表示当前用户主目录，即：/home/hadoop）
l 修改上图中红色方框中的core-site.xml：
vim core-site.xml
内容如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master0:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop-2.6.0/tmp</value>
<description>Abase for othertemporary directories.</description>
</property>
</configuration>
l 修改上图中红色方框中的hdfs-site.xml：
vim hdfs-site.xml
内容如下：
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hdfs/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hdfs/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
l 将上图红色方框中mapred-site.xml.template文件一份复制为mapred-site.xml
cp mapred-site.xml.templatemapred-site.xml
修改mapred-site.xml：
vim mapred-site.xml
内容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
l 修改上图中红色方框中的yarn-site.xml：
vim yarn-site.xml
内容如下：
erty>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
l 修改上图中红色方框中的yarn-env.sh：
vim yarn-env.sh
在文件开头添加如下一行内容：
exportJAVA_HOME=/usr /java/jdk1.7.0_79
l 修改上图中红色方框中的slaves：
vim slaves
内容如下：
slave1
slave2
l 三台服务器的hadoop配置是一样的，所以可以先将编译输出安装到其中一台服务器，然后配置好所有配置文件，然后再将整个hadoop目录复制安装到其他服务器中。
如在master中完成配置后：
scp -r/home/hadoop/hadoop-2.6.0 slave1:/home/hadoop/hadoop-2.6.0
scp -r/home/hadoop/hadoop-2.6.0 slave2:/home/hadoop/hadoop-2.6.0
注意：传输完成后，必须手动创建临时目录（/home/hadoop/hadoop-2.6.0/tmp/）、主节点目录（/home/hadoop/hdfs/dfs/name/）和数据节点目录（/home/hadoop/hdfs/dfs/data/）
4.启动hadoop
l 格式化主节点（只执行一次）
hadoop namenode-format
l 在master中执行：
start-dfs.sh
start-yarn.sh
l 用jps命令查看Java进程。
master中应有：
NameNode
SecondaryNameNode
ResourceManager
slave1和slave2中应有：
NodeManager
DataNode
l 浏览器中查看集群状态：
查看HDFS：http://125.216.242.200:50070
查看YARN：http://125.216.242.200:8088
