HDFS集群的搭建（主备Master节点）
一前期准备
1 下载好安装文件：hadoop-2.5.2，jdk-1.7.0_79
2 准备好相应的硬件环境：
192.168.1.123 dmdb-23
192.168.1.124 dmdb-24
192.168.1.125 dmdb-25
192.168.1.126 dmdb-26
192.168.1.127 dmdb-27
192.168.1.128 dmdb-28
3 修改各台机器上的/etc/hosts文件，添加各个机器名字与IP地址之间的对应关系，相应的添加后的格式如下：
127.0.0.1 localhost
192.168.1.123 dmdb-23
192.168.1.124 dmdb-24
192.168.1.125 dmdb-25
192.168.1.126 dmdb-26
192.168.1.127 dmdb-27
192.168.1.128 dmdb-28
其他的几台机器也是如此配置，配置完之后，执行命令ping，看各台机器之后是否能够通信，例如：在dmdb-23上执行如下命令：
Pingdmdb-24
Ping dmdb-25
Ping dmdb-26
Ping dmdb-27
Ping dmdb-28
如果能够ping通，那么证明各台机器之间通信良好。
4 安装和配置JDK
(1) 加载jdk的jar文件，命令为tar -zxf jdk-1.7.0_79.tar.gz
(2) 将解压缩好的配置文件放到/usr/java目录下：
mv jdk-1.7.0_79 /usr/java
(3) 配置好jdk的环境变量，打开/etc/profile文件，在文件末尾添加如下代码：
export JAVA_HOME=/usr/java/jdk-1.7.0_79
export PATH=$PATH:${JAVA_HOME}/bin
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib
(4) 执行source /etc/profile使配置生效，并执行java-version，如果显示出java的版本信息，那么证明配置成功。
(5) 使用远程拷贝，如：scp -r jdk-1.7.0_79 dmdb-25:/usr/java/，将java环境拷贝到其他的机器上，并按照(3),(4) 使配置生效，并执行验证；
5 配置SSH，楼上机器已经配置好SSH，这里参照张锦林师兄的配置方法。
(1) 安装SSH，在RedHat使用命令：yuminstall openssh-server
(2) 在机器上调用SSH命令生成密钥对：ssh-keygen -r rsa；
那么就会在/home/.../.ssh下生成秘钥对：一个公钥id_rsa.pub，一个私钥id_rsa;
(3) 同目录下将公钥拷贝为authorzied_keys,命令为cp id_rsa.pub authorized_keys
(4) 这样机器就可以通过无密码登录验证: sshlocalhost，验证通过表明该台机器上配置成功。
(5) 各台机器都进行如下的配置，然后将各台机器上配置好的authorized_keys中的数据合并到一个authorized_keys中，拷贝到各台机器的.ssh目录下，即可完成不同机器之间的登录验证。验证通过，表明不同的机器之间可以进行相互的登录了。
二安装HDFS集群
1 选取namenode和各个datanode，在etc/hadoop目录中的slaves的配置文件中进行如下配置：
dmdb-23
dmdb-24
dmdb-27
dmdb-28
表明将这四台机器配置为datanode节点，另外两个节点dmdb-25,dmdb-26配置为双master节点。
2 修改core-site.xml，添加如下配置信息：
<configuration>
<property>
<name>io.native.lib.available</name>
<value>true</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://dmdb-25:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file://jiang/tools/hadoop-2.5.2/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>dmdb-23,dmdb-25,dmdb-26</value>
</property>
</configuration>
3 修改hdfs-site.xml，指定hdfs双master的配置信息；
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>dmdb-25,dmdb-26</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.dmdb-25</name>
<value>dmdb-25:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.dmdb-25</name>
<value>dmdb-25:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.dmdb-26</name>
<value>dmdb-26:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.dmdb-26</name>
<value>dmdb-26:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/jiang/tools/hadoop-2.5.2/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/jiang/tools/hadoop-2.5.2/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://dmdb-23:8485;dmdb-25:8485;dmdb-26:8485/cluster1</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>
<property>
<name>dfs.cluster.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/jiang/tools/hadoop-2.5.2/tmp/journal</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
在配置文件中，我们将dmdb-25和dmdb-26指定为对应的master节点。
4 配置环境变量，在/etc/profile中:
export HADOOP_HOME=/jiang/tools/hadoop-2.5.2
export PATH=$PATH:$HADOOP_HOME/bin
export CLASSPATH=.:$CLASSPATH:$HADOOP_HOME/lib
4 将配置好的hadoop拷贝到其他的机器上，通过远程拷贝：
scp -r hadoop-2.5.2 dmdb-23:/jiang/tools/
依次拷贝到dmdb-23,dmdb-24,dmdb-27,dmdb-28上，并在这些机器上完成相关的环境变量配置；
5 启动hdfs，相关启动流程如下：
A：在dmdb-23,dmdb-25,dmdb-26上依次启动zookeeper，相关启动命令如下：
zkServer.sh start
B：在dmdb-23,dmdb-25,dmdb-26上依次启动journalnode，相关的启动命令如下：
Hadoop-daemon.shstart journalnode;
C：在dmdb-25上先执行hdfsnamenode –format,完成格式化，并且在dmdb-25上启动namenode，相关的启动命令为:hadoop-daemon.sh start namenode；在dmdb-26上也执行格式化命令:hdfsnamenode –bootstrapStandby，并且也启动相关的namenode，命令和dmdb-25相同；
D：在dmdb-25，dmdb-26上分别执行hadoopzkfc –formatZK，完成zk的初始化；
E：在dmdb-25上启动所有的dataNode，hadoop-daemon.shstart datanode;
启动完毕，进入http://dmdb-25:50070页面查看hdfs的监控页面，如下：
可以看到dmdb-25的状态是active（激活状态）。
进入http://dmdb-26:50070页面查看hdfs的监控页面，如下：
可以看到dmdb-26是standby状态；
