一、准备

1.ubuntu 16.04的系统四台（一个master节点，三个slave节点）。2.jdk-8u121-linux-x64.tar.gz3.hadoop-2.5.0.tar.gz

二、安装JDK（全部虚拟机都要安装JDK并配置环境变量）

1.修改虚拟机的主机名 分别命名为： master slave1 slave2 slave3 注意：重启虚拟机生效 # vim /etc/hostname 2.修改虚拟机的hosts文件 # vim /etc/hosts

添加记录： 虚拟机IP地址 master 虚拟机IP地址 slave1 虚拟机IP地址 slave2 虚拟机IP地址 slave3

3.安装JDK # tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/jvm 4.配置java环境变量 # vim /etc/profile export JAVA_HOME=/usr/local/jvm/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib # source /etc/profile（使修改的配置文件生效） 5.设置ssh免密码登陆（全部虚拟机都要设置） # ssh-keygen（全部回车） # ssh-copy-id root@master（也可以使用ip） # ssh-copy-id root@slave1（也可以使用ip） # ssh-copy-id root@slave2（也可以使用ip） # ssh-copy-id root@slave3（也可以使用ip）

三、安装hadoop-2.5.0（全部虚拟机都要安装hadoop-2.5.0并配置环境变量）

1.安装hadoop-2.5.0 # tar -zxvf hadoop-2.5.0.tar.gz -C /usr/local/hadoop 2.配置hadoop环境变量 # vim /etc/profile HADOOP_HOME=/usr/local/hadoop/hadoop-2.5.0 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export HADOOP_HDFS_HOME=${HADOOP_HOME} export HADOOP_YARN_HOME=${HADOOP_HOME} # source /etc/profile（使修改的配置文件生效） 3.创建hadoop需要的目录 # mkdir -p /home/hadoop # mkdir -p /home/hadoop/hadoop-2.5.0 # mkdir -p /home/hadoop/hadoop-2.5.0/tmp # mkdir -p /home/hadoop/hadoop-2.5.0/dfs # mkdir -p /home/hadoop/hadoop-2.5.0/dfs/name # mkdir -p /home/hadoop/hadoop-2.5.0/dfs/data 4.修改配置文件（细心）

①

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/jvm/jdk1.8.0_121

②

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/core-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录： <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.5.0/tmp</value> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property>

③

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/hdfs-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录： <property> <name>dfs.name.dir</name> <value>/home/hadoop/hadoop-2.5.0/dfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hadoop-2.5.0/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>

④

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/mapred-site.xml.template

添加如下记录

在<configuration></configuration>之间加入如下记录： <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

复制

# cp mapred-site.xml.template mapred-site.xml

⑤

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/yarn-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录： <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property>

⑥（全部虚拟机都要进行此操作）

# vim /usr/local/hadoop/hadoop-2.5.0/etc/hadoop/slaves

删除文件中的记录并添加如下记录

slave1 slave2 slave3 7.格式化HDFS文件系统 # cd /usr/local/hadoop/hadoop-2.5.0 && bin/hdfs namenode -format 8.启动hadoop集群和停止hadoop集群 # /usr/local/hadoop/hadoop-2.5.0/sbin/start-all.sh //启动 # /usr/local/hadoop/hadoop-2.5.0/sbin/stop-all.sh //停止 9.在hadoop集群启动着的情况下执行jps指令查看输出，如果看见如下输出说明搭建成功。 master节点 #jps Jps NameNnode ResourceManager SecondaryNameNode 三个slave节点 #jps Jps DataNode NodeManager 10.图形管理 当前IP地址：50070 —> 管理HDFS 当前IP地址：8088 —> 管理MapReduce

四、HDFS常用的指令

# hadoop fs -mkdir /input/ -->在hadoop上创建文件夹 # hadoop fs -rmdir /input/ -->在hadoop上删除文件夹 # hadoop fs -ls / -->查看hadoop/目录下的文件 # hadoop fs -rm /test.txt -->删除test.txt文件 # hadoop fs -get /test.txt -->从hadoop下载test.txt文件到当前目录 # hadoop fs -put test.txt / --> 上传test.txt文件到hadoop/目录

Over