配置原生hadoop2.7版

配置hostname等装JDK并配置环境变量关闭防火墙无密码登陆解压hadoop2.7并配置环境变量配置core-site.xml配置hdfs-site.xml配置yarn-site.xml初始化hdfs开启hdfs，yarn等服务

---

配置hostname等

第一个是主机名，之后两个vi里也对应改上主机名。

hostname ydbmaster vi /etc/sysconfig/network vi /etc/hosts

装JDK并配置环境变量

将jdk加压到指定目录，我的是/opt/ydbmaster 配置环境变量，在/etc/profile 里配置如下 JAVA_HOME=/opt/ydbsoftware/jdk1.8.0_60 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH

关闭防火墙

iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -P OUTPUT ACCEPT chkconfig iptables off /etc/init.d/iptables stop iptables -F

无密码登陆

ssh-keygen执行时全部默认回车

ssh-keygen cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys

解压hadoop2.7并配置环境变量

解压到指定目录后， 配置hadoop-env.sh vi /opt/ydbsoftware/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 将下列写入到最后一行，DIR的地址要手动创建下 export JAVA_HOME=/opt/ydbsoftware/jdk1.8.0_60 export HADOOP_LOG_DIR=/data/log/hadoop export HADOOP_PID_DIR=/var/run/hadoop 保存后退出vi模式，用cat查看下 cat hadoop-env.sh | grep JAVA_HOME cat hadoop-env.sh | grep HADOOP_LOG_DIR cat hadoop-env.sh | grep HADOOP_PID_DIR

配置core-site.xml

之前在hosts里已经配置过ip和主机名，所以之后有关主机名的地方全改成本几名即可，tmp是临时工作目录，会定期清理所以不要放到tmp文件夹下，推荐放到data盘中。 <property> <name>fs.defaultFS</name> <value>hdfs://master</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/tmp/hadoop</value> </property>

配置hdfs-site.xml

namenode和datanode还有namenode.checkpoint的目录也要放到data盘上。 <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/data/hadoop/hdfs/nn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/hdfs/dn</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/data/hadoop/hdfs/sn</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property>

配置yarn-site.xml

<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/data/log/yarn/userlogs</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data/tmp/hadoop/nm-local-dir</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>4</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>32</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <property> <name>yarn.scheduler.minimum-allocation-vcores</name> <value>1</value> </property> <property> <name>yarn.scheduler.maximum-allocation-vcores</name> <value>4</value> </property> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>

初始化hdfs

bin/hdfs namenode -format

开启hdfs，yarn等服务

sbin/start-dfs.sh sbin/start-yarn.sh sbin/mr-jobhistory-daemon.sh start historyserver 或sbin/start-all.sh

http

我的地址是 ydbmaster:50070 NameNode ydbmaster：8088 yarn