Hadoop平台搭配

    xiaoxiao2021-03-25  41

    Hadoop平台搭配

    关闭防火墙

    sudo service iptables stop # 关闭防火墙服务 sudo chkconfig iptables off # 禁止防火墙开机自启,就不用手动关闭了

    一、网络环境配置

    ifconfig————————————查看当前网络设置 vi /etc/sysconfig/network-scripts/ifcfg-eth0————————配置网络环境 修改 BOOTPROTO=static 添加 IPADDR=192.168.10.2 NETMASK=255.255.255.0 GATEWAY=192.168.10.1 (这里是仅主机模式下) 修改完成后需要重新打开网络

    二、配置主机名 (可不配)

    vi /etc/sysconfig/network 以master机为例 添加 HOSTNAME=master

    三、修改域名解析

    vi /etc/hosts 添加 192.168.10.2 master 192.168.10.4 slaver ……

    四、添加hadoop用户

    useradd hadoop passwd hadoop

    五、SSH免密码登录

    Masterslaver步骤ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsassh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa1scp ~/.ssh/id_rsa.pub master:/tmp/s12cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys3cat /tmp/s1 >> ~/.ssh/authorized_keys4chmod 600 ~/.ssh/authorized_keys5chmod 700 ~/.ssh6scp ~/.ssh/authorized_keys slaver:~/.ssh/authorized_keys7

    六、安装JDK

    在usr目录下创建java目录 cd /usr 一栋到usr目录 mkdir java ——————————————创建java文件夹 ①rpm格式 rpm -ivh java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 ②gz格式 tar -zxvf java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

    七、配置JDK环境变量

    vi /etc/profile——————————修改环境变量 添加 JAVA_HOME=/usr/java/jdk1.8.0_111 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH (JAVA_HOME根据自己安装的JDK版本及路径更改) 修改完成后 在不重新启动操作系统的情况下使 /etc/profile 文件生效 source /etc/profile

    八、安装Hadoop

    在/usr下创建hadoop文件夹 mkdir hadoop——————创建hadoop文件夹 解压Hadoop到hadoop文件夹内 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop

    九、配置hadoop环境变量

    vi /etc/profile 添加 HADOOP_HOME=/usr/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin (HADOOP_HOME根据自己安装路径为准)

    十、修改 hadoop-env.sh

    进入hadoop的安装目录 cd /usr/hadoop vi hadoop-2.7.3/etc/hadoop/hadoop-env.sh 添加 export JAVA_HOME=/usr/java/jdk1.8.0_111 (添加的JAVA_HOME以自己安装的路径为主)

    十一、替换 core-site.xml 、hdfs-site.xml 、 yarn-site.xml 、 mapred-site.xml

    这四个文件在hadoop文件下 hadoop/hadoop-2.7.3/etc/hadoop

    十二、修改 slaves文件

    进入hadoop的安装目录 cd /usr/hadoop vi hadoop-2.7.3/etc/hadoop/slaves 添加 master slaver (这里添加的内容和自己master机、slaver机的名字设置一致)

    十三、拷贝hadoop

    在master机中执行 scp -r /usr/hadoop/hadoop-2.7.3 slaver:/usr/hadoop/

    十三、启动服务(在master机中执行

    先初始化环境 source /etc/profile hdfs namenode -format 进入hadoop路径 启动服务 start-dfs.sh master机输入jps 如果有5个节点则为正确 其他机 有3个节点则为正确
    转载请注明原文地址: https://ju.6miu.com/read-50305.html

    最新回复(0)