在centos7上部署的spark启动文档

    xiaoxiao2021-03-26  12

    为了记录已经部署好的spark环境启动过程,进行记录。

    1.设置ip地址

    sudo ifconfig ens33 192.168.184.2

    --master01

    sudo ifconfig ens33 192.168.184.3 

    --slave01

    sudo ifconfig ens33 192.168.184.4 

    --slave02

    三台机器关闭防火墙

     sudo systemctl stop firewalld.service

    在master01上执行

    /data/install/hadoop/hadoop-2.7.0/sbin/start-dfs.sh /data/install/hadoop/hadoop-2.7.0/sbin/start-yarn.sh

    /data/install/hadoop/hbase-1.2.4/bin/start-hbase.sh

    测试hadoop是否可用

    hadoop jar /data/install/hadoop/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount input output

    如提示安全模式

    bin/hadoop dfsadmin -safemode leave  

    进入spark目录

    cd /data/install/hadoop/spark-2.0.2-bin-hadoop2.7/bin/ ./spark-shell

    转载请注明原文地址: https://ju.6miu.com/read-600014.html

    最新回复(0)