【Hadoop】Spark2.0.2在Hadoop2.7.3上的安装 二(集群安装)

    xiaoxiao2021-03-26  16

    之前单机安装的教程已经在前文进行了描述。

    那么我们集群如何安装呢?

    首先,配置的变更

    在单机能够起来的情况下,进行配置的变更。 1.将slaves.template mv成slaves。

    mv slaves.template slaves

    同时将里面写入对应slave的ip或者计算机别名。 2.最好将conf里面的spark-env.sh中选项web ui的默认端口8080修改,

    export SPARK_MASTER_WEBUI_PORT=18088

    8088是yarn的默认端口,因此修改为18088。

    其次,内容物的copy

    copy两块:一块是scala,另一块是spark。

    scp -r /usr/local/scala slave1:/usr/local/scala scp -r /usr/local/spark slave1:/usr/local/spark

    最后,由master中启动

    cd /usr/local/spark/sbin ./start-all.sh

    当然,单独启动master和slaves也是可以的:)

    最后访问 http://master:18088/

    可以看到

    URL: spark://master:7077 REST URL: spark://master:6066 (cluster mode) Alive Workers: 3 Cores in use: 3 Total, 0 Used Memory in use: 3.0 GB Total, 0.0 B Used Applications: 0 Running, 0 Completed Drivers: 0 Running, 0 Completed Status: ALIVE

    三个salve节点成功 alive

    转载请注明原文地址: https://ju.6miu.com/read-500271.html

    最新回复(0)