【Hadoop】Spark2.0.2在Hadoop2.7.3上的安装 二（集群安装）

之前单机安装的教程已经在前文进行了描述。

那么我们集群如何安装呢？

首先，配置的变更

在单机能够起来的情况下，进行配置的变更。 1.将slaves.template mv成slaves。

mv slaves.template slaves

同时将里面写入对应slave的ip或者计算机别名。 2.最好将conf里面的spark-env.sh中选项web ui的默认端口8080修改，

export SPARK_MASTER_WEBUI_PORT=18088

8088是yarn的默认端口，因此修改为18088。

其次，内容物的copy

copy两块：一块是scala，另一块是spark。

scp -r /usr/local/scala slave1:/usr/local/scala scp -r /usr/local/spark slave1:/usr/local/spark

最后，由master中启动

cd /usr/local/spark/sbin ./start-all.sh

当然，单独启动master和slaves也是可以的：）

最后访问 http://master:18088/

可以看到

URL: spark://master:7077 REST URL: spark://master:6066 (cluster mode) Alive Workers: 3 Cores in use: 3 Total, 0 Used Memory in use: 3.0 GB Total, 0.0 B Used Applications: 0 Running, 0 Completed Drivers: 0 Running, 0 Completed Status: ALIVE

三个salve节点成功 alive