之前单机安装的教程已经在前文进行了描述。
那么我们集群如何安装呢?
首先,配置的变更
在单机能够起来的情况下,进行配置的变更。 1.将slaves.template mv成slaves。
mv slaves.
template slaves
同时将里面写入对应slave的ip或者计算机别名。 2.最好将conf里面的spark-env.sh中选项web ui的默认端口8080修改,
export SPARK_MASTER_WEBUI_PORT=
18088
8088是yarn的默认端口,因此修改为18088。
其次,内容物的copy
copy两块:一块是scala,另一块是spark。
scp
-r /usr/
local/scala slave1:/usr/
local/scala
scp
-r /usr/
local/spark slave1:/usr/
local/spark
最后,由master中启动
cd /usr/local/spark/sbin
./
start-all.sh
当然,单独启动master和slaves也是可以的:)
最后访问 http://master:18088/
可以看到
URL: spark:
REST URL: spark:
Alive Workers:
3
Cores
in use:
3 Total,
0 Used
Memory
in use:
3.0 GB Total,
0.0 B Used
Applications:
0 Running,
0 Completed
Drivers:
0 Running,
0 Completed
Status: ALIVE
三个salve节点成功 alive
转载请注明原文地址: https://ju.6miu.com/read-500271.html