Mac上配置maven+eclipse+spark开发环境

    xiaoxiao2021-03-25  50

    1、安装jdk

    2、下载scala-ide。官网:http://scala-ide.org

    3、安装maven

    4、在eclipse中,配置maven的安装了路径。偏好设置--->maven--->installpath

    5、修改maven的镜像文件,即setting.txt中的mirror。具体修改为如下:

    <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The repository that | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used | for inheritance and direct lookup purposes, and must be unique across the set of mirrors. | <mirror> <id>mirrorId</id> <mirrorOf>repositoryId</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://my.repository.com/repo/path</url> </mirror> --> </mirrors>

    6、修改pom.xml文件中的内容:

    (1)需要修改scala的版本

    (2)需要添加spark依赖包

    此时,保存就会从上面设置的镜像当中下载对应的jar包。若没有设置镜像的话,由于国外的有些包需要FQ,并且每次修改需要记载很长的时间。导致无法运行或者运行失败。

    7、修改工程属性中对应的scala compiler版本。

    到此基本上配置已经结束,如果通过执行:mvn clean package ;然后通过spark-submit提交运行的话,应该是不会抱错。但是本地运行的话,还是会报错,具体错误如下:

     Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path

    这个错误,通过Google和百度,找到一个帖子解决了这个办法:对应的网址:http://blog.csdn.net/stark_summer/article/details/47361603

    通俗讲来,解决办法是:

    8、解决7的问题。

    (1)进入maven下载源的目录下:

      cd  /Users/jeffery/.m2/repository/org/xerial/snappy/snappy-java/1.0.4.1

    (2)解压snappy-java-1.0.4.1.jar文件

      unzip snappy-java-1.0.4.1.jar

    (3)进入目录:org/xerial/snappy/native/Mac/x86_64/

      cd org/xerial/snappy/native/Mac/x86_64/

    (4)复制文件:

      cp libsnappyjava.jnilib libsnappyjava.dylib

    (5)返回到解压前的目录下,并进行压缩

      先备份。 cp snappy-java-1.0.4.1.jar snappy-java-1.0.4.1.jar.old 

          后压缩成圆文件名:jar cf snappy-java-1.0.4.1.jar org

    ok了。

     

    转载请注明原文地址: https://ju.6miu.com/read-38658.html

    最新回复(0)