IDEA2016.3.5安装

    xiaoxiao2021-03-25  100

    初学SPARK,查找一些资料,建议用IDEA作为编程软件,在此mark一下。

    1、下载:

    http://www.jetbrains.com/idea/download/#section=linux

    解压:tar zxvf  ideaIC-15.0.2.tar -C /home /softwares/

    2、进入$IDEA_HOME目录,输入bin/idea.sh启动,选择右下角plugins

    3、选择Install Jet Brains plugins

    4、创建scala

     

    注意jdkscala版本的选择

     

    5File——project structure——libraries,点击右右边的+,将spark-assembly-XXX-hadoopXX.jar添加进来,apply——ok

    6、在scala创建一个package,然后创建一个object

     

    7、编写代码:

    import org.apache.spark.SparkConf

    import org.apache.spark.SparkContext

    import org.apache.spark.SparkContext._

    /**

      * Created by root on 17-3-9.

      */

    object word {

     

      def main(args:Array[String]){

        val conf=new SparkConf().setAppName("myTest").setMaster("local")

        val sc=new SparkContext(conf)

        var line=sc.textFile("/home/sp")//input file path

         //line.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile(args(1))

        //output to screen

        line.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)

        sc.stop()

      }

    }

    8、右键run

     

    转载请注明原文地址: https://ju.6miu.com/read-14492.html

    最新回复(0)