Spark优化-优化原则

1、避免创建重复的RDD  val rdd1 = sc.textFile("hdfs://ip:port/log.txt")   val rdd2 = sc.textFile("hdfs://ip:port/log.txt")     （1）对于业务逻辑比较复杂的情况，那么就会产生rdd串比较长，会忘记之前是否创建过相同的RDD。     （2）对于初学者可能会犯这样的错误 2、尽量复用同一个RDD val rdd1 = (key-value) rdd2 = rdd1.map(_._2) rdd2.map(....).count 那么对于这种情况，rdd2完全是rdd1的子集，完全可以直接复用rdd1就可以完成业务逻辑‘ 3、rdd的持久化，rdd.cache()  rdd.persist() rdd.checkpoint() persist的时候可以手动指定持久化的级别 MEMORY_ONLY MEMORY_ONLY_SER MEMORY_AND_DISK MEMORY_AND_DISK_SER DISK_ONLY DISK_ONLY_SER MEMORY_AND_DISK_2 MEMORY_AND_DISK_SER_2 DISK_ONLY DISK_ONLY_2 4、避免shuffle类的算子  distinct reaprtition resuceByKey countByKey groupByKey join join（broadcast） val rdd3 = rdd1.join(rdd2) 使用广播变量： val map = rdd2.collect val mapBroadcast = sc.broadcast(map) rdd1.map(mapBroadcast) 5、使用高性能的算子 map mapPartition foreach foreachPartition reduceByKey 6、尽量map端预聚合的算子 reduceByKey aggregateByKey 7、尽量使用多的广播大变量 val listbroadcast= sc.broadcast(list) rdd1.map(listbroadcast) 8、使用kyro序列化器 9、优化数据结构