Spark性能调优-kyro

性能优化： kryo序列化 以我的经验来看啊，这个kryo序列化并没有对性能优化产生决定性的影响啊，虽然包括官网都在大力的 推崇这个，实际上这个东西性能的提升肯定有！但不是决定性作用的！ 我们上节课那个广播大变量，是不是每个executor是不是可以对应一个blockmanager里面存着变量， 虽然我们减少了网络传输，减少了内存占用整体空间，但是还可以进一步减小网络传输和内存占用空间， 所以我们可以用kryo序列化机制！ 还可以进一步优化，优化这个序列化格式 默认情况下，Spark内部是使用Java的序列化机制，ObjectOutputStream / ObjectInputStream， 对象输入输出流机制，来进行序列化 这种默认序列化机制的好处在于，处理起来比较方便；也不需要我们手动去做什么事情，只是， 你在算子里面使用的变量，必须是实现Serializable接口的，可序列化即可。 但是缺点在于，默认的序列化机制的效率不高，序列化的速度比较慢；序列化以后的数据， 占用的内存空间相对还是比较大。 可以手动进行序列化格式的优化 Spark支持使用Kryo序列化机制。Kryo序列化机制，比默认的Java序列化机制，速度要快， 序列化后的数据要更小，大概是Java序列化机制的1/10。 所以Kryo序列化优化以后，可以让网络传输的数据变少；在集群中耗费的内存资源大大减少。 Kryo序列化机制，一旦启用以后，会生效的几个地方： 1、算子函数中使用到的外部变量，肯定要传输的时候要序列化了 2、持久化RDD时进行序列化，StorageLevel.MEMORY_ONLY_SER 3、shuffle 1、算子函数中使用到的外部变量，使用Kryo以后：优化网络传输的性能，可以优化集群中内存的占用和 消耗，算子函数中用到了外部变量，会序列化，使用Kryo 2、持久化RDD，优化内存的占用和消耗；持久化RDD占用的内存越少，task执行的时候，创建的对象， 就不至于频繁的占满内存，频繁发生GC。 当使用了序列化的持久化级别时，在将每个RDD partition序列化成一个大的字节数组时， 就会使用Kryo进一步优化序列化的效率和性能 3、shuffle：可以优化网络传输的性能 在进行stage间的task的shuffle操作时，节点与节点之间的task会互相大量通过网络拉取和传输文件， 此时，这些数据既然通过网络传输，也是可能要序列化的，就会使用Kryo SparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 首先第一步，在SparkConf中设置一个属性，spark.serializer， org.apache.spark.serializer.KryoSerializer类； Kryo之所以没有被作为默认的序列化类库的原因，就要出现了：主要是因为Kryo要求， 如果要达到它的最佳性能的话，那么就一定要注册你自定义的类（比如，你的算子函数中使用到了外部 自定义类型的对象变量，这时，就要求必须注册你的类，否则Kryo达不到最佳性能）。感觉很麻烦， 所以没有默认 第二步，注册你使用到的，需要通过Kryo序列化的，一些自定义类，SparkConf.registerKryoClasses() 项目中的使用： .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .registerKryoClasses(new Class[]{CategorySortKey.class}) 比如，获取top10热门品类功能中，二次排序，自定义了一个Key 那个key是需要在进行shuffle的时候，进行网络传输的，因此也是要求实现序列化的 启用Kryo机制以后，就会用Kryo去序列化和反序列化CategorySortKey 所以这里要求，为了获取最佳性能，注册一下我们自定义的类