Spark2.X中的第二代Tungsten性能之所以能够提升10倍左右的原因： 1、去掉了虚函数的调用，极大的减少了CPU指令的无用的消耗！ 2、数据直接放在寄存器中，至少提升了一个数量级的数据读写熟读！ 3、现在的CPU等硬件架构对基本的条件语句，循环语句等进行了极大的优化，并且可以使用硬件加速； 4、对于复杂的数据操作，采用Vectorization的方式，采用列式的读写数据，就是一行是原来的一列；
优点：擅长CPU密集型的计算； 缺点：对I/O没有进行太多优化；
转自简书
转载请注明原文地址: https://ju.6miu.com/read-23306.html
