持续更新
Streaming
可使用serde-codec(java class) 直接从序列化的数据中获取输入获取mapper输入文件名combiner 的实现
Hive
输入若为特别多小文件, 会极大影响性能, hive可以在数据进mapper前预合并. mapper输入端: set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat; 输出端: set hive.merge.mapfiles = true set hive.merge.mapredfiles = true 或者另起一个任务group by所有列.能用mapjoin的一定要用. 默认是小表<15M, 自动启用mapjoin. 有必要的时候也可以适当调大. 太大不行, 会OOM 对于CPU密集型任务, 需要手动设置较大的mapper个数. 比如分词, 数据虽少, 但是计算量大, 调度器分的mapper会少, 很慢. 压缩和序列化的使用. 对结果进行压缩+序列化, 可提高存储效率. 对map->red之间的数据压缩, 可以提高网络传输效率, 这里选快的codec比如snappy, 但是网络部分还好, 一般不用压缩.好功能: 动态分区. 可以根据结果, 自动插入到某个哈希分区.有趣的函数 比如rank(即row_number)可以实现分组排序. percentile可以找%分位点, 有趣的近似算法.可以把列拆开成多行 比如原来某列里面compact了好多数据, hive支持拆成多行, latent view explode.黑科技: 全局排序. 全局排序在分布式系统中一般这么实现的: 先分桶, 桶内单机(each reducer)排. 所以需要找到一些分割点来分桶, 再调用total order partitioner. 用途太少, 不仔细说了.
转载请注明原文地址: https://ju.6miu.com/read-1123904.html
