Hive 常用的存储格式/压缩格式/创建lzo索引

常用的存储格式

1.Textfile

Hive数据表的默认格式,数据不做压缩,磁盘开销大,数据解析开销大。存储方式:行存储。

可以使用Gzip压缩算法,但压缩后的文件不支持split。

在反序列化过程中,必须逐个字符判断是不是分隔符和行结束符,因此反序列化开销会比SequenceFile高几十倍。

2.RCFile

存储方式:数据按行分块,每块按列存储。结合了行存储和列存储的优点:

首先,RCFile 保证同一行的数据位于同一节点,因此元组重构的开销很低

其次,像列存储一样,RCFile 能够利用列维度的数据压缩,并且能跳过不必要的列读取

数据追加:RCFile不支持任意方式的数据写操作,仅提供一种追加接口,这是因为底层的 HDFS当前仅仅支持数据追加写文件尾部。

行组大小:行组变大有助于提高数据压缩的效率,但是可能会损害数据的读取性能,因为这样增加了 Lazy 解压性能的消耗。而且行组变大会占用更多的内存,这会影响并发执行的其他MR作业。 考虑到存储空间和查询效率两个方面,Facebook 选择 4MB 作为默认的行组大小,当然也允许用户自行选择参数进行配置。

3.ORCFile

存储方式:数据按行分块,每块按照列存储。 

压缩快,可切分,快速列存取。效率比rcfile高,是rcfile的改良版本。

支持各种复杂的数据类型,比如datetime,decimal,以及复杂的struct

4.Sequence Files

压缩数据文件可以节省磁盘空间,但Hadoop中有些原生压缩文件的缺点之一就是不支持分割。支持分割的文件可以并行的有多个mapper程序处理大数据文件,大多数文件不支持可分割是因为这些文件只能从头开始读。Sequence File是可分割的文件格式,支持Hadoop的block级压缩。

Hadoop API提供的一种二进制文件,以key-value的形式序列化到文件中。存储方式:行存储。

sequencefile支持三种压缩选择:NONE,RECORD,BLOCK。Record压缩率低,RECORD是默认选项,通常BLOCK会带来较RECORD更好的压缩性能。

优势是文件和hadoop api中的MapFile是相互兼容的

注:建表时默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile、RCFile、ORC格式的表不能直接从本地文件导入数据,数据要先导入到TextFile格式的表中,然后再从TextFile表中用insert导入到SequenceFile、RCFile表中。

5.parquet

Parquet也是一种列式存储,同时具有很好的压缩性能;同时可以减少大量的表扫描和反序列化的时间。

https://www.cnblogs.com/dangjf/p/10071946.html

https://zhuanlan.zhihu.com/p/257917645

 

Hive支持的压缩格式

  • Hive支持的压缩格式为Gzip、Bzip2、lzo、snappy

https://www.cnblogs.com/sx66/p/12039248.html

----------

lzo文件加上index之后可以做分割解压。
单独一个lzo文件在没有index的情况下,mapreduce执行时是一个map处理。

http://wenda.chinahadoop.cn/question/1006

----------

创建lzo索引:

hadoop jar /opt/hadoopgpl/lib/hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer /data/rawlog/your_log_file.lzo

https://blog.51cto.com/slaytanic/1162287 《hive启用lzo压缩和创建lzo索引》

----------

另外:

hive优化-文件存储格式和压缩方法  https://blog.csdn.net/mrzhangbaby/article/details/94163834

hadoop,hive启用lzo压缩和创建lzo索引  https://blog.51cto.com/slaytanic/1162287

也很好。

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页