面向Hive查询的存储优化技术
2022-01-13荆忠航王佳慧马利民
荆忠航,张 伟,2,王佳慧,马利民,2,徐 涛
(1.北京信息科技大学 计算机学院,北京 100101;2.北京信息科技大学 北京材料基因工程高精尖创新中心,北京 100101;3.国家信息中心 信息与网络安全部,北京 100045;4.清华大学 微处理器与片上系统技术研究中心,北京 100084)
0 引言
在Hive底层存储方面,HDFS(Hadoop distributed file system,Hadoop分布式文件系统)将结构化数据文件划分为多个数据块,并将数据块副本顺序或随机地均匀放置在集群中不同节点上,这种数据块存储策略可以使集群具有良好的负载均衡及容错性。但是结构化数据之间的关系比较复杂,数据块之间往往具有一定的关系,其中,并行关系和相交关系是两种常见的数据块运算关系。在向集群放置数据块的过程中,如果忽略了上述关系,则会降低查询任务的执行效率。
近年来,基于相关关系分析的数据存储策略越来越受到学术界和工业界的重视,并取得了一定的研究成果。Cohadoop[1]可以通过配置文件属性locater将相关文件关联起来并存储在同一个节点上,增强了数据本地化程度,减少了运算过程中的网络传输开销和磁盘,输入/输出(input/output,I/O),提高了查询效率;Hadoop++[2]将协同划分(Co-Paritioned)文件或者数据保存在定制的Trojan文件中,不需要对HDFS做其他改动,实现对用户的透明化。郑湃等[3]对数据集及之间的相关关系进行分析并建模,通过数据集之间的相关关系构建聚类矩阵并划分数据子集,将子集分配到相应的节点上存储;Yuan等[4]综合考虑了数据之间的相关性、数据与计算节点之间的相关程度,提出了同样采用构建聚类矩阵的数据放置策略。……
