基于HBase分布式数据库海量数据序列存储优化
2021-03-08邓杰铭王榆心张柯汇王彦青宾茂梨
邓杰铭 王榆心 张柯汇 王彦青 宾茂梨


摘 要:针对海量数据分布式序列数据量大、增长速度快、序列重复性高等特点,结合HBase分布式数据库的相关理论和技术提出并实现了一套基于HBase的海量数据分布式序列存储方案。该方案设计了基于分布式数据分类码的预分区和行键优化策略,解决了服务器的均衡负载问题。通过构造文件索引替代二进制码序列实现了数据的高效存取。利用HBase协处理器实现了分布式序列记录单次提交多表插入的功能,提升了分布式多格式存储的效率。实验表明,通过上述方案设计的分布式序列存储系统具有良好的存储能力和扩展性。
关键词:HBase;分布式序列;分类码;文件索引;协处理器
0 引言
在海量数据存储方案中,以hadoop[1]分布式文件系统hdfs为基础的HBase数据库经过不断的发展完善得到了更加广泛的应用,特别以Facebook Message 系统对HBase 的应用为世界知名。HBase 本身作为谷歌公司Bigtable的开源实现,除了具有分布式、版本化、可扩展性的特征外,它与分布式计算框架如mapreduce 和spa-rk 等具有良好的结合性,这对于大数据量的科研工作非常便捷。本文以海量数据存储方式作为研究对象,结合当前分布式序列文件存储格式的特点,设计了基于HBase的分布式序列存储系统,利用基于数据分类码的预分区行键设计策略和协处理器机制对该系统进行优化,并通过实验验证该系统的可行性。
1 系统设计与实现
1.1 数据表设计
对HBase表进行设计时,列族数量不宜过多,因为HBase 表的列族对应于 HBase 物理存储结构 Store,当Store中的memstore达到flushing阀值时会触发所有列族的flushing操作,所以列族数量尽量控制在1到2个。……
