基于协处理器的HBase分类二级索引设计
2021-05-12陈顺举郑林江
重庆理工大学学报(自然科学) 2021年4期
关键词:实验
陈顺举,邹 喆,刘 锐,陶 涛,汪 超,郑林江
(1.重庆市公安局渝北区分局交通巡逻警察支队,重庆 401120;2.重庆大学计算机学院,重庆 400044)
随着物联网和传感器技术的快速发展,产生了海量的多源异构数据,针对这些大数据的储存和管理逐渐成为了研究的热点。传统关系型数据库由于存储能力和扩展性等方面的不足,无法满足海量数据实时的查询处理需求[1]。近年来,非关系型数据库的应用和发展为海量数据的存储管理带来了新的研究思路[2]。HBase[3]作为其中的代表,是一种被广泛应用、高效的分布式数据库。它在行键上建立了类B+树的索引,可以支持基于行键的快速查询。但对于非行键列的查询,由于缺少索引能力,需要对全表进行扫描。全表扫描在海量数据下的查询时延是难以接受的,极大地影响了HBase非行键列的查询性能。
为了提升HBase对非行键列的查询性能,研究提出二级索引方案,建立非行键列和行键之间的索引。在查询非行键列时,先从二级索引中查询对应的行键集合,再通过得到的行键集在HBase中查找最终结果。近年来,各类二级索引技术相继提出,为HBase快速查询提供了解决方案。但由于应用场景和HBase特性的限制,这些方案仍然存在数据不一致、维护代价高等问题,并且在设计中未充分考虑通信开销和索引结构的分类和优化。
基于上述问题,设计一种基于协处理器的HBase分类二级索引方案。该方案提出一种基于协处理器的索引管理和并行查询机制,通过Observer在内存中建立并维护索引,使得索引和数据始终存储在同一个RegionServer中,能有效降低通信时间开销,保证数据和索引的一致性;……
登录APP查看全文
