APP下载

基于日志结构合并树的轻量级分布式索引实现方法

2021-03-18

计算机应用 2021年3期
关键词:数据库用户

(哈尔滨工业大学计算学部,哈尔滨 150001)

0 引言

如今,随着移动互联网等技术的普及,数据量呈爆炸式增长。大规模数据对数据管理提出了迫切的需求,传统的数据库对于超大规模数据存取的效率低,难以支持高并发访问。为此,分布式数据库应运而生。但是这类数据库也存在着对数据查询访问不够灵活的缺点。分布式数据库系统通常根据主键按照一定规则将数据进行划分,将数据片段冗余地存储在集群中的计算节点上,同时在主键上构建索引,来支持高效的主键查询。而针对非主键属性列的查询,系统无法确定数据的分片信息具体存储在哪个计算节点上,只能通过全表扫描进行查询,效率较低。所以,如何提升非主键查询效率成为分布式数据库系统的亟须解决的问题。

现有的分布式索引方案都拥有各自独特的构建方式,大致可以分为三种类型:一是通过改造系统的源码,重新设计交互逻辑,实现二级索引(SecondaryIndex,https://github.com/Huawei-Hadoop/hindex)。这种方法对开发人员的要求很高,并且很难跟得上系统版本更新的速度,用户在使用时需要将自己的数据重新导入到索引系统中,用户体验性差;第二种是基于MapReduce 并行计算框架,为查询数据创建map 映射表,并在客户端实现对map 映射表的查询[1]。由于NoSQL 数据库在进行跨行的事务时,无法保证原子性,当系统写入数据后,索引尚未更新成功前,系统发生任何错误,都会造成索引和原始数据不一致的后果。但是现有的MapReduce方案没有考虑数据的更新情况,所以这种方案只能适用到一些离线应用中;……

登录APP查看全文

猜你喜欢

数据库用户
数据库
数据库
关注用户
关注用户
数据库
关注用户
数据库
数据库
Camera360:拍出5亿用户
100万用户