茅潇潇,段惠超,高明

(华东师范大学数据科学与工程研究院,上海200062)

OceanBase中基于布隆过滤器的连接算法

茅潇潇,段惠超,高明

(华东师范大学数据科学与工程研究院,上海200062)

在大数据时代,“去IOE”运动的推进以及“双11”等活动的兴起对分布式数据库系统提出了更高的要求.OceanBase是阿里巴巴集团自主研发的开源分布式数据库,支持海量数据跨行跨表事务,但是对复杂查询的处理性能仍有待提高,其中连接操作带来的网络传输严重影响了数据库的性能.本文提出了一种基于布隆过滤器的连接算法,通过构建布隆过滤器对右表数据进行过滤,减少了不必要的数据传输开销,降低了数据处理带来的内存资源的消耗.本文在OceanBase上实现了该算法,并通过实验证明,该算法极大提高了连接操作的效率.

OceanBase;连接操作;布隆过滤器

0 引言

为了应对数据规模和业务规模的爆发式增长,以阿里巴巴公司为代表的互联网行业开始推进“去IOE”运动,如何选择数据库产品至关重要.近几年来,随着“双11”活动的发展、“秒杀”应用的兴起、以及云数据服务的推广,更是对目前开源的分布式数据库系统提出了挑战.为此,阿里巴巴集团自主研发了支持海量数据跨行跨表事务的分布式数据库OceanBase[1],以低成本、高可扩展性、高可用性和高可靠性著称,已经支持了阿里巴巴集团包括支付宝在内的许多业务.

但是作为主要面向OLTP应用的数据库系统,OceanBase对于复杂查询的处理性能并不高.当数据量……