ADCS:一种基于SSD的阵列数据库缓存技术∗
2017-06-05
ADCS:一种基于SSD的阵列数据库缓存技术∗
杨庆1,2李晖1,2陈梅1,2戴震宇1,2朱明3
(1.贵州大学计算机科学与技术学院贵阳550025)(2.贵州大学贵州省先进计算与医疗信息服务工程实验室贵阳550025)(3.中国科学院国家天文台北京100012)
论文提出了在阵列数据库中引入固态硬盘作为Cache的内存-SSD-磁盘的多级存储架构,研发了以阵列数据库的存储单元chunk为粒度的缓存技术—ADCS,并在FASTDB中进行了实现。ADCS采用最近最少使用(LRU)算法作为缓存淘汰算法,得益于内存和磁盘之间的SSD cache构建技术,阵列数据库的查询性能提升了34%左右。
二级缓存;阵列数据库;ADCS;LRU
Class NumberTP392
1 引言
随着科学技术的发展,在各个研究领域均产生了PB级的科学数据。科学数据一般为数组模型且数据量大。很多科学应用利用关系型数据库很难实现。科学分析需要涉及大量复杂的矩阵运算等,这些运算难以用SQL语句表示出来。科学应用中需要的版本控制等信息在关系型数据中也很难实现[3~4]。当前用在天文方面的主流关系型数据库,有Oracle、Mysql、PostgreSQL、SQL Server等。如LSST[5]项目,每晚产出TB量级的科学数据,关系型数据库在处理这样量级的数据时依然显得力不从心[6]。因此,关系型数据库(RDBMS)已经不能满足科学数据处理的需求。于是,阵列数据库应运而生。以SciDB[7~8]为代表的阵列数据库具有典型的非关系型科学数据库的特征。SciDB是share-noth⁃ing架构的分布式数据库,存储单元是chunk,chunk中的属性采用垂直分割的形式,一个chunk存储了一个属性。并且采用分发数据到各个节点,更好地进行并行查询。
SciDB在处理简单查询时,性能很好。……
