APP下载

SanssouciDB应用列式存储和内存数据管理研究

2021-04-04范晶

现代信息科技 2021年18期

摘  要:内存数据管理和列式存储与内存数据库的结合是解决海量数据实时查询的可行方案之一,其代表之一是SAP的HANA内存数据库。SanssouciDB作为HANA的原型内存数据库是一个很好的研究对象。文章将从内存数据管理、内存中数据存储布局(包括行式和列式存储布局)、日志机制等方面研究SanssouciDB如何实现存储优化,查询优化。文章还将通过计算来对比列式和行式扫描的性能。最后分享实际工作中使用内存数据库所遇到的问题。

关键词:内存数据库;内存数据管理;列式存储

中图分类号:TP311  文献标识码:A 文章编号:2096-4706(2021)18-0013-05

Abstract: The combination of memory data management, column storage and memory database is one of the feasible solutions to solve the real-time query of massive data. One of its representatives is SAPs HANA memory database. As the prototype memory database of HANA, SanssouciDB is a good research object. This paper will study how SanssouciDB realizes storage optimization and query optimization from the aspects of in memory data management, in memory data storage layout (including row and column storage layout), logging mechanism and so on. It will also compare the performance of column and row scanning through calculation. Finally, the problems encountered in using memory database in practical work are shared.

Keywords: memory database; memory data management; column storage

0  引  言

传统数据库已经无法应付实时分析和海量数据的这对矛盾,尤其是大型制造业。虽然市面上有不少解决方案如ApacheHive,Spark SQL,这类方案依赖底层的分布式系统,其本质不是分布式数据库,数据分析的能力有限。另一种是基于MPP搭建的数据。SanssouciDB作为内存数据库在设计阶段就已经包括了要通过列式存储和内存数据管理来加速查询,目标是能达到企业对于海量数据的实时处理和查询的需求。

1  现代企业计算的新需求

传统OLTP系统是数据积累和企业电子化的基础。随着时间的推移,数据变得越来越大,对于现代企业来说如何有效的利用他们变成了新的挑战。需求则从“积累数据”变为“数据导向”。传统数据库虽然在性能上一直在努力的追赶,但现代企业更需要创新性产品在原理和架构上重构。從而对现有的数据库提出二大需求:

(1)整合:将不同数据源的数据整合到单一的数据库管理系统中。……

登录APP查看全文