APP下载

大数据MPP产品测评研究

2016-10-15周润松

软件和集成电路 2016年8期
关键词:数据库系统

周润松

为了对大数据产品做深入了解,我们选择了其中一个模块MPP的数据库产品做了测试。

为何选择MPP数据库

MPP数据库有什么好处呢?过去我们更多的是结构化的数据,现在数据传感设备采集成本越来越低,视频、传感器非结构化数据越来越多,通常又分为高密度数据和低密度数据,我们的传感器持续采集,但大多时候没有太大价值,只有在某些突变的时候会产生比较有价值的数据。对于传统的高密度数据,我们以前是用传统的关系型数据库来管理,现在随着数据容量的增大,到了TB级和PB级的话,传统数据库不一定能应付。

MPP数据库产品有哪些特色?他能做到大运维处理,他是一种Shared Nothing Cluster方式,存储使用统一存储,我们把这些信息存储在不同的主机节点上。现在我们看到大的MPP的部署模式,可以支撑到数百台的节点规模,同时他能够支持到TB或者PB的处理,他的处理手段保证了我们系统的可扩展性和可用性,还有对于ACID的要求,MPP也做相应的支持。

指标体系的研究

我们的测试和研究得到国内很多厂商的支持,对于MPP测试指标,我们联合了华为、武汉达梦、人大金仓、神州通用、南大通用五家企业,做了大量工作。我们的测试主要关注功能性指标,包括安全性、兼容性、容错性、可扩展性、效率。

我们在传统上会把数据处理分析分成两个类型,一种是OLTP面向事务处理;另一种是OLAP连接事务分析。在TPC国际标准组织发布一系列的基准测试模型或者标准,大家经常会听到TPC-C,-E、-H,-C,-E是事务性,-H是数据库OLAP的业务,大量的统计分析或者实时查询的内容。……

登录APP查看全文

猜你喜欢

数据库系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
半沸制皂系统(下)
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
数据库
数据库
数据库
数据库