探秘MPP 数据库
2015-12-21孙淳晔SunChunyeLiangYang
孙淳晔,梁 杨/Sun Chunye,Liang Yang
(中国移动通信集团设计院有限公司河北分公司 石家庄050021)
1 引言
早期,运营商的数据库大多如Oracle、DB2 等OldSQL 型,近几年来,随着大数据技术的发展,数据处理技术进入了一个新的创新和发展高潮期。在硬件技术发展及市场需求双重因素的推动下,涌现出NewSQL、NoSQL 等新型数据库并逐步得以商用,形成目前数据库市场NewSQL、NoSQL、OldSQL 等多元异构的混搭格局[1],如图1所示。其中,基于开源技术的Hadoop 作为NoSQL的典型代表,通过扩展和封装Hadoop平台,能出色地完成对半结构化和非结构化的信令类、互联网类等数据的处理及分析支撑。MPP(Massively Parallel Processing,大量信息并行处理机)作为NewSQL的典型代表,本质属于关系型分析类数据库,主要面向行业大数据,在企业传统数据仓库去IOE化[2]、构建新型数据仓库及结构化分析的过程中起着无法替代的作用。本文主要针对MPP 数据库进行探究介绍。

图1 多元混搭的数据处理架构
现阶段比较成熟的MPP 产品很多,主要分为两个阵营:有Master 节点的集群,如Greenplum、Aster Data、HBase 等;无Master 节点的集群,如Vertica、GBase 等。在电信运营商领域,MPP 多用于BASS、ODS、EDW 等系统数据仓库搭建、面向历史库搭建、深度分析库搭建或专项数据集市的应用等,呈现从平台、数据到应用的集中处理。随着传统架构瓶颈的日益凸显,MPP 数据库在海量数据的查询、统计、分析、挖掘等方面的价值日益体现,行业应用也在不断深化。
2 MPP 数据库
MPP 是一种大规模并行处理的集群系统[3],由大量松耦合的处理单元Segment 组成,多为廉价的x86设备,区别于常见的Share-Disk,其采用Share-Nothing 架构,两种架构对比如图2所示。……
