门 威，王 辉

（河南广播电视大学 信息技术中心，河南 郑州 450008）

大数据环境下基于MapReduce和并行数据库的混合模式探究

门 威，王 辉

（河南广播电视大学 信息技术中心，河南 郑州 450008）

基于MapReduce编程模式的数据仓库技术和并行数据库技术是解决大数据分析问题的两种重要途径。MapReduce是一种基于并行运算的编程模型，其优点在于处理大规模非结构化、松散的数据集，但在性能，特别是连接操作的性能上存在很大的缺陷；并行数据库是建立在集群计算环境和MPP的高性能数据库，其优点是具有高效的结构化数据查询处理能力，但其容错能力和扩展能力薄弱。因此，两者都不能成为大数据分析的理想解决方案。本文在综合分析的基础上，结合二者优点，探索基于MapReduce和并行数据库的混合架构，并对多种架构方案进行详细分析，最后对各研究方向进行分析、归纳和展望。

大数据分析；并行数据库；MapReduce

一、引言

在大数据分析过程中，需要处理PB级甚至更高级别的数据，查询分析复杂、数据量大已成为其基本特点。数据处理能力的不足和日益增长的数据分析处理需求之间的矛盾需亟待解决。构建适合于大数据分析的数据仓库架构是解决大数据分析问题的关键途径之一。下面分别从大数据发展趋势、数据仓库面临的问题及其特性需求三个方面进行论述。

（一）发展趋势

随着大数据存储、分析技术的发展及其应用领域的不断扩大，数据本身及应用、处理环境发生了一系列变化，这些变化主要表现在以下几个方面。……