Mapreduce模型及支撑系统概述
2017-10-09李炜贺丽娟陕西国防工业职业技术学院陕西西安710300
李炜,贺丽娟(陕西国防工业职业技术学院,陕西西安,710300)
Mapreduce模型及支撑系统概述
李炜,贺丽娟
(陕西国防工业职业技术学院,陕西西安,710300)
MapReduce是由并行编程模型及相关支撑系统组成的数据处理框架,通过定义接口和运行时支持库, 通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,通过隐藏底层实现细节,降低实现并行编程的难度,Hadoop 是目前MapReduce 框架最流行的开源实现。文章首先介绍了 MapReduce 并行编程模型及其hadoop的运行原理、运行机制, 深入研究了 MapReduce 计算任务在 Hadoop 系统中的运行过程。
大数据;MapReduce;hadoop;HDFS
0 引言
MapReduce 由Google公司于2004提出的一种最为成功的面向数据的并行编程模型[1],该模型给程序员在复杂的分布式集群平台上提供了简单的编程接口和强大的支撑系统,使海量数据的并行编程模型变得简单易学、大大的降低并行编程难度,让程序员只需要了解应用程序的业务逻辑实现。MapReduce 模型的支撑系统来自行处理以下工作:(1)任务调度并行(2)弹性分布(3)系统负载均衡和容错等问题。
首先在数据预处理阶段,Hadoop系统把数据先载入到分布式存储文件中;其次数据处理阶段,在Hadoop实现大规模并行数据处理时,可使用Python、java、HiveQL 和 Pig Latin 等编程语言简化并协助对于数据的处理,提高数据处理的 能力与效率[2]。
1 MapReduce 编程模型及Hadoop系统
1.1 MapReduce编程模型

MapReduce编程模型的核心是map和reduce两个指定函数的定义和执行,map()责分块数据的处理,reduce()函数负责对分块数据处理的中间结果进行归约。MapReduce其实就是Divide/Conquer 的过程, map阶段将输入数据U<keys,values>,然后对这些值进行map操作,得到中间数据[3]。……
