APP下载

Mapreduce模型及支撑系统概述

2017-10-09李炜贺丽娟陕西国防工业职业技术学院陕西西安710300

电子测试 2017年17期
关键词:数据处理模型系统

李炜,贺丽娟(陕西国防工业职业技术学院,陕西西安,710300)

Mapreduce模型及支撑系统概述

李炜,贺丽娟
(陕西国防工业职业技术学院,陕西西安,710300)

MapReduce是由并行编程模型及相关支撑系统组成的数据处理框架,通过定义接口和运行时支持库, 通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,通过隐藏底层实现细节,降低实现并行编程的难度,Hadoop 是目前MapReduce 框架最流行的开源实现。文章首先介绍了 MapReduce 并行编程模型及其hadoop的运行原理、运行机制, 深入研究了 MapReduce 计算任务在 Hadoop 系统中的运行过程。

大数据;MapReduce;hadoop;HDFS

0 引言

MapReduce 由Google公司于2004提出的一种最为成功的面向数据的并行编程模型[1],该模型给程序员在复杂的分布式集群平台上提供了简单的编程接口和强大的支撑系统,使海量数据的并行编程模型变得简单易学、大大的降低并行编程难度,让程序员只需要了解应用程序的业务逻辑实现。MapReduce 模型的支撑系统来自行处理以下工作:(1)任务调度并行(2)弹性分布(3)系统负载均衡和容错等问题。

首先在数据预处理阶段,Hadoop系统把数据先载入到分布式存储文件中;其次数据处理阶段,在Hadoop实现大规模并行数据处理时,可使用Python、java、HiveQL 和 Pig Latin 等编程语言简化并协助对于数据的处理,提高数据处理的 能力与效率[2]。

1 MapReduce 编程模型及Hadoop系统

1.1 MapReduce编程模型

MapReduce编程模型的核心是map和reduce两个指定函数的定义和执行,map()责分块数据的处理,reduce()函数负责对分块数据处理的中间结果进行归约。MapReduce其实就是Divide/Conquer 的过程, map阶段将输入数据U<keys,values>,然后对这些值进行map操作,得到中间数据[3]。……

登录APP查看全文

猜你喜欢

数据处理模型系统
一半模型
Smartflower POP 一体式光伏系统
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
WJ-700无人机系统
ZC系列无人机遥感系统
重尾非线性自回归模型自加权M-估计的渐近分布
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
3D打印中的模型分割与打包
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用