◆李红丽

Hadoop与MapReduce应用下的大数据处理系统设计

◆李红丽

（阳泉师范高等专科学校 山西 045200）

移动互联网、云计算与物联网等信息技术应用日益广泛的大范围增加了数据的产生量，使得整个社会正加速步入“大数据”时代。采取何种技术进行大数据处理系统的高效构建，对各种类型的数据源进行集成，让用户无障碍地访问这些数据，进而完成对大数据价值的充分挖掘，成为业界与学者共同关注的问题。

Hadoop；MapReduce；ETL；大数据处理系统

近年来，诸多大数据处理技术与框架吸引了人们的高度关注，其中，以Hadoop开源计算平台得到的关注与应用最广。它是一种具有分布式特点的系统架构，基于自身所表现出来的数据提取、转换与清洗以及加载（ETL）强大优势而在大数据处理中发挥重要作用。本文进行一种以Hadoop和MapReduce为基础的大数据处理系统的构建，该系统可以整合数据处理的全部流程，涉及从分布异构数据源处进行各种相关数据的收集、对信息进行清洗以将冗余或是无用信息剔除、重构有用的各项数据、对数据进行向数据仓库等的加载等一系列任务，以期为今后大数据处理工作更加顺利与有效的开展提供一种可供参考的计算架构。

1 Hadoop平台与MapReduce技术

分析Hadoop平台的总体构成，主要对HDFS、MapReduce以及Hive等重要组件予以涉及。

1.1 HDFS

这是一种分布式文件系统，在一个集群网络中，通常会有很多台计算机，而每台计算机内又会存储大量不同的数据，借助该系统，可以完成对这些数据的管理任务。……