□文/杨茂保（九江学院江西·九江）

大数据信息处理的MinMapReduce算法

□文/杨茂保
（九江学院江西·九江）

［提要］M apReduce对于大数据来说是主要的并行计算模型，理想情况下，M apReduce系统要在机器之间实现高度的负载均衡，并且最小化空间使用、CPU和I/O时间和每个机器上的网络传输。本文提出最小算法的概念，也就是算法能保证同一时间在多个方面的最好并行化，对于一组基本数据库问题来说，我们说明了最小算法的存在，通过实验我们证明了良好的性能。

M apReduce；M i nM apReduce；负载均衡

原标题：大数据信息处理的M i nM apReduce算法设计与实现

收录日期：2016年9月13日

一、引言

随着大数据时代的到来，数据以空前的速度在积累，对大数据信息处理提出了迫切的需求，级别达到T字节或者更高规模的巨大数据库、大数据具有规模巨大、分布广泛、动态演变、模态多样、关联复杂、真伪难辨等特性。对复杂数据的直观理解为挖掘出可靠而更有价值的信息，当前处理有限规模数据的计算体系已然失效。近年来，数据库研究人员对这一挑战做出来回应：构建巨大的并行计算平台，其使用数百甚至数千台商用机器，吸引了大量研究人员注意的著名的平台是MapReduce。MinMapReduce算法是一种新兴的有极大发展潜力的算法，MinMapReduce算法与许多传统数学分支相比具有很强的实时性，将其应用于大数据处理具备一定的理论和实践意义。

在一个高的级别，一个MapReduce系统包含很多无共享的机器，它们只通过在网络上发送消息来进行通信，一个MapReduce算法命令这些机器协作地来执行一个计算任务。……