王 刚，李盛恩

(山东建筑大学计算机科学与技术学院，山东济南 250101)

MapReduce中数据倾斜解决方法的研究

王 刚，李盛恩

(山东建筑大学计算机科学与技术学院，山东济南 250101)

随着移动互联网和物联网的飞速发展，数据规模呈爆炸性增长态势，人们已经进入大数据时代。MapReduce是一种分布式计算框架，具备海量数据处理的能力，已成为大数据领域研究的热点。但是MapReduce的性能严重依赖于数据的分布，当数据存在倾斜时，MapReduce默认的Hash划分无法保证Reduce阶段节点负载平衡，负载重的节点会影响作业的最终完成时间。为解决这一问题，利用了抽样的方法。在用户作业执行前运行一个MapReduce作业进行并行抽样，抽样获得key的频次分布后结合数据本地性实现负载均衡的数据分配策略。搭建了实验平台，在实验平台上测试WordCount实例。实验结果表明，采用抽样方法实现的数据划分策略性能要优于MapReduce默认的哈希划分方法，结合了数据本地性的抽样划分方法的效果要优于没有考虑数据本地性的抽样划分方法。

大数据;MapReduce;负载均衡;抽样

0 引言

伴随着互联网、物联网和移动互联网的快速发展，每天会产生海量数据，数据处于爆炸式的增长状态，这预示着大数据时代的到来。MapReduce［1］是Google提出的一种分布式计算框架。由于其具有高可扩展性、高效性和容错性等特点，在大规模数据处理中得到了广泛应用。用户使用MapReduce处理海量数据时，只需根据业务逻辑编写Map和Reduce函数即可，并行化、容错、数据分发和负载平衡等复杂的技术由MapReduce运行时库自动完成。……