杜 鹃 张 卓 曹建春

1(黄河水利职业技术学院 河南 开封 475004) 2(郑州大学 河南 郑州 450001)

0 引 言

随着信息技术的飞速发展，云计算技术、大数据技术及以此基础的Web、互联网不断升级，物联网技术得以出现和发展，数据处理及信息获取逐渐成为社会各个领域的核心价值取向。技术的发展导致数据的范围扩大化和来源多样化，每时每刻人们都面临着海量的结构化和非结构化数据处理问题[1-3]。如何设计并行处理系统和并行数据处理算法逐渐成为了计算机及其他相关领域的研究热点。

自大数据及相关技术诞生以来，分布式数据管理及其扩展方法一直是数据库研究人员的主要目标。许多研究人员专注于设计可扩展系统，用于处理和分析大规模数据。他们面临的主要问题是如何降低应用程序的数据访问模式存在差异所造成的硬件需求。这些要求催生了新一代以键值(key-value)存储为核心思想的系统。其中MapReduce编程模型因其易于开发和便于拓展及嵌入的特点被业界和学术界广泛采用[4]。

MapReduce的设计思想是将整体任务分割到各个运算节点，每个节点处理完分配的任务之后进行结果汇总，以实现并行数据的处理。它包括两个核心部分：Map函数和Reduce函数。首先，应用Map函数以键值对的形式产生和存储中间数据列表，中间数据由其key(键)分区。具有相同key的所有元组的子集形成一个聚类，当所有映射器应用相同的函数进行分区时，会将聚类分配给同一分区。主服务器将分区分配给reducer以便按聚类进行处理。……