杨健兵

(南通科技职业学院 信息与智能工程学院，江苏 南通 226007)

MapReduce框架下改进Apriori算法的研究

杨健兵

(南通科技职业学院 信息与智能工程学院，江苏 南通 226007)

MapReduce是一种编程模型，这种模型编程简单，可以用于大规模数据集的并行计算。Apriori算法是一种发现频繁项集的基本算法，通过该算法，可以产生关联规则。针对Apriori的特点，研究了在MapReduce编程模型下，Apriori的实现方法。实验结果表明：该方法在对大数据集进行频繁项集挖掘时, 可充分利用云计算的优势, 从而能获得更好的时效性。

Apriori；数据挖掘；关联规则；MapReduce

0 引言

随着计算机和互联网技术的飞速发展，海量的数据不断地产生。数据挖掘技术是通过数据挖掘算法从海量数据中找到有意义的模式或知识，这些知识对于企业和政府决策起了很大的作用。传统的数据挖掘算法往往在普通的计算机上运行，面对大量的数据时，在计算能力、处理速度、存储容量、带宽速度等多个方面往往表现出力不从心。云计算在计算机网络的基础上，将计算机庞大的处理程序通过云计算机平台分解成小子程序，采取分而治之的方式加以解决。

在大规模数据集的并行运算方面，MapReduce[1]是一种用得比较多的编程模型，其主要思想是Map和Reduce，它可以在程序开发人员不会分布式并行编程的情况下，将程序运行在分布式系统上。

Hadoop[2-4]是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不知晓分布式文件系统实现细节的环境下开发分布式程序。……