APP下载

基于MapReduce的隐私保护的关联规则挖掘算法的研究

2015-05-30熊富蕊桑应朋

智能计算机与应用 2015年6期
关键词:数据挖掘关联规则

熊富蕊 桑应朋

摘要:主要针对关联规则中的Apriori算法在执行过程中产生大量候选集和重复扫描数据库会使串行算法的时间复杂度高和执行率低的缺点,提出了一种基于MapReduce的并行关联规则挖掘算法,对传统的关联规则算法进行并行优化。在Hadoop平台上进行了单机测试和集群测试。分析得出基于MapReduce的关联规则算法克服了串行算法产生大量候选集和重复扫描数据库的两大缺点,从而提高了执行效率。此外,针对目前数据隐私泄露的严重现象,在进行并行化的数据挖掘之前,使用加随机数的方法来保护数据的隐私,并验证了保护数据在关联规则挖掘中保留了高可用性。

关键字:MapReduce;Apriori;Hadoop;隐私保护

中图分类号:TP391 文献标识码 A文章编号:2095-2163(2015)06-

Abstract:The main disadvantage of Apriori algorithm for association rule mining is that it produces large amounts of candidate sets and database scannings during execution, making the serial algorithm having high time complexity and low implementation rate. This paper proposes a new algorithm based on MapReduce,which optimizes the traditional association rule algorithm in a parallel way.Simulations based on the hadoop platform are performed on one single machine and clusters. The results demonstrate that our new algorithm based on MapReduce overcomes the disadvantage of the serial algorithm.Whats more, considering the serious phenomenon of data privacy leaking, the paper uses randomization to protect data privacy before they are mined, and shows the randomized data keep a high utiltity for association rule mining.

Keywords: MapReduce;Apriori;Hadoop;Privacy_Preserving

0 引言

随着各行各业的快速发展,大量的数据开始出现和累积。然而,如何从这些数据中,提取出所需要的有用信息,则已成为时下研究关注、且瞩目的一个焦点问题。作为一个分析工具,数据挖掘可以从大量数据集中发现有趣、有用的信息。现如今数据挖掘的技术已经开始用于商业用途,藉此提高商业价值。数据挖掘主要分为三大领域:分类分析、聚类分析和关联规则分析。尤其是,关联规则分析已经获得了数据挖掘中比较重要的领域地址,具体实现主要分为两步:发现频繁项目集和生成关联规则。关联规则中的一种基本算法就是Apriori算法。该算法在执行过程中会产生大量的候选集,并且还要多次重复扫描数据库。……

登录APP查看全文

猜你喜欢

数据挖掘关联规则
撑竿跳规则的制定
“苦”的关联
数独的规则和演变
探讨人工智能与数据挖掘发展趋势
让规则不规则
基于并行计算的大数据挖掘在电网中的应用
智趣
TPP反腐败规则对我国的启示
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究