APP下载

改进的多数据流协同频繁项集挖掘算法

2016-07-19王鑫刘方爱

计算机应用 2016年7期

王鑫 刘方爱

摘要:针对已有的多数据流协同频繁项集挖掘算法存在内存占用率高以及发现频繁项集效率低的问题,提出了改进的多数据流协同频繁项集挖掘(MCMDStream)算法。首先,该算法利用单遍扫描数据库的字节序列滑动窗口挖掘算法发现数据流中的潜在频繁项集和频繁项集;其次,构建类似频繁模式树(FPTree)的压缩频繁模式树(CPTree)存储已发现的潜在频繁项集和频繁项集,同时更新CPTree树中每个节点生成的对数倾斜时间表中的频繁项计数;最后,通过汇总分析得出在多条数据流中多次出现的且有价值的频繁项集,即协同频繁项集。相比AStream和HStream算法,MCMDStream算法不仅能够提高多数据流中协同频繁项集挖掘的效率,并且还降低了内存空间的使用率。实验结果表明MCMDStream算法能够有效地应用于多数据流的协同频繁项集挖掘。

关键词:

流数据挖掘;多数据流;滑动窗口;频繁项集;协同频繁项集

中图分类号: TP301.6 文献标志码:A

0引言

随着万维网技术的迅速发展,复杂多样的数据呈现爆炸式增长。数据流作为一种特殊形态的数据已在众多领域中广泛地应用,例如网络实时监控的数据[1]、传感器采集的数据[2]和金融市场的证券交易信息等。相对于传统静态数据而言,流数据具有实时、连续、大量、不确定和随时间变化的特点,因此,在不断变化的流数据上进行频繁项集挖掘更具有挑战性。

近年来,流数据频繁项集挖掘[3]成为研究的热点问题。1998年,Henzinger等[4]首次将流数据作为一种数据模型提出来。……

登录APP查看全文