模式矩阵的FP-DMMFI并行算法在教师科研素养挖掘中的应用
2011-03-14徐儒
网络安全技术与应用 2011年7期
徐儒
长江师范学院数学与计算机学院 重庆 408000
0 引言
数据挖掘(DataMining)是为了解决“数据丰富,知识贫乏”状况应运而生的,是从海量数据中获取知识的可靠技术。将数据挖掘中的关联规则分析方法应用于教师科研素养分析,能发现影响教师素养各因子之间的相关性。通过收集、加工和处理教师的科研信息统计表,分析特定群体或个体的知识结构、年龄阶段、兴趣爱好等,从而确定出教师群体或个体的科研习惯、科研特征,科研倾向和兴趣偏好,进而对相应群体或个体的未来发展趋势做出判断,找出影响科研素养各因子之间隐藏的内在关联。
1 模式矩阵的并行频繁项集挖掘算法:FP-DMMFI
虽然FP-growth与Appriori算法相比,极大地提高了挖掘的效能,但在构造一颗新的 FP-tree时需要扫描两次数据库;当事务数据库中有新数据加入时,原来发现的频繁项集可能不再是频繁的,这时,每重新建立一次FP-tree都要同时把新旧数据扫描两次;同时,当支持度阈值发生变化时,需要重新建立FP-tree,这种情况数据的规模越大,开销就越大。针对以上存在的不足,本文提出了一种基于模式矩阵的并行频繁项集挖掘算法 - FP-DMMFI(frequent pattern array for distribution mining maximal frequent itemsets)算法。
1.1 FP-DMMFI算法
FP-DMMFI算法主要将挖掘数据映射成矩阵后通过并行处理的方式来完成频繁项集的挖掘工作。基本思路是:采取分治策略,首先将提供频繁项的数据库压缩到矩阵T中,但仍然保留项集关联信息,同时获取频繁项的支持度计数的向量ω,由矩阵T和ω生产模式矩阵P,然后并行完成频繁项集的挖掘工作。……
登录APP查看全文
