牛咏梅

摘 要： 针对传统数据挖掘算法在数据量级方面的局限性，提出在粗糙集理论的基础上，采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法。讨论了基于动态聚类的两步离散化算法，当算法适应大数据处理之后，采用并行计算的方法提高算法的执行效率。算法测试结果表明，改进算法能有效地处理大数据量，同时并行计算解决了大数据量处理带来的效率问题。

关键词： 数据挖掘； 粗糙集； 大数据处理； 并行计算

中图分类号： TN911?34； TQ028.1 文献标识码： A 文章编号： 1004?373X（2016）07?0115?05

Abstract： Since the traditional data mining algorithm has the limitation in the aspect of data magnitude， on the basis of rough set theory， the class distribution list structure is used to improve the traditional data discretization algorithm based on attribute importance， attribute reduction algorithm and heuristic?based value reduction algorithm. The two?step discrete algorithm based on dynamic clustering is discussed. When the algorithm adapts to the big data processing， the parallel computing method is used to improve the execution efficiency of the algorithm. The test results of the algorithm show that the improved algorithm can effectively process the big data size. The parallel computing can solve the efficiency problem causing by big data size processing.

Keywords： data mining； rough set； big data processing； parallel computing

0 引 言

信息时代，数据（尤其是海量数据）已被各企业、各研究机构当成重大的知识来源、决策的重要依据[1]，对于数据的急速增长，如何有效地解决数据挖掘过程中空间和时间的可伸缩性已经成为数据挖掘领域中迫切需要解决的难题[2]。从知识发现的过程中可以看到，数据挖掘不仅面临着数据库中的庞大数据问题[3]，而且这些数据有可能是不整齐的、不完全的、随机的、有噪声的、复杂的数据结构且维数大[4]。传统的数据挖掘算法还限制于单机内存的容量[5]，当一次性需要分析的数据不能全部进入内存时，算法的性能就会严重降低[6]，甚至得不到预期的结果，使用基于粗糙集理论的算法策略将有效解决这个问题[7]。

本文针对传统数据挖掘算法在数据量级方面的局限性，提出了结合类分布链表，把数据挖掘算法推广到可以处理更高数据量级，最后采用并行计算的方法提高基于动态聚类的两步离散化算法适应大数据处理之后的执行效率。……