茹 蓓， 李 虹(. 新乡学院 计算机与信息工程学院， 河南 新乡 453003； . 吉林省质监检测基地 吉林省纤维检验处， 长春 3003)

控制工程

海量数据干扰下冗余数据高性能消除方法*

茹 蓓1， 李 虹2
(1. 新乡学院 计算机与信息工程学院， 河南 新乡 453003； 2. 吉林省质监检测基地 吉林省纤维检验处， 长春 130103)

针对海量数据处理过程中大量相似特征会给数据分类造成冗余干扰，在分类中心确定时出现多次校验、重复等弊端，提出一种海量数据干扰下冗余数据高性能消除方法.采用主动采样方法提取海量数据干扰下冗余数据特征，并对其进行分类.引入均值漂移传递函数对冗余数据进行分类处理，获取冗余数据活跃程度，实现冗余数据的高性能消除.结果表明，相比传统的消除方法，高效消除方法性能良好，所需时间短，具有一定的优越性.

海量数据； 干扰； 冗余数据； 高性能； 消除方法； 改进； 均值； 传递函数

随着计算机技术与信息处理技术的快速发展，许多领域的信息被储存在计算机系统中，形成海量数据，使得其存储和管理成为相当棘手的问题[1-2].虽然如今存储设备容量越来越大，但也无法满足处理数据量的增长需要[3-4]，形成了大量的冗余数据.而对冗余数据进行高效消除、减轻数据存储负担、提高数据存储效率成为了近年来信息处理技术的研究热点，受到广大学者的广泛关注，也出现了很多有效方法[5-7].

文献[8]提出局部均值分解的消除方法，采用数值模拟把线性、多项式及指数趋势项融入至要消除的数据中进行消除，该方法可对冗余数据进行消除，但消除过程需要一定约束条件；……