APP下载

基于改进距离和的异常点检测算法研究

2019-03-21李春生刘小刚

计算机技术与发展 2019年3期
关键词:检测

李春生,于 澍,刘小刚

(东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318)

0 引 言

随着网络和信息技术的广泛普及,人们在日常活动中会产生大量的数据,而从这些数据中发现某种未知的规律,挖掘其中隐含的信息与知识,成为了研究者们的研究乐趣。在这个过程中,数据预处理占据了较大的一部分,其中很重要的一方面就是对于异常数据的识别,即异常点检测技术,它会影响后续数据挖掘模型的预测效果和实用性。异常点又叫做噪声、孤立点、离群点等。然而发现的异常数据并不能简单地直接剔除掉,不仅会影响数据的连续性,而在某些领域中,这些被认为是不正常的数据隐藏着更有价值的信息,例如把异常点检测技术应用到以下领域:保险理赔,银行交易中的欺诈检测及风险分析;医药研究中药品所产生的异常反应[1];网络安全方面入侵行为的检测。

目前,异常数据的挖掘算法大致有基于统计、基于距离、基于密度、基于聚类等。其中传统的基于距离的异常数据挖掘算法原理较为简单,使用方便,在数据集分布均匀的情况下,检测效果较好,但存在以下缺陷:参数设置复杂,检测效果对参数要求较高;异常数据并不是存在于所有属性上,只存在于某些影响数据稳定性的属性上;当数据集分布不均匀时,可能会出现偏差,不能有效地检测出异常点。

为了解决上述问题,提出了一种基于改进距离和的异常数据检测算法;对于终端的不确定性选择属性困难的问题,引入了“属性隶属度”的概念;……

登录APP查看全文

猜你喜欢

检测
QC 检测
小波变换在PCB缺陷检测中的应用