基于邻域值差异度量的离群点检测算法
2018-08-27袁钟,冯山
计算机应用 2018年7期
袁 钟,冯 山
(四川师范大学 数学与软件科学学院,成都 610068)(*通信作者电子邮箱fengshanrq@sohu.com)
0 引言
离群点是数据集中数据对象特征显著区别于其他数据对象的数据对象[1],其出现往往隐含或预示具有特殊意义的事件或现象发生。在入侵与欺诈检测、医疗处理、公共安全等领域,离群点检测技术具有十分重要的应用[2-4]。
离群点检测研究最早出现于统计学领域[5]。后来,Knorr等[6-7]将其引入到数据挖掘领域。现有离群点检测方法主要有三类:1)基于统计[5];2)基于邻近性[6-8];3)基于聚类[9]。其中,基于邻近性的离群点检测有基于距离、基于网格和基于密度三种方式。
符号型属性值是离散的,用传统距离法检测符号型属性数据集的离群点效果并不理想。为此,人们引入了粗糙集下的符号型属性离群点检测[10],但它基于等价关系和等价类建模,用于处理数值型属性数据集时要先对属性值离散化,既增加了处理时间,还带来了明显的数据信息损失,影响检测精准度。
为解决数值型属性的粗糙计算问题,结合邻域概念和邻域关系,文献[11]建立了邻域粗糙集模型,它是属性约简、特征选择、分类和不确定性推理研究中的重要工具[12];但是,利用邻域粗糙集模型进行离群点检测的研究并不多见,文献[13]进行了这方面的研究尝试,但是其邻域半径直接给定,具有较强的主观性和随机性。
针对离群点检测中传统距离法不能有效处理符号型属性和经典粗糙集方法不能有效处理数值型属性的问题,本文以邻域粗糙集模型为基础,提出了改进的邻域值差异度量(Neighborhood Value Difference Metric, NVDM)进行离群点检测。……
登录APP查看全文
