离群数据检测研究
2012-08-15赵向兵
山西大同大学学报(自然科学版) 2012年2期
赵向兵,白 伟
(1.山西大同大学数学与计算机科学学院,山西大同 037009; 2.太原广播电视大学,山西太原 030012)
离群数据检测研究
赵向兵1,白 伟2
(1.山西大同大学数学与计算机科学学院,山西大同 037009; 2.太原广播电视大学,山西太原 030012)
通过充分调研,对现有离群数据检测算法作了分析比较,总结出各算法的特点,并且探讨和展望了离群数据检测的几个热点问题,为离群数据检测算法的进一步研究打下基础。
离群数据;高维离群;数据流;分布离群
近年来,随着计算机硬件技术和数据库技术的飞速发展,许多行业建立了自己的数据库系统。随之而来出现了庞大的存储数据,这就需要有强有力的工具,检测隐藏在这些数据里难以被人们发现的重要信息。数据挖掘就是基于这种需求,引起人们广泛兴趣并迅速发展起来的一门学科。数据挖掘是从大量的、随机的、有噪声的、模糊的、不完整的数据中,检测出隐含于其中潜在的有用信息,从而为人们提供决策依据。离群数据检测作为数据挖掘的一种重要技术,在数据挖掘、机器学习和统计学领域等方面得到了广泛关注。其应用前景非常广阔,如:行用卡欺骗、金融领域、药物研究、气象预报、客户分类、电信诈骗、犯罪行为监测和网络入侵检测等。
到目前为止,离群数据没有被普遍采纳的定义,基于此Hawkins给出了揭示离群数据本质的定义:“离群点的表现与其它点如此不同,以至于怀疑它是由完全不同的机制产生的”[1]。早期的数据挖掘算法通常将离群数据作为噪声,去除掉离群数据来减少其对正常数据的干扰,但离群数据可能极有价值,因为一万个正常数据可能只包含一条有用信息,而一个离群数据可能正是此条有用信息。……
登录APP查看全文
