人力资源统计数据异常的数据挖掘检验
2015-02-18唐雪莲王姗姗
统计与决策 2015年9期
唐雪莲,王姗姗
(1.宁波大红鹰学院 经济管理分院,浙江 宁波315175;2.浙江工商大学 杭州商学院,杭州 310018)
0 引言
数据挖掘,是指从大量数据中找出具有潜在价值的、可理解的、新颖的、有效知识的整个过程,从而为决策者提供可靠的决策支持。数据挖掘共分为确定目标、准备数据、建立模型、模型评估四个操作环节。在数据挖掘技术基础上发展起来的数据异常检测,是为了检测出数据中与绝大部分数据有差异的对象,通常将这些对象称为离群点。这些差异对象的产生,可能与数据来源不可靠、数据发生自然变异、数据收集误差、数据测量不当等因素有关。在数据挖掘问题中,绝大部分都认为离群点是噪声,认为其影响非常小,甚至还会直接忽略其影响。但是在实际问题中,这些离群点的作用可能比普通节点更为重要,如欺诈检测中的离群点就有可能是欺诈行为,所以在数据挖掘中进行离群点检测是一项有意义的研究。
在数据异常检测方面,国际上的研究成果较多,海量分布式数据库就是在传统异常检测中融入新兴技术的典范。在现实生活中,数据异常检验技术的应用十分广泛,如网络入侵、欺诈行为检测以及医疗病例分析等。国内的数据挖掘技术起步较晚,在研究方法方面尚不成熟,在政府数据统计工作中也较少应用该项技术,统计工作中应用较多的就是OLAP方法。近年来,国内也有政府部门逐渐开始应用厂商生产的基于数据挖掘的统计信息系统,如马克威统计系统。……
登录APP查看全文
