不平衡数据集异常检测和分类算法
2023-10-07陈湘媛王冠男崔艳辉
电力系统及其自动化学报 2023年9期
樊 芮,陈湘媛,王冠男,崔艳辉
(1.国网湖南省电力有限公司供电服务中心(计量中心)智能电气量测与应用技术湖南省重点实验室,长沙 410004;2.国网征信有限公司,北京 100055)
异常检测是数据挖掘领域中的一个重要研究方向,目标是从数据集中自动检测和识别出有别于其中大部分数据的异常部分,在生物医学疾病诊断、金融财经欺诈检测、信息安全故障诊断和工业系统入侵检测等领域得到了广泛应用[1-2]。
目前国内外学者对异常检测的研究主要分为基于统计理论的方法、基于聚类的方法、基于分类的方法和基于神经网络的方法4大类。其中,基于统计理论的方法认为自然界中的数据集都可以用某种确定的概率分布模型进行建模,集合中与该模型概率分布不符的数据点即为异常数据[3-4];基于聚类的方法根据数据集的相关程度将其划分为不同的簇,与簇中心相关程度较小的样本即判决为异常数据,作为一种无监督方法,该类方法不需要训练集,并且原理简单,容易实现[5-7];基于分类的方法通过挖掘并提取带标签训练数据集内不同类别样本之间的差异性信息,并利用该信息学习得到最优分类函数,从而实现对测试数据类别属性的判断,由于带标签训练样本集的使用,该类方法得到的检测性能通常优于基于聚类的方法[8-12];基于神经网络的方法是近年来随着人工智能和深度学习技术的发展而兴起的一种新方法,以卷积神经网络、多层感知机等方法为代表,由于具备自适应、自学习和非线性逼近能力,得到了广泛应用[13-14]。……
登录APP查看全文
