APP下载

基于反向k近邻过滤异常的群数据异常检测

2021-06-01吴金娥王若愚段倩倩李国强琚长江

上海交通大学学报 2021年5期
关键词:实验检测

吴金娥, 王若愚, 段倩倩, 李国强, , 琚长江

(1. 上海工程技术大学 电子电气工程学院, 上海 201600; 2. 上海交通大学 软件学院, 上海 200240)

异常检测技术通过对事物产生的数据进行分析和挖掘,能有效及时地发现事物中的异常数据,有利于预防和制止损失的产生.随着该技术的发展与成熟,已被广泛应用于网络安全、金融、医疗健康、国防军事等多个领域[1].根据待检测数据有无标签可将异常检测算法分为监督[2]、半监督[3]和无监督[4];依据异常类型的不同又可分为点异常、上下文异常和群异常[5].现有的技术大多是在有数据标签的情况下研究单个点的异常,而现实生活中的部分异常只能从无数据标签的群数据中挖掘出来.

监督或半监督的异常检测技术依赖于数据集所提供的带数据标签的正常和异常数据,该方法利用已知正常和异常数据训练模型[6],通过观察待测数据的数据模型与带标签数据训练出的模型之间的符合程度判别是否异常.而当待检测的数据集无已知正常或异常数据,如网络新型攻击发生时,使用监督式方法并不能检测出该异常.而在异常检测技术领域中,高检测率是该领域追求的最终目标,漏报和误报作为影响算法效率的根本原因,也是目前异常检测算法中普遍存在的问题.减少漏报和误报可以提升算法性能,对现实领域的应用具有重大意义.

异常或离群值指的是与正常数据有显著差异的数据点.早在19世纪,关于……

登录APP查看全文

猜你喜欢

实验检测
记一次有趣的实验
做个怪怪长实验
NO与NO2相互转化实验的改进
实践十号上的19项实验
小波变换在PCB缺陷检测中的应用
《实验流体力学》征稿简则