APP下载

孤立森林算法研究及并行化实现

2021-07-06王诚,狄萱

计算机技术与发展 2021年6期
关键词:检测

王 诚,狄 萱

(南京邮电大学 通信与信息工程学院,江苏 南京 210003)

0 引 言

异常检测是近年来数据挖掘中热门的研究课题之一,被广泛应用于医保欺诈[1]、网络入侵[2]、医疗诊断[3]等领域。随着物联网、云计算等技术的不断发展,数据量日渐增长,传统单机版异常检测算法难以对大规模数据进行高效检测。因此,针对大规模数据设计相应算法,具有重要的应用价值。近年来,已有的异常检测算法分为三类,分别是基于统计[4]、密度[5]和聚类[6]的算法。Liu等[7-8]提出的孤立森林算法,通过计算测试数据在已构建的孤立森林模型下的平均路径长度代入公式求其异常值,该算法大大减少了计算时间,适用于高维数据。Liao等[9]提出一种基于信息熵的改进孤立森林算法,该算法通过计算数据集中各个特征下的信息熵,优先选择信息熵小的特征作为切割特征,并且改进了路径长度的计算公式,对噪声特征具有较强的抵抗性。Yang等[10]提出了一种基于孤立的嵌入式无监督特征选择(IBFS)算法,该算法通过计算孤立森林在训练过程中每个特征的得分,选出表现优异的特征集合进行异常检测,提高了异常检测精度。Yong等[11]根据Hadoop平台业调度机制和孤立森林算法的思想,将孤立森林算法的模型构建和异常预测两个过程进行了并行化设计,但其运算过程中需要多个MapReduce操作完成并行运算,多次读写硬盘,耗费大量时间。

孤立森林算法异常检测不需要计算距离和密度,避免了大量的计算,因此能够更好地支持高维数据的异常检测,同时孤立森林的每棵孤立二叉树的构建过程都是独立的,能够利用分布式平台对孤立森林算法进行并行化设计。……

登录APP查看全文

猜你喜欢

检测
QC 检测
小波变换在PCB缺陷检测中的应用