基于信息增益的高维数据的异常检测算法
2021-11-22阎少宏葛子轩史冰冰
新一代信息技术 2021年18期
陈 晓,阎少宏,葛子轩,史冰冰
(1. 华北理工大学 理学院,河北 唐山 063210;2. 河北省数据科学与应用重点实验室,河北 唐山 063210;3. 唐山市数据科学重点实验室,河北 唐山 063210;4. 华北理工大学 电气工程学院,河北 唐山 063210;5. 华北理工大学 人工智能学院,河北 唐山 063210)
0 引言
异常存在于各个领域,比正常携带的信息更多也更为重要,这些信息可能是灾难性后果的预警或者标志,及时检测出异常尤为重要[1]。随着信息技术和网络技术的发展,数据集变得更加庞大,结构更加复杂,空间维度更高。这些问题导致异常检测的难度越来越大,同时也会带来召回率跟精确率下降的问题。文献[2]提出一种基于偏最小二乘(PLS)法和核向量机(CVM)组合式的异常入侵检测方法。文献[3]提出基于 KNN的累积距离的异常检测方法。文献[4]提出基于熵和改进的 SVM 多分类器的异常流量检测方法。文献[5]提出了一种基于迭代随机采样策略的排序算法。文献[6]提出一种信息熵加权的异常检测方法。上述算法大多应用于数据维度较小的数据集中,但是随着维度的不断增加,高维数据的异常检测会有精确率跟召回率下降的问题。针对高维属性对异常检测带来的维数灾难问题,本文提出一种结合信息增益方法和 Top-k算法的异常检测方法。
1 相关知识
1.1 聚类算法
聚类算法是一种无监督学习的典型算法,通常在异常检测中异常类数据较少甚至没有,因此不能直接借用监督型学习方法[7]。无监督异常检测方法因其简单、高效的特点,被广泛用于大数据中的异常检测[8]。……
登录APP查看全文
