基于长短期记忆网络和滑动窗口的流数据异常检测方法
2020-06-07常相茂苏善婷
计算机应用 2020年5期
仇 媛,常相茂*,仇 倩,彭 程,苏善婷
(1.南京航空航天大学计算机科学与技术学院,南京211106; 2.河北工业大学人工智能与数据科学学院,天津300401)
(∗通信作者电子邮箱xiangmaoch@nuaa.edu.cn)
0 引言
随着传感器、监视测量技术的广泛应用和网络交易、安全监控、电信管理等应用的不断发展,产生了大量高速实时数据的无界序列,称为数据流。这些数据流中的数据被称为流数据[1-2]。在对流数据的分析处理中,异常检测一直是被广大研究人员重点关注的领域,特别是工业设备的监控、军事项目管理或是网络安全监测等,如果异常没有被及时发现,更是可能会造成破坏性的后果[3]。现阶段,流数据的大量增加也为数据的异常检测提出了新的要求。
流数据通常数量巨大且生成迅速,因此要求针对它的异常检测方法必须是实时的;其次,系统的统计数据可能会随着时间的推移而发生变化,这种现象被称为概念漂移[1]。传统的利用正常数据训练完成的模型进行异常检测的方法不再适用,模型必须做到及时更新来保证模型的检测有效。本文提出了一种基于长短期记忆(Long Short-Term Memory,LSTM)网络的异常检测方法,通过LSTM网络进行数据预测和异常识别,并利用滑动窗口对预测差值进行分布建模,为每个数据分配更加精准的异常分数,从而实现更加精准的异常检测。
异常是与历史模式不一致或偏离预期的一般比较罕见的事件,以至于怀疑它是由与正常数据不同的机制产生的,而异常值检测就被定义为“发现”这些与其他观察结果偏离的观察结果。……
登录APP查看全文
