基于LSTMs-Autoencoder的流数据异常检测算法
2021-11-06时磊
仪表技术与传感器 2021年10期
时 磊
(浙江工商大学信息与电子工程学院,浙江杭州 310018)
0 引言
随着计算机和大数据技术的不断发展,来自不同设备和应用所产生的高容量、高速度的数据流正稳步增长。其中,最重要的课题之一是对流数据的异常检测[1-3]。它在传感器数据异常检测、预测维护、事件检测等领域都得到了广泛的关注和研究。
对于不同类型的数据,有相应的异常检测方法。例如,文献[4]针对设备性能指标、用户数据指标的异常检测问题,使用k-means将历史数据按照时间进行划分,使用grubbs算法剔除历史数据中的噪音,提出了一种混合异常检测方法。文献[5]针对电力大数据流的异常检测问题,将流数据聚类算法与电力大数据相结合,从数据的完整性、安全性以及流数据聚类算法的低时间复杂度的角度出发,对CluStream流数据聚类算法进行改进,提出了一种流式K-means聚类算法。文献[6]为了准确检测空管监视技术中的ADS-B数据,在充分考虑时间相关性的基础上,提出了针对ADS-B数据的异常数据检测模型。文献[7]针对电力用户的异常用电行为,利用TensorFlow框架,构建了特征提取网络和多层特征匹配网络,提出一种基于深度学习的用户异常用电模式检测模型。
当前,大多异常检测模型为批处理模型,这就意味着整个训练集必须提前准备,这便成为当今大数据背景下的一个难点。近十年来,随着硬件技术的飞速发展,数据采集和分析的形式发生了重大变化。具体地说,在物联网应用中,数据是从连接到物联网设备的传感器获取的,并持续不断地到达。……
登录APP查看全文
