基于改进的K-means聚类方法的多站数据关联异常检测
2016-12-12邵开霞陈淡泊周晓峰
微型电脑应用 2016年11期
邵开霞,陈淡泊,周晓峰
基于改进的K-means聚类方法的多站数据关联异常检测
邵开霞,陈淡泊,周晓峰
在传统的水文时序数据研究中,我们通常只关注单个测点的时序数据,这不仅造成数据大量的冗余,还大大增加了工作的繁琐度。本文针对时间序列数据聚类的统计特征和结构特征,基于滑动窗口特征提取算法提出了改进的K-means聚类方法,来探求水文时间序列数据是否在空间上存在某种关联,并在此基础上对多水文站数据进行关联异常检测。
特征提取;K-means聚类方法;异常检测
0 引言
时间序列是一类重要的数据对象,在经济、气象、医疗等领域都普遍存在,它们具有数据量大、维数高、更新速度快等特点。近年来许多学者在时间序列的挖掘方面做很多工作,相关的研究主要集中在时间序列分割、序列聚类和分类、相似查询、模式发现等研究方向。所谓的时间序列就是一系列按照时间先后顺序记录的各个观测值。相对正常时间序列数据而言,尽管异常数据数量很少,然而这并不代表异常数据不重要,相反,这些少数的异常数据却可能隐藏着重要的信息。
聚类分析是将样本分配到不同类的过程,K-means方法是一种最经典的聚类分析方法,应用也是最为广泛的聚类方法,该方法以各类样本的质心代表该类不断迭代,只适用于数字属性数据的聚类,对超球形和凸形数据有很好的聚类效果。由于传统的K-means算法需要自己指定K值大小,存在着过分依赖经验和遍历尝试的缺点,本文引入了 AIC准则(Akaike information criterion)对数据集进行先验测试,得出可以知道K值设定的结果。……
登录APP查看全文
