时序数据挖掘的预处理研究综述
2021-07-11张友浩赵鸣徐梦瑶赵光晶
张友浩 赵鸣 徐梦瑶 赵光晶
摘 要:由于时序数据的海量、高维等特点,对原始数据进行预处理是实现时序数据挖掘的重要步骤。有效的预处理不仅能去除噪声、冗余,减低数据规模、提升计算效率,还能通过提取数据特征,揭示数据关系,有助于实施时序数据挖掘。本文从数据缺失、数据噪声、离群点/异常值、特征提取和模式表示几个方面,对已有的原理和方法进行分析归纳,为后续时序数据挖掘研究提供参考。
关键词: 时间序列;预处理;数据清洗;特征提取;模式表示
文章编号: 2095-2163(2021)01-0074-05 中图分类号:TP391.41 文献标志码:A
【Abstract】Due to the massive and high-dimensional characteristics of time series data, preprocessing the original data is an important step for time series data mining. Effective preprocessing can not only remove noise and redundancy, reduce the scale of data, and improve computing efficiency, but it can also reveal data relationships by extracting data features, which helps to implement time series data mining. This paper analyzes and summarizes the existing principles and methods from the aspects of data missing, data noise, outliers/anomalous value, feature extraction and pattern representation, and provides references for subsequent time series data mining research.
【Key words】time series; preprocessing; data cleaning; feature extraction; pattern representation
0 引 言
时间序列数据(Time Series Data)是指一系列依时间为序的观察值的集合。例如在设备运行状态监测、金融市场趋势预测、病人健康状态监测、交通流量监测,网络流量监测等领域,都会产生海量的时间序列数据。时变性是时序数据的重要特征,不同的应用背景,时序数据表现出的特性各不相同,对其进行分类的标准相应地也有所不同。按照时序数据变量数目,可分为单变量时间序列和多变量时间序列;按其变量特征,可分为平稳性时间序列和非平稳性时间序列;按其连续性,可分为连续时间序列和离散时间序列,等等。
对时序数据分析的目的在于揭示时间序列规律,并基于此规律预报未来事件,再通过干预来控制未来事件。时序数据分析经历了描述性时序分析、统计性时序分析、频域分析、时域分析,时间序列数据挖掘(Time Series Data Mining,TSDM)几个阶段。
由于时序数据具有高维度、高噪音、动态性及采集过程引起的数据缺失、数据冗余、离群点/异常值等特点,将直接导致后续处理分析耗费时间长,无法提取有用信息,甚至得出完全错误的结论。……
