万新贵

(南京邮电大学 计算机学院，江苏 南京 210003)



分布式数据流挖掘技术综述

万新贵

(南京邮电大学 计算机学院，江苏 南京 210003)

网络信息技术的高速发展产生了新的数据模型，即数据流模型，并且越来越多的领域出现了对数据流实时处理的需求，庞大且高速的数据以及应用场景的实时性需求均推进了数据流挖掘技术的发展。首先介绍了常见的数据流模型；然后根据数据流模型的特点总结数据流挖掘的支撑技术；最后，分析了分布式数据流挖掘的重要性和有效性，给出了算法并行化的数学模型，并介绍了几种具有代表性的分布式数据流处理系统。

数据流模型；数据流挖掘；分布式；并行化；数据流处理系统

0 引言

数据流(Data Stream)常常产生于Web上的用户点击、网络入侵检测、实时监控系统或无线传感器网络等动态环境中。与传统数据集相比较，这些海量的数据流具有快速性、连续性、变化性、无限性等特点。海量的数据流、复杂的数学模型和高要求的时效性使得传统的数据挖掘面临巨大的挑战，数据流挖掘技术得到了迅猛的发展。

20世纪初，出现了诸如STREAM[1]、Aurora[2]等数据流管理系统(Data Stream Management System)。早期的数据流管理系统应用领域较为单一，并且大多采用集中式架构，虽然提供了基本算子，但是算子与底层模块的耦合度较高，难以实现扩展开发。随着技术的发展和需求的提升，分布式技术对数据流处理的重要性显现出来。

21世纪初，随着各类开放式计算平台的兴起，S4[3]、Storm[4]、Spark Streaming[5]以及Samza[6]等数据流处理平台相继被提出，分布式数据流处理技术已经成为热点。……