武靖娜, 杨 姝, 王剑辉

(沈阳师范大学 教育技术学院, 沈阳 110034)



一种分布式大数据挖掘的快速在线学习算法

武靖娜, 杨 姝, 王剑辉

(沈阳师范大学 教育技术学院, 沈阳 110034)

在大数据分析处理中,存在诸多问题,如数据类型多,处理效率低,从中获得有用的信息和知识以便指导后续的决策,这是机器学习的最终目标。有效学习样本逐渐增加,据此如何高效渐进地学习分类器是一个非常有价值的问题。大数据分析要求大量数据流的分布式挖掘要实时执行,设计这样独特的分布式挖掘系统:在线适应传入数据的特征;在线处理大量的异构数据;在分布式学习者之间的有限数据访问和通信能力。提出了一个基本的数据挖掘框架,并基于此研究了一种高效的在线学习算法。框架包括一个整体学习者和只能访问不同输入数据部分的多个局部学习者。通过利用在局部学习者学习的相关性模型,提出的学习算法可以优化预测精度而比现有最先进的学习解决方案需要更少的信息交换和计算复杂度。

大数据分析; 分布式挖掘; 实时; 在线学习算法

0 引 言

大数据分析包括处理在不同分布式数据源中的异构数据生成互补的数据集[1-2]。因此,数据集不仅表现为他们极大的体积而且还表现为异构和数据的分布式采集。分布式数据挖掘技术[3]已经被提出来处理分布式数据在遗传算法方面也有所应用[4]。不同于传统的集中式数据挖掘系统,分布式数据挖掘系统通常使用集成学习技术包括在层次结构的最低层次上操作的全球数据集的子集的多个局部学习者[5-7]的层次结构,并且一个或多个集合的学习者组合所有局部学习者的输出。……