任新社+陈静远

摘要：在云计算背景下，海量数据信息相互影响，对原本的关联规则形成冗余干扰，导致当前以线性思维为主导的挖掘平台受到冗余干扰的影响，挖掘效率低下。为此，在分析传统方法弊端的基础上，提出了基于分布式思维的数据挖掘平台设计方法。为了解决冗余干扰问题，设计了一种冗余消除算法，以计算区域之间的相似度，形成分布式挖掘关联。试验结果证明，这种分布式数据挖掘平台可达到数据搜索简单、快速，且降低成本的目的。

关键词：云计算；分布式思维；分布式系统；数据挖掘

DOIDOI：10.11907/rjdk.171008

中圖分类号：TP319

文献标识码：A 文章编号：1672-7800（2017）006-0094-03

1 线性思维下数据挖掘平台存在的问题

当今，每天数十亿用户的各种操作产生了海量数据信息，对这些信息的存储、处理分析与数据挖掘成为互联网的主要技术问题。当前的大型数据挖掘平台设计主要以线性数据关联规则挖掘算法为理论依据，对海量数据下的数据库中的知识进行智能化发现，是一种基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等各种技术的一系列决策过程[1-3]。

当前以线性思维为主的数据挖掘平台设计流程包括数据准备、数据挖掘、结果表达3个阶段。数据挖掘平台设计的具体步骤为：①问题定义。清晰问题、确定目标，是数据挖掘的关键一步。因其结果的无法预测性，要求挖掘人员熟悉对应的知识，使领域专家和用户明确搜索需求；②数据准备。分为数据选择、预处理和数据转换3个步骤。……