刘猛

一种基于云计算的高效数据挖掘框架研究

刘猛

云计算可按软件即服务（SaaS）的形式提供数据挖掘的结果。数据挖掘的性能和质量是云计算环境下数据挖掘应用的重要使用标准。文中提出一种基于云计算的数据挖掘应用及其数据集的分布和调度框架，该框架实现了基于云计算的K均值聚类方法，并将其作为云软件即服务（SaaS）来提供给用户，其主要目标是降低应用的总体运行时间，将挖掘质量的损失最小化。仿真结果表明，相比于已有方案，其方案在速度获得显著提升的同时，挖掘质量损失最小。另外，当聚类数量和数据集的规模上升时，挖掘质量也具有良好的扩展性，可促进本文方案在云服务提供商中的应用。

云计算；数据挖掘；K均值聚类；总体运行时间

0 引言

云计算[1]作为一种新兴技术，使得人们对可配置的共享计算资源能随心所欲的访问，只需极少量的管理或服务提供商的交互，即可迅速供应和发布这些可配置共享资源。云计算包括3种服务模型：云软件即服务（SaaS），云平台即服务（PaaS），基础设施即服务（IaaS）。SaaS提供商为用户提供可以运行的应用，方便用户快速获得相关结果。PaaS提供商为用户应用的云部署提供条件。IaaS提供商为用户提供运行应用所需要的处理、存储和网络能力。

云计算是许多科学和工程应用的潜在高性能方案[2]。许多研究人员试图利用Hadoop[3]等分布式数据挖掘工具来提升数据挖掘应用的性能。然而，使用该工具来处理大数据中的数据挖掘应用的复杂度较高。……