基于密度峰值优化的Canopy-Kmeans并行算法*
2018-03-13张平康
通信技术 2018年2期
李 琪,张 欣,张平康,张 航
0 引 言
聚类分析作为统计学的一个分支,已经被广泛研究和使用了多年。它是数据挖掘中非常重要的一部分,是从数据中发现有用信息的一种有效手段。聚类基于“相似同类,相异不同”的思想,将数据对象分组为若干类或簇,使得在同一个簇中的对象之间具有较高的相似度,而不同簇中的对象差别很大[1]。通过聚类,人们可以了解数据的分布情况,也可能会发现数据内事先未知的群组。
K-means算法是聚类分析中的经典算法,自20世纪60年代提出,已成为目前应用最广泛的聚类方法之一。K-means算法具有理论思想可靠、算法数学思想简单且易于实现、收敛速度快等优点,但算法本身存在缺陷,需要预先确定聚类数目K的值,且随机选取的K个初始中心点可能会使聚类结果产生局部最优解,算法效果受噪声点影响大。针对K-means算法存在的缺点,学者们从不同角度提出了改进方法。文献[2]提出一种优化初始中心点的算法,采用密度敏感的相似性度量来计算对象密度。文献[3]提出运用Canopy[4]算法和K-means算法结合,解决初始中心点选择问题,但Canopy算法初始参数的确定也需依靠人工选取,因此效果并不稳定。文献[5]提出了用最大距离法选取初始簇中心的K。文献[6]提出一种基于最大最小化准则的Canopy-Kmeans算法。
在学者们对传统K-means算法进行改进的同时,互联网不断发展,数据规模呈现爆炸式增长,传统的串行聚类算法已经无法满足当前处理海量数据的需求。而基于Spark与Hadoop等的开源分布式云计算平台的出现,为解决这一问题提供了很好的方案。……
登录APP查看全文
