基于预测强度的变量自动加权K-Means算法的研究与应用
2016-09-09盛靖友张洪伟
四川轻化工大学学报(自然科学版) 2016年2期
盛靖友,张洪伟
(成都信息工程大学计算机学院,成都610225)
基于预测强度的变量自动加权K-Means算法的研究与应用
盛靖友,张洪伟
(成都信息工程大学计算机学院,成都610225)
为了克服传统K-Means算法k值不能确定问题和不具备变量自动选择能力,将预测强度和变量自动加权K-Means算法相结合,提出基于预测强度的变量自动加权K-Means算法。预测强度表示聚类模型对未知数据的预测能力,预测能力越强,则聚类结果越佳,主要用于k值的确定;变量自动加权K-Means算法具有在聚类过程中自动调整变量权重的能力,对于噪声变量和冗余变量削弱其对距离的贡献,使聚类结果反映最真实的聚类结构。实验表明,算法具有较强的分类能力和预测能力。
K-Means;预测强度;变量自动加权
引言
聚类分析是数据挖掘的一项基本任务[1],K-Means算法是一种非常经典的聚类算法,因为其简单、高效和快速收敛的特点而得到广泛应用[2]。K-Means算法在聚类过程中将数据对象中的每个变量都同等对待,但在大多数情况下真实的聚类结构仅限于变量集合的一个子集上,噪声变量和冗余变量通常会掩盖真实的聚类结构;同时,K-Means算法在执行前,需要事先指定k值,而在大数据聚类时几乎是不可能提前预知k值的。

聚类分析是无监督学习[10],学习到的模型对未知数据的预测能力称为泛化能力,如果一味追求对已知训练数据准确率,而忽略对未知数据的预测能力,则会出现过拟合的现象[11]。预测强度作为衡量训练模型对未知数据预测能力强弱的指标,很早就被提出来了,预测强度的思想是一个好的聚类结果应该能对未知的样本进行预测,且预测的结果与该样本自身的聚类结果做到很好的吻合[12]。……
登录APP查看全文
