基于改进k-means算法的文本聚类
2018-05-09薛善良
计算机与现代化 2018年4期
蒋 丽,薛善良
(南京航空航天大学计算机科学与技术学院,江苏 南京 211106)
0 引 言
互联网的快速发展带动着电子商务的发展,电子商务会产生大量的数据,合理分析这些数据,从中挖掘出客户感兴趣的信息,将会给企业带来巨大的利润。在电子商务平台上进行数据挖掘已经成为研究的热点问题,而电子商务网站中存储的大多是非结构化数据,比如文本[1],因此,文本挖掘是面向电子商务进行数据挖掘重要的研究角度之一。
首先,与传统的数据挖掘相比,文本挖掘最大的特点是文本是非结构化的数据,为了把数据挖掘的算法应用在文本对象上,必须对文本进行处理,使文本最终表示为一种结构化形式[2]。传统的文本表示模型是以统计词频得出特征的权重形成向量,但这种方法忽略了词和词之间的语义性从而降低了聚类精度。其次,原始k-means算法在簇密集且簇与簇之间区别明显的数据中聚类效果较好,对文本聚类具有一定的局限性[3]。
1 k-means算法及Word2vec
1.1 k-means算法思想
1967年,MacQueen提出了k-means算法,它是一种基于划分的经典聚类算法[4]。该算法随机选择k个数据样本作为初始聚类中心,在每次迭代过程中,根据计算相似度将每个数据样本分配到最近的簇中,然后,重新计算簇的中心,也就是每个簇中所有数据的平均值。该算法结束的条件为聚类准则函数达到最优即收敛,从而使生成的每个聚类内紧凑,类间独立[5]。
1.2 k-means聚类算法步骤
Input:包含n个数据对象的数据集合D以及聚类数k。……
登录APP查看全文
