山东青年政治学院 高 强

基于向量空间的文本聚类算法

山东青年政治学院 高 强

聚类是一种非监督学习，以k-means为例，簇心的选取是个非常随机的过程，导致k值相同的情况下聚类的结果每次都不一样，又不好取个平均，所以聚类的好坏很难被评价出来。文本聚类是将一个个文档由原有的自然语言文字信息转化成数学信息，以向量空间点的形式展现出来，通过计算那些点距离比较近来将那些点聚成一个簇，簇的中心叫做簇心。一个好的聚类要保证簇内点的距离尽量的近，但簇与簇之间的点要尽量的远。通过对数字信息的聚类，使所代表的文本内容产生分类的结果，并能一定程度的保证文本聚类结果的精度。

聚类；文本聚类；向量空间

一、引言

文本挖掘是随着web的兴起，而发展起来，就文本挖掘本身来说，它不仅是一门单纯的数据挖掘技术，更融合了机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。和数据挖掘一样，文本挖掘仍然强调发现隐含的知识信息，但两者仍有很大的不同，这种不同在于，和传统的数据挖掘处理的对象相比，文本挖掘所面对的是大量的、异构的、分布式的web信息，这些信息可以是多种文件类型、或多种文字、甚至是文字流媒体，因此是半结构化、非结构化的信息。

由于在浩如烟海的互联网信息中，80%的信息都是以文本形式存放的，因此对web的挖掘是当前文本挖掘的主要方向，自然语言处理所要面对的基本问题是：采用什么方法，把非结构化的问题转化为结构化或半结构化，以致于能利用成熟的数学模型去解决。……