彭玉青，高红灿，张媛媛，董 良

(河北工业大学计算机科学与软件学院，天津 300401)

基于Hadoop的微博热点话题发现的聚类算法

彭玉青，高红灿，张媛媛，董 良

(河北工业大学计算机科学与软件学院，天津 300401)

针对海量微博数据无法高速、精准发现热点话题的问题，基于Hadoop大数据处理技术，提出了一种面向微博热点话题发现的文本聚类算法。利用大数据处理平台Hadoop下开源机器学习软件库Mahout，将文本聚类和热点话题相结合，对基于余弦距离测度的K-means算法进行改进，通过对不同区间范围的余弦距离进行适当的增大或缩小，提高了微博热点话题聚类结果的簇内聚集度和簇间分离度。实验结果表明，采用修改余弦距离的改进的K-means算法，微博热点话题聚类结果的簇内距离减少了2.72%，簇间距离增大了4.12%，召回率和准确率也分别提高了7%和6%，有效的提高了微博热点话题发现的聚类质量。

话题发现；K-means聚类算法；簇内距离；簇间距离；Hadoop；Mahout

0 引言

在一定的时间与范围内公众最为关心的话题称为热点话题，最早源于DARPA开展的话题监测与跟踪（Topic detection and tracking，TDT）[1]项目。TDT技术可以对文档自动归类并建立话题[2-3]。实现话题检测的基本方法是对文本进行聚类，聚类的质量很大程度取决于一个簇内样本对象的相似程度。文本的相似性可以使用一种距离来测量，不同的距离测量标准将会影响聚类的质量[4]。在文本聚类中，许多距离测量已经被提出，如欧式距离、平方欧氏距离、余弦距离和曼哈顿距离等。

许多学者对文本聚类做出了深入的研究，并提出了最适合文本的聚类方法。……