基于CWMD和SP的微博话题发现算法
2021-05-20方梁雨
孙 悦,罗 倩,方梁雨
(北京信息科技大学 信息与通信工程学院,北京 100192)
0 引言
2020年新浪微博第一季度财报数据显示,截至 2020 年 5月,微博的月活跃用户已达5.50亿,同比呈增长趋势。微博发布的信息往往具有时效性短、动态性强和结构不规范等特点[1]。从大量的文本数据中发掘出有价值的信息,具有重要意义。
微博话题发现过程就是一种有价值信息的发掘过程,其中最重要的环节是文本聚类过程。常见的聚类算法有基于划分的K-means聚类[2],基于密度的DBSCAN算法[3],基于层次的Single-Pass算法[4]。武国胜等[5]对文本聚类使用了改进的密度峰值算法,使用潜在语义分析模型(LSA)进行建模,使用密度敏感距离作为聚类的标准。Wang等[6]使用Word2vec对文本进行表示,引入了Canopy算法对文本进行K-means聚类。刘金硕等[7]使用LDA模型表示文本,并使用K-means算法对文本进行聚类处理,在食品安全文本类的数据集上进行算法验证。车蕾等[8]融合了向量空间模型、潜在狄利克雷分配模型和构建命名实体模型3种方法,使用Single-Pass算法进行新闻话题的发现。
这些聚类的相似度策略采用传统的欧氏距离、余弦距离来计算文本之间的距离,用于相似度判断的标准,忽略了当文档词数不同时,词与词之间存在的“一对多”关系。因此,本文使用融合了余弦距离和WMD(word mover′s distance)的CWMD(cos-word mover′s distance) 来计算文本之间的距离,并且使用TF-IDF值代替WMD中的词频权重。同时,在微博话题发现中,因无法确定聚类后簇的个数,所以K-means算法并不适用;DBSCAN基于密度聚类,不能增量式聚类,即新到来的数据无法对已有的簇产生影响,也不适用于微博话题的检测。……
