APP下载

基于CWMD和SP的微博话题发现算法

2021-05-20方梁雨

关键词:文本模型

孙 悦,罗 倩,方梁雨

(北京信息科技大学 信息与通信工程学院,北京 100192)

0 引言

2020年新浪微博第一季度财报数据显示,截至 2020 年 5月,微博的月活跃用户已达5.50亿,同比呈增长趋势。微博发布的信息往往具有时效性短、动态性强和结构不规范等特点[1]。从大量的文本数据中发掘出有价值的信息,具有重要意义。

微博话题发现过程就是一种有价值信息的发掘过程,其中最重要的环节是文本聚类过程。常见的聚类算法有基于划分的K-means聚类[2],基于密度的DBSCAN算法[3],基于层次的Single-Pass算法[4]。武国胜等[5]对文本聚类使用了改进的密度峰值算法,使用潜在语义分析模型(LSA)进行建模,使用密度敏感距离作为聚类的标准。Wang等[6]使用Word2vec对文本进行表示,引入了Canopy算法对文本进行K-means聚类。刘金硕等[7]使用LDA模型表示文本,并使用K-means算法对文本进行聚类处理,在食品安全文本类的数据集上进行算法验证。车蕾等[8]融合了向量空间模型、潜在狄利克雷分配模型和构建命名实体模型3种方法,使用Single-Pass算法进行新闻话题的发现。

这些聚类的相似度策略采用传统的欧氏距离、余弦距离来计算文本之间的距离,用于相似度判断的标准,忽略了当文档词数不同时,词与词之间存在的“一对多”关系。因此,本文使用融合了余弦距离和WMD(word mover′s distance)的CWMD(cos-word mover′s distance) 来计算文本之间的距离,并且使用TF-IDF值代替WMD中的词频权重。同时,在微博话题发现中,因无法确定聚类后簇的个数,所以K-means算法并不适用;DBSCAN基于密度聚类,不能增量式聚类,即新到来的数据无法对已有的簇产生影响,也不适用于微博话题的检测。……

登录APP查看全文

猜你喜欢

文本模型
一半模型
初中群文阅读的文本选择及组织
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
FLUKA几何模型到CAD几何模型转换方法初步研究
如何快速走进文本