微博数据下突发事件在线检测的研究
2020-08-26方中纯宋平
方中纯 宋平

摘要:为了改善现有突发检测的不足,提出一种融合词特征和Strom框架的突发事件在线检测模型。在基于词特征的检测模型的基础上,使用Strom分布式框架,结合层次聚类算法,在线检测微博事件中的突发事件。实验结果表明进行检索评估测试时取得了较好结果,很好的实现在线检测。
关键词:突发事件;Strom框架;层次聚类;在线检测
中图分类号:TP391 文献标识码:A
文章编号:1009-3044(2020)20-0211-02
Research on Online Detection of Emergency Events under Weibo Data Stream
FANG Zhong-chun1, Song Ping2
(1.Engineering and Training Center.Inner Mongolia University of Science and Technology, Baotou 014010. China; 2. InformationEngineering School, Inner Mongolia University of Science and Technology, Baotou 014010, China)
Abstract : In order to improve the shortcomings of the existing burst detection,an online event detection model comhining word fea-tures and Strom framework is proposed.On the basis of the word feature-based detection model,the Strom distributed framework iscombined with a hierarchical clustering algorithm to detect unexpected events in Weibo events online.The experimental resultsshow that good results are obtained during the retrieval evaluation test.and the online detection is well achieved.
Key words : emergencies; storm framework; hierarchical clustering; online detection
1引言
微博作为分享简短实时信息的社交网络平台,在对突发事件的报道上要远快于传统媒体的正规报道,消息的传播也更快速,更能形成热门话题,但是在高效传播的同时,也带来了各种形式的数据,如何及时准确地检测出微博中突发事件,进行必要舆情管控与社会引导,一直以来是研究的热点。
针对微博突发事件检测的研究方法大致分为两类:(1)基于突发词特征的方法,文献[1]利用多种词特征提取时间窗内的突发词,基于层次聚类产生话题。该方法效率较高,但在突发检测的精度上欠佳;(2)基于文本的方法,文献[2]引用LDA模型,与时间序列结合,弥补LDA模型在进行短文本检测时的不足,但是时间复杂度较高,数量的选取也受人为因素的干扰。
基于以上分析,本文利用Strom分布式框架,参考文献[3]提出的情感过滤对单位时间内的数据流进行预处理,通过词特征的突发检测模型得到词集,构建相似矩阵,使用层次聚类算法,生成簇集,得到突发话题簇,完成在线检测。
2在线检测模型的实现……p>
