基于词共现图的中文微博新闻话题识别
2012-11-26赵文清侯小可
智能系统学报 2012年5期
赵文清,侯小可
(华北电力大学控制与计算机工程学院,河北保定071003)
随着微博的飞速发展,微博作为一种通过关注机制分享简短实时信息的广播式的社交网络平台,吸引了越来越多的网民参与.微博改变了人们获取信息的方式,是一种能够观察和了解中国正在发生什么的实时民意调查系统.中国微博由一种单纯的社交工具,变成舆论监督的利器,参与并且影响着整个世界.因此从海量微博数据中检测出当前热点新闻话题,并对新闻话题进行情感分析,及时把握人们普遍关心的问题以及人们对热点新闻话题的看法,对事件监测、民意调查、行业调研等都有重要作用.
传统的针对普通网络信息(如新闻网页和博客等长文本信息)新闻话题识别的研究较早且相对成熟[1-2].一般将长文本中的词视为特征,首先利用特征向量来表示文本,并采用TF-IDF方法度量向量每一维(即每个特征)的权重;然后采用一定的聚类方法,将叙述相同或相似新闻话题的长文本聚类到同一类中[3].但对于微博来说,其文本长度短、信息量少,特征关键词不足以表示文本.而现有的文本聚类算法都是基于向量空间模型,利用词向量表示文本特征,文本相似度量依赖于2个文本中词语重叠的数量.当2个文本较长时,其重叠的词语可能足够描述文本的内容;但是当文本比较短时,文本间匹配的词数减少即相关词集规模较小,不足以准确描述文本内容,使得相……
登录APP查看全文
