黄贤英,陈红阳,刘英涛,熊李媛

(重庆理工大学计算机科学与工程学院，重庆 400054)

一种新的微博短文本特征词选择算法*

黄贤英,陈红阳,刘英涛,熊李媛

(重庆理工大学计算机科学与工程学院，重庆 400054)

针对微博短文本有效特征较稀疏且难以提取，从而影响微博文本表示、分类与聚类准确性的问题，提出一种基于统计与语义信息相结合的微博短文本特征词选择算法。该算法基于词性组合匹配规则，根据词项的TF-IDF、词性与词长因子构造综合评估函数，结合词项与文本内容的语义相关度，对微博短文本进行特征词选择，以使挑选出来的特征词能准确表示微博短文本内容主题。将新的特征词选择算法与朴素贝叶斯分类算法相结合，对微博分类语料集进行实验，结果表明，相比其它的传统算法，新算法使得微博短文本分类准确率更高，表明该算法选取出来的特征词能够更准确地表示微博短文本内容主题。

微博短文本；特征词选择；统计与语义信息；词性组合；朴素贝叶斯分类算法

1 引言

随着微博的兴起，基于微博的信息挖掘与应用应运而生[1]，如微博短文本挖掘、话题趋势检测、情感倾向性分析等成为众多学者研究的热点，微博短文本特征词选择[2]算法是这些研究的基础。它主要是将文本中冗余、不相关词项剔除掉，保留对文本内容主题表达贡献度较大的词项作为特征词，在保证原文语义信息完整的情况下，准确地表示微博短文本内容主题，从而降低了特征空间维度，为微博短文本后续处理环节奠定坚实的基础。……