冯 鑫 汤 鲲

（1.武汉邮电科学研究院 武汉 430074）（2.南京烽火天地通信科技有限公司 南京 210019）（3.南京烽火星空通信发展有限公司 南京 210000）

1 引言

短文本在网络上是普遍存在的，无论是在传统的网站上，如网页标题、文本广告和图片说明，还是在新兴的社交媒体上，如微博评论、知识问答、网购后的评价等都是短文本，它们不像传统的普通文本，这些短文本字数不多，很简练。随着大规模短文本数据集的出现，从它们中推断潜在的主题对于内容分析非常重要，也有巨大的商业价值。短文本内容的稀疏性给主题建模带来了新的挑战，在建模过程中几乎所有的模型都将每个主题看作是单词的分布，每个主题下的单词通常根据相关的概率进行排序，排序在前面的单词可以用来表示主题，然而，很多时候很难将文本主题的内容提取准确，如“薪资”、“工作”这两个词对之间具有相关性，可以通过语义联系将它们归为同一个话题“求职”，而不是单独地分开归为独立的主题，这种考虑词对之间的相关性有效降低了矩阵的维度，使主题提取的效果更好，因此，本文结合CRP［1～2］考虑到了词对之间的相关性，提出基于BTM［3］的Dirichlet过程［4］的GB⁃DP模型来解决稀疏性问题，该模型引入了词间的相似性，也考虑到词对之间的相似性，对短文本中的所有词对进行相似性矩阵的计算，这样不仅仅解决了短文本数据稀疏的问题，也将词汇之间和词对之间的相关性考虑进来，增强了捕捉主题的准确性，更加深入挖掘了文本语义。……