张青 韩立新 勾智楠

摘 要：为了解决短文本稀疏性问题，提高主题模型的性能，提出了一种词向量嵌入的主题模型。首先，假设一篇文档只包含一个主题;其次，利用词向量对每一轮迭代的主题进行扩充与调整，即对每一个主题，利用一种非参数化的概率采样方法得到一些词，再用词向量找出相似词，提升该主题下相似词的权重;最后，用拉普拉斯近似主题分布，使其更好地运用在变分自动编码器训练中，从而加快训练速度。实验结果表明，本文模型训练出的主题具有较好的解释性，并优于其他主流的模型，可为短文本的主题提取提供更多的可能。在主题模型训练的过程中，利用词向量干预主题词分布可以得到较好的主题质量，并可以通过变分自动编码器加快训练速度，对自然语言处理问题的研究具有一定的创新性和参考价值。

关键词：计算机神经网络;主题模型;词向量;变分自动编码器;短文本

中图分类号：TP3891   文献标志码：A

Short text topic model based on word vector and

variational autoencoder

ZHANG Qing， HAN Lixin， GOU Zhinan

（College of Computer and Information， Hohai University， Nanjing， Jiangsu 211100， China）

Abstract： In order to solve the problem of short text sparsity and improve the performance of the model， a topic model embedded by word vector is proposed. Firstly， that a document contains only one topic is supposed. Secondly， we use word vector to expand and adjust the theme of each iteration. That is to say， for each topic， we use a non-parametric probability sampling method to get some words， and then use word vector to find similar words， so as to enhance the weight of similar words under the topic. Finally， a Laplace approximation to the topic distribution is constructed， so that it is better trained by the variational autoencoder， thus speeding up the training speed. The experimental results show that the model has much more interpretable topics and outperforms other mainstream training models， thus providing more possibilities for the topic extraction of short text. In the process of thematic model training， the use of word vectors to interfere with the distribution of thematic words can achieve better quality of themes， and can speed up the training speed through the variational autoencoder， which has a certain innovation and reference value for the research of natural language processing.

Keywords： computer neural network; topic model; word vector; variational autoencoder; short text

在推特、微博和百度知道等網络平台发展的过程中，短文本层出不穷。同时，短文本在搜索引擎、问答系统和话题跟踪等领域也发挥着重要的作用。如何从大量的短文本中挖掘出潜在主题，对于许多需要对文本内容进行理解的应用至关重要，例如：用户兴趣建模、评论总结、文本特征和分类等。

主题模型被广泛运用于文本的主题提取，传统的方法有pLSA[1]和LDA[2]，但是对于含有少量词的短文本来说，由于特征稀疏，这些方法是不容乐观的。……