朱向其 张忠林* 李林川 马海云

1(兰州交通大学电子与信息工程学院 甘肃 兰州 730070)2(天水师范学院电子信息与电气工程学院 甘肃 天水 741001)

0 引 言

当今信息传播主要还是依赖文本的形式，而短文本能够传达即时的信息，例如新闻标题、微博推送等。如何高效正确地分类中文短文本，一直受到广泛的研究。

中文短文本分类最重要的问题是如何表示短文本，传统的文本表示方法主要是基于词袋模型[1]，但该方法未考虑词序和词语之间的语义信息，导致分类效果不理想。针对这个问题，有学者从外部引入语料库对文本进行特征扩展，进一步对人工标注好的短文本数据进行特征处理，丰富语义关系[2-3]，但是该方法要求高质量的语料库。另外Phan等[4]通过pLSA和LDA等[5-7]模型挖掘文本的语义信息，利用支持向量机(SVM)同时在主题特征空间上构建短文本的空间向量进行分类，获得了较好的效果。虽然这些传统的分类方法可以在一定程度上提高文本分类的效果，但针对中文短文本分类固有的特征稀疏、语义不足和维度过高等问题效果不佳。

深度学习已广泛应用于自然语言处理领域。神经网络语言模型(NNLM)是由Bengio等[8]在2003年率先提出，Mikolov等[9]对此模型做出改进，并提出基于神经网络的Word2Vec模型。利用其生成的词向量引入了语义特征，解决文本特征表达问题，但是该模型会存在多义词的问题，不能区分多义词的不同语义。艾伦研究所在NAACL 2018年发布的ELMo模型提供了一种简洁的解决方案，根据当前上下文对词向量进行动态调整解决这个问题，处理了句法和语义信息。……