孙 红，陈强越

(上海理工大学 光电信息与计算机工程学院，上海 200093)

1 引 言

随着信息技术的不断发展，互联网已经成为信息传递的主要媒介.如今，每天都会产生难以估量的文本信息，对这些信息进行分类，既方便运营商的管理，又使得普通大众能够有选择地阅读自己感兴趣的内容.如何对这些文本进行快速高效的分类，是文本分类研究的热点问题.

由于文本数量庞大，人工进行文本分类显然不可取.随着机器学习和深度学习的发展与应用，相关方法被越来越多的应用到文本分类中.

Kalchbrenner[1]提出了动态卷积神经网络模型(DCNN)，使用k-max池化，并与卷积层交替的结构.Kim[2]提出了一个基于卷积神经网络(CNN)的文本分类模型，该模型通过word2vec获得输入的词向量，并将此作为卷积神经网络的输入.Johnson[3]等提出了一种新型的CNN结构DPCNN，可以有效提取文本中的远程关系特征，同时避免了复杂度的堆砌.Hochreiter[4]等基于循环神经网络[5](RNN)，提出了长短时记忆网络(LSTM)，弥补了传统循环神经网络梯度消失或梯度爆炸的问题.Chung[6]等在此基础上，提出GRU模型，提高了训练的效率.Joulin[7]等人提出了一种简单高效的文本分类器FastText，FastText将文本视为词袋，并使用n-gram作为附加功能来捕获词序信息.Devlin[8]等人提出了双向编码模型BERT(Bidirectional Encoder Represent-ation from Transformers)，在大量语料训练基础上，同时考虑了词语在不同上下文的特殊表达，形成动态词向量的输出.杨[9]等人提出多特征融合的模型，从不同层面对文本特征进行提取.

上述方法对文本分类的贡献大多体现……