张小川 刘连喜 戴旭尧 刘 璐

1(重庆理工大学两江人工智能学院 重庆 401135) 2(重庆理工大学计算机科学与工程学院 重庆 400054)

0 引 言

目前，互联网中出现了大量的文本信息，准确地分类这些文本愈加重要。传统分类算法主要是基于专家规则和统计学习，前者受规则的限定而适用性范围窄，后者如SVM等仅能解决简单问题，面对复杂状况时泛化能力受到限制。

近年来，深度神经网络因优异的特征捕获能力而广泛应用于分类领域[1]。卷积神经网络(Convolutional Neural Network，CNN)具备特征学习能力和非线性建模能力，常用于图像和文本语义建模。文献[2]提出多样化特征信息的卷积神经网络(MF-CNN)，用于抽取语句的情感表示。文献[3]提出具有多尺寸特征关注度的密集型CNN结构，产生n-gram特征并用于分类。然而，CNN网络的并行性使其更关注文本局部粒度而忽略文本完整序列信息。循环神经网络(Recurrent Neural Network，RNN)与其相应的变体如长短期记忆(Long Short Term Memory，LSTM)网络、门控循环单元(Gated Recurrent Unit,GRU)更适合文本序列建模。文献[4]构建一种基于注意力机制的新型RNN网络，用以句子分类。文献[5]提出基于RNN的深度架构进行网页元标签信息的分类并测试转移学习的贡献度。文献[6]建立同时包含LSTM、注意力机制、卷积层的新型AC-BiLSTM网络，从高级别语义维度分类。文献[7]结合注意力机制与LSTM共同编码情感特征，提高分类准确率。文献[8]设计了双通道特征融合的WPOS-GRU专利分类模型，提取专利特征并分离。文献[9]建立具有用户和产品注意力机制的BiGRU网络，以获取多类别文本情感。

上述的一些分类算法刻画文本深层复杂语义能力较弱，此外，输入分类模型的文本表示不够全面，缺乏词性、词序等特征，导致分类效果不佳。……