万圣贤，兰艳艳，郭嘉丰，徐 君，庞 亮，程学旗

(1. 中国科学院 计算技术研究所，北京 100190; 2. 中国科学院大学，北京 100190)

用于文本分类的局部化双向长短时记忆

万圣贤1,2，兰艳艳1，郭嘉丰1，徐 君1，庞 亮1,2，程学旗1

(1. 中国科学院 计算技术研究所，北京 100190; 2. 中国科学院大学，北京 100190)

近年来，深度学习越来越广泛地应用于自然语言处理领域，人们提出了诸如循环神经网络(RNN)等模型来构建文本表达并解决文本分类等任务。长短时记忆(long short term memory，LSTM)是一种具有特别神经元结构的RNN。LSTM的输入是句子的单词序列，模型对单词序列进行扫描并最终得到整个句子的表达。然而，常用的做法是只把LSTM在扫描完整个句子时得到的表达输入到分类器中，而忽略了扫描过程中生成的中间表达。这种做法不能高效地提取一些局部的文本特征，而这些特征往往对决定文档的类别非常重要。为了解决这个问题，该文提出局部化双向LSTM模型，包括MaxBiLSTM和ConvBiLSTM。MaxBiLSTM直接对双向LSTM的中间表达进行max pooling。ConvBiLSTM对双向LSTM的中间表达先卷积再进行max pooling。在两个公开的文本分类数据集上进行了实验。结果表明，局部化双向LSTM尤其是ConvBiLSTM相对于LSTM有明显的效果提升，并取得了目前的最优结果。

文本分类；深度学习；长短时记忆；卷积

1 引言

近年来，深度学习越来越广泛地应用于自然语言处理领域。相对于传统的依赖于特征的机器学习方法，深度学习的目标是自动从原始数据中构建出更好的表达，从而降低人工提取特征的代价。目前深度学习已经在文本分类、语言模型及机器翻译等应用中取得了很好的效果[1-3]。……