沈炜域

摘 要：有别于RNN和CNN，动态路由与注意力机制为捕捉文本序列的长程和局部依赖关系提供了新思路。为更好地进行文本编码，尽可能多地保留文本特征、增加特征多样性，基于动态路由与注意力机制的思想，整合胶囊网络和自注意力网络的语言信息特征抽取能力，构建一种深度网络模型CapSA，并通过3种不同领域的文本分类实验验证模型效果。实验结果显示，相较于几种基于RNN或CNN的模型，基于CapSA模型的文本分类模型取得了更高的F1值，表明该模型具有更好的文本建模能力。

关键词：胶囊网络;动态路由;注意力机制;文本建模

DOI：10. 11907/rjdk. 182730

中图分类号：TP301文献标识码：A文章编号：1672-7800（2019）001-0056-05

Abstract： Compared with RNN and CNN， dynamic routing and attention mechanism provide some new ways to capture the long-term and local dependencies. Based on the ideas of dynamic routing and self-attention， this paper proposed CapSA（Capsule-Self-Attention）， a deep neural network， to better model text sequences， retain features as many as possible and increase the diversity of features. This paper verified the effectiveness of the proposed model by text classification experiments in different fields. The results show that the text classification model based on CapSA gained higher F1-score than several strong models based on RNN and CNN， indicating that CapSA has better text modeling performance.

0 引言

在将文本转化为向量表示的过程中需对文章或句子建模，这是许多自然语言处理的重要步骤。好的文本建模不仅需提取足够充分且最有类别代表性的文本特征，还应能编码上下文的依赖关系。传统自然语言处理中的文本建模方式如n-gram，需占用大量内存空间。而近来神经网络模型被广泛应用于文本表示学习。这些方法基本上以词嵌入表示作为输入，利用RNN[1]或CNN[2]产生上下文有关的文本表示，最后通过一定的操作，如池化等，将变长文本转化为定长向量。从2017年开始，许多工作使用自注意力机制[3-4]学习文本表示。自注意力机制可以不考虑词之间的距离、直接计算依赖关系，与RNN、CNN等配合使用，学习一个句子的内部结构。自注意力网络甚至可脱离CNN和RNN，单独作为一个网络层，出色地解决NLP领域的任务。……