党宏社，陶亚凡，张选德

陕西科技大学 电气与控制工程学院，西安710021

1 引言

文本摘要生成是自然语言处理的一个重要的方向，要求机器阅读一篇文章后自动生成一段具有概括性质的内容[1]，比如生成摘要[2]或标题[3]。与一些其他的应用不同，如机器对话[4]、机器翻译[5]等输入和输出文本的长度较为接近，文本摘要的输入的文本长度往往远大于输出的文本长度，输入与输出的不对称也使得其较为特殊，因此诞生了一种抽取式的方式[6]——在原文中寻找重要的部分，将其复制并拼接成生成的摘要[7]，但是抽取的单词往往因为缺少连接词而不连续，而且无法产生原文中不存在但是需要的新单词。因此人们需要一种类似人类书写摘要的方法，先阅读文章并理解，再自己组织语言编写摘要，摘要与原文意思接近且主旨明确。随着序列到序列（Sequence-to-Sequence，Seq2Seq）模型的成功[8]，使用递归神经网络（Recurrent Neural Networks，RNN）来阅读文章和生成题目成为可能[9]。

但是常规的Seq2Seq模型[10]存在一些问题，首先，进行摘要生成任务之前，需要先建立固定大小的词汇表，在处理文本时将文本的每个单词用其在词汇表中的索引代替。但是几乎所有的文章都会出现词汇表中没有的（Out-of-Vocabulary，OOV）单词，如人名、地名、比分等，当常规Seq2Seq 模型遇到这些单词后，只能将其统一视作不认识的单词（Unknown Word，UNK），因此输出也经常会出现UNK[11]。目前该问题已经有较好的解决方案，如指针网络[12]。

然而有很多其他的问题目前并没有统一的解决方案。在生成多句话的摘要时，常常会生成重复的单词或句子[13]。……