李 想，王卫兵，尚学达

（哈尔滨理工大学计算机科学与技术学院，哈尔滨 150080）

（∗通信作者电子邮箱wangweibing163@163.com）

0 引言

面临着信息过载问题的日益严重，对于各类文本信息进行“降维”处理显得格外重要，其中文本摘要是一个有效的解决方式。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。生成式摘要根据原文，允许生成原文本中没有的词语或是进行同义替换来生成摘要。

目前工业领域所使用的抽取式摘要已经愈发成熟并得到了广泛的应用，与之相比生成式摘要难度更大且更具有挑战性。文献［1］提出的Seq2Seq（Sequence-to-Sequence）模型在生成式任务中取得了重大突破，随后基于长短时记忆（Long Short Term Memory，LSTM）神经网络的Seq2Seq模型在生成式摘要的任务中也得以广泛应用。随着文献［2］模型的提出，Transformer 在机器翻译等任务中的表现超越了基于LSTM 实现的Seq2Seq 模型，随后文献［3］也证明了Transformer 在抽取式的摘要中同样拥有良好的表现，所以本文旨在验证采用Transformer 来实现生成式文本摘要任务是否可以取得更好的结果。

然而无论是Transformer还是Seq2Seq，在生成式任务中都面临着两个相同的问题:第一点是生成的文本中含有大量的重复词，第二点是生成的词表无法覆盖（Out Of Vocabulary，OOV）全部的生成词汇，从而导致了生成的文本准确率降低。

本文基于文献［4-5］在机器翻译任务出现重复的问题所使用的Coverage Vector 同样适用于摘要任务中，实验结果表明引入Coverage 机制减少了重复率。……