董张慧雅，张 凡，王 莉

(1.太原理工大学 信息与计算机学院，山西 太原 030600； 2.太原理工大学 软件学院，山西 太原 030600；3.太原理工大学 大数据学院，山西 太原 030600)

0 引 言

关于自动文摘的研究方法主要两种方法：抽取式方法[1]和生成式方法。抽取式方法主要提取原文中的重要句子或段落组成摘要，需要考虑摘要内容的相关性和冗余性。而生成式方法是基于对文档的理解，然后归纳总结生成摘要，所以它更接近摘要的本质，然而，在抽象概括方面仍有很大的改进空间，这也是我们研究的主要方向。Rush等[2]提出基于注意力的端到端网络模型来生成摘要，在此基础上许多工作都得到了改进；See等[3]提出了一种指针生成器网络(pointer-generator network)，该模型通过指针从文档中复制单词，解决了未登录单词(out-of-vocabulary，OOV)的问题，还增加了一种覆盖机制来解决输出重复的问题；Paulus等[4]提出一种目标函数，该函数结合了交叉熵损失与从策略梯度得到的奖励，减少了暴露偏差[5]；Liu等[6]将生成对抗网络[7]与强化学习的策略梯度算法[8]结合起来并应用到自然语言处理领域，它采用对抗策略训练网络，并取得较高的ROUGE分数[9]。Hsu等[10]提出了提取式和抽象式结合的方法生成摘要，使得文档的上下文向量表示更准确地反映了文档主旨。

以上方法都是基于单词层注意力对文档进行表征，忽略了句子信息，这对于非频繁但重要的单词并不友好，很容易丢失文档中的重要信息。事实上，关键的句子往往反映了句子中的单词也非常重要。……