罗益超，李争彦，张 奇

(复旦大学 计算机科学技术学院，上海 200433)

0 引言

关键短语生成是一个在自然语言处理中传统并具有挑战的任务。它可以通过生成的关键短语捕获文档的中心思想。当模型生成一个简洁的输出后(关键短语)，我们可以很方便地应用于下游任务。例如，文本分类(text categorizing)[1]、文本摘要(summarization)[2-3]和意见挖掘(opinion mining)[4]等。

在关键短语生成中，根据关键短语是否存在于原文中可以分为抽取式(present)关键短语和生成式(absent)关键短语。传统的方法[5]致力于生成抽取式关键短语，所以这类方法也被称为关键短语抽取。最近很多研究致力于同时生成两种关键短语。Meng等[6]提出了一种基于注意力机制(attention-based)的序列到序列(Seq2Seq)框架[7]，并引入了拷贝机制(copy mechanism)[8]，从而有效地生成稀有词。Chen等[9]提出了一种结合覆盖机制(coverage mechanism)[10]和回顾机制(review mechanism)的模型，从而生成更多样化的关键短语。Chen等[11]提出了一种利用标题信息去指导生成关键短语的模型。Chan等[12]利用结合自适应奖励函数的强化学习方法去提升模型效果，并生成更多数量的关键短语。

所有这些方法都基于一个序列到序列(Seq2Seq)的框架，它把整个输入文档当成一个序列，平等地对待文档中的每个单词。然而，文档中信息的重要性是不同的。例如，对于科学性论文的摘要，一般包括目的(purpose)、方法(methodology)、实验发现(findings)、实验价值(value)等几句话，而像“目的”、“方法”中很大概率有关键短语，但“实验发现”、“价值”中很少有关键字。因此，利用文档结构去建模句子级信息可以有效减少无效信息，并且能让模型更加致力于重要的部分。……