钱揖丽 马雪雯

1(山西大学计算机与信息技术学院 山西 太原 030006) 2(山西大学计算机智能与中文信息处理教育部重点实验室 山西 太原 030006)

0 引 言

文本摘要旨在为一个文档生成简短、连贯且信息丰富的摘要。文本摘要的方法可以分为抽取式和生成式两类。抽取式的摘要从源文本中抽取重要的句子或短语组成摘要，生成式的摘要对文档构建语义表示，使机器理解文本后生成新的摘要。抽取方法比较简单，可以保证单个句子的流畅性并且保留原文信息，但是会出现冗余信息，特别是在生成短摘要的情况下。而生成方法可以生成源文本中没有出现的新单词和短语。当生成的摘要是单个紧凑的句子时，文本摘要任务可以称为标题生成[1-2]。

随着深度学习的发展，序列到序列神经网络模型被广泛应用于自然语言处理任务[3-4]。在文本摘要领域，不同于以往的抽取式方法[5-6]，此模型也成为生成式摘要的主要方法[7-8]。序列到序列模型进行标题生成的过程是用编码器对源文本进行语义表示，然后使用解码器生成标题。

长短期记忆网络[9](Long Short-Term Memory，LSTM)由于其设计的特点，可以捕捉到较长距离的依赖关系。而序列到序列模型的编码阶段需要准确理解和表示原始文本，所以双向长短期记忆网络(Bidirectional Long Short-Term Memory，BiLSTM)被提出用来表示文本的上下文语义关联，其在各种对文本进行编码的工作中一直是主导方法[10-11]，包括使用神经网络模型进行文本摘要生成时，通过BiLSTM对源文本构建文本语义表示[12-14]。……