冯读娟,杨 璐,严建峰

(苏州大学 计算机科学与技术学院,江苏 苏州 215006)

0 概述

文本摘要的目的是简化句子以抽取文本主要信息。目前,文本摘要按照文档数量可以分为单文档摘要和多文档摘要,按照实现方式可以分为抽取式摘要和生成式摘要。抽取式自动摘要按照一定的权重计算方法抽取原文本中的重要句子并进行拼接以组成文本摘要[1]。生成式摘要则是计算机读取原文本后,在理解整篇文章的基础上不使用原文句子而直接生成的摘要结果。随着深度学习技术在自然语言处理(Natural Language Processing,NLP)领域的广泛应用,特别是序列到序列(sequence-to-sequence,seq2seq)模型的出现,使得生成式摘要更加流畅和自然。

来自Facebook的RUSH等人[2]较早提出一种Encoder-Decoder框架下的句子摘要模型,其中尝试Bag-of-Words、CNN和Attention-Based 3种编码方式,同时还与抽取式方法相结合,分别在DUC2004和Gigaword数据集上进行对比,结果表明,增加了人工特征的ABS+模型效果优于ABS模型。

CHOPRA等人[3]同样使用卷积网络编码原文,使用循环神经网络(RNN)作为解码器。根据RNN作用的不同,将模型分为RAS-Elman和RAS-LSTM,在Gigaword数据集上对比各模型,结果表明,RAS-Elman模型效果较好。

来自IBM的NALLAPATI等人[4]使用双向门控循环单元(BiGRU)作为编码器对原文实现编码，解码器使用GRU进行解码，同时融合一些特征到模型中，实验结果表明，该方法的性能优于单一使用深度神经网络。BAHDANAU等人[5]提出一种新的解码方式,其解码的源头不仅是编码输出的语义向量,同时构建一种从输入序列中为当前预测词自动搜寻相关部分的机制,即注意力机制,该机制有效提高了神经机器翻译(Neural Machine Translation,NMT)的效果。……