APP下载

基于自注意力与指针网络的自动摘要模型

2021-03-23姜志祥

计算机工程与设计 2021年3期
关键词:机制模型

姜志祥,叶 青,傅 晗,张 帆

(中国航天科工集团第二研究院 七〇六所,北京 100854)

0 引 言

文本自动摘要方法通常可分为抽取式摘要和生成式摘要两种。抽取式方法在理解源文本语义的基础上,利用词库中的单词,将源文本中重要的句子和段落组合成较短的文本,生成摘要。由于抽取式摘要主要考虑单词的词频等特性,并不包含语义信息,所以无法完整表达文本的语义信息。生成式摘要方法利用自然语言处理算法进行转述、同义替换、句子缩写等操作来获得文档的摘要。生成式摘要的质量更高,但难度较大、复杂性较高。

本文针对生成式摘要方法中基于序列到序列(sequence-to-sequence,seq2seq)模型存在准确率不高、词语重复、训练时间长等问题,提出了一个改进的模型。在原序列到序列结构的基础上加入指针生成网络以及自注意力机制,提升了模型摘要准确率,同时引入复制机制,以解决未登录词(out of vocabulary,OOV)问题,利用输入供给(input-feeding)方法来避免摘要中出现重复短语问题,使用自注意力(self-attention)来代替传统的循环神经网络(RNN),提升了模型训练的并行性,消除了卷积计算,减少了训练时间。

1 相关工作

抽取式摘要方法分为无监督抽取式方法和有监督抽取式方法。

抽取式摘要源于词频-逆文档词频(TF-IDF)算法,它根据文章中的词语的权重来获得摘要。Google的Mihalcea等在网页排序算法的基础上提出了基于图的TextRank算法,该算法通过构建节点连接图,将句子的相似度作为图中边的权重值,计算得到排名高的句子组成摘要,提升了抽取式方法的准确率。……

登录APP查看全文

猜你喜欢

机制模型
一半模型
构建“不敢腐、不能腐、不想腐”机制的思考
重尾非线性自回归模型自加权M-估计的渐近分布
自制力是一种很好的筛选机制
定向培养 还需完善安置机制
3D打印中的模型分割与打包
破除旧机制要分步推进
FLUKA几何模型到CAD几何模型转换方法初步研究
注重机制的相互配合
打基础 抓机制 显成效