APP下载

基于混合过滤编码的神经中文生成式摘要

2021-06-25蓝雯飞周伟枭许智明朱容波罗一凡

中南民族大学学报(自然科学版) 2021年3期
关键词:单词机制融合

蓝雯飞,周伟枭*,许智明,朱容波,罗一凡

(1 中南民族大学 计算机科学学院,武汉 430074;2 福州大学 机械工程及自动化学院,福州 350108)

文本摘要是自然语言处理(NLP)的重要任务,其主要目的[1]是从文档中抽取或总结其中的重要信息、获取摘要并用以概括和展示文档的主要内容或段落大意.

以摘要方式作为分类依据,文摘技术主要分为抽取式摘要和生成式摘要.以摘要处理对象作为分类依据,文摘技术主要分为单文档摘要和多文档摘要.

本文主要关注生成式摘要,此类方法通过重新组织给定文档的重要信息并生成单词序列获得摘要,与人工撰写摘要的方式相似.最新研究表明,由于输入文档与参考摘要之间不存在显式对齐关系[2,3],导致出现以下问题:

(1)使用传统带注意力机制的序列到序列模型生成摘要时,存在重复注意的缺陷,进而出现重复生成相同单词的问题;

(2)对齐问题导致文档编码信息包含噪声,进而出现生成的摘要存在语义不相关以及准确性低等问题.

针对上述问题,部分研究人员通过过滤编码器的输出得到更好的文档编码信息.ZHOU等[2]提出了选择编码机制(Selective Encoding Mechanism, SEM),并将神经生成式摘要(Neural Abstractive Summarization)任务拆分为3个步骤:编码、选择与过滤、解码.LIN等[3]提出了全局编码机制(Global Encoding Mechanism, GEM),GEM根据文档上下文全局信息来过滤从编码器到解码器的信息流,并对文档上下文的表示进行细化,以提高单词表示与全局上下文之间的联系.

受文献[2]、文献[3]的启发,本文提出一种新的……

登录APP查看全文

猜你喜欢

单词机制融合
村企党建联建融合共赢
融合菜
从创新出发,与高考数列相遇、融合
《融合》
自制力是一种很好的筛选机制
看图填单词
看完这些单词的翻译,整个人都不好了
破除旧机制要分步推进
注重机制的相互配合
打基础 抓机制 显成效