APP下载

融合文本分类的多任务学习摘要模型

2021-04-29周伟枭蓝雯飞

计算机工程 2021年4期
关键词:单词分类文本

周伟枭,蓝雯飞

(中南民族大学计算机科学学院,武汉 430074)

0 概述

文本摘要是自然语言处理(Natural Language Processing,NLP)的重要分支[1],其将源文本压缩成短文本且包含了源文本中的主要信息。抽取式摘要方法[2]通过从源文本中抽取句子组成摘要,具体为对句子重要性打分并按分数排序选取句子[3]。生成式摘要方法[4]通过重新组织源文本的主要内容形成摘要,摘要过程与人工撰写类似。现有生成式摘要模型本质上都是基于编码器-解码器架构的单任务模型,文献[5]指出此类模型虽然能够生成流畅的摘要,但在准确性方面表现较差,甚至可能与源文本的中心思想相悖。

多任务学习(Multi-Task Learning,MTL)共享相关任务之间的表征,能使摘要模型更好地概括文本主要内容。文献[6]提出一对多、多对一、多对多三种多任务学习方法。文献[7]将情感分类定义为特殊类型的摘要任务,将文本以标签方式进行概括。受文献[6]研究工作的启发,本文根据文本分类和文本摘要的相关性,提出一种多任务学习摘要模型。通过一对多的形式关联主要任务和辅助任务,借助文本分类改善摘要模型的生成质量,使用K-means 聚类算法构建文本分类数据集,并利用基于统计分布的判别法全面评价摘要准确性。

1 相关工作

近年来,深度学习技术在文本摘要领域得到广泛应用。文献[8]提出基于注意力机制的端到端模型,并将其应用于文本摘要任务。文献[9]将注意力机制应用于自然语言处理领域。文献[10]提出指针网络,将解码器中固定规模的词汇表扩展至可变规模的词汇表。……

登录APP查看全文

猜你喜欢

单词分类文本
分类算一算
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
看图填单词
教你一招:数的分类
看完这些单词的翻译,整个人都不好了
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
如何快速走进文本
单词拾趣