APP下载

基于词句协同排序的单文档自动摘要算法

2017-09-22蒲朝仪伍之昂

计算机应用 2017年7期

张 璐,曹 杰,蒲朝仪,伍之昂

(南京财经大学 江苏省电子商务重点实验室,南京 210023) (*通信作者电子邮箱luzhang@njue.edu.cn)

基于词句协同排序的单文档自动摘要算法

张 璐*,曹 杰,蒲朝仪,伍之昂

(南京财经大学 江苏省电子商务重点实验室,南京 210023) (*通信作者电子邮箱luzhang@njue.edu.cn)

对于节录式自动摘要需要从文档中提取一定数量的重要句子,以生成涵盖原文主旨的短文的问题,提出一种基于词句协同排序的单文档自动摘要算法,将词句关系融入以图排序为基础的句子权重计算过程中。首先给出了算法中词句协同计算的框架;然后转化为简洁的矩阵表示形式,并从理论上证明了收敛性;最后进一步通过去冗余方法提高自动摘要的质量。真实数据集上的实验表明,基于词句协同排序的自动摘要算法较经典的TextRank算法在Rouge指标上提升13%~30%,能够有效提高摘要的生成质量。

自动摘要;节录式摘要;单文档;图排序;词句协同

0 引言

随着Web2.0的迅猛发展,各种用户原创内容爆炸式增长,造成了互联网上严重的信息过载,使得有价值信息的获取愈发困难。自动摘要技术能够从海量文本中抽取出最为重要的语句,形成高度概括原文主旨的精炼短文,能够有效地缓解信息过载。

总体而言,自动摘要分为基于抽象的自动摘要和基于抽取的自动摘要[1]。基于抽象的自动摘要受制于自然语言处理的瓶颈,实现相对困难。目前主要的研究和应用集中在基于抽取的自动摘要,又称节录式摘要,计算文档中句子的权重并进行排序,从中抽取高权重语句生成摘要[2]。……

登录APP查看全文