基于神经网络的文本标题生成原型系统设计
2021-05-12张仕森孙宪坤李世玺
电子科技 2021年5期
张仕森,孙宪坤,尹 玲,李世玺
(上海工程技术大学 电子电气工程学院,上海 201620)
随着近几年互联网的发展,网络中的文本信息资源的数量呈现指数级增长。根据中国互联网协会发布的《中国互联网发展报告2019》,截至2018年底,我国网页总数量已达到2 816亿,这些网页中所包含的信息覆盖了社会生活的各个领域。然而这其中也包含了海量不规范的文本信息,例如市场上众多移动客户端中自媒体文章的“标题党”,以及互联网中大量无标题的评论、微博等,这些不规范的文本信息给人们带来了巨大的信息过载压力。为这些不规范的文本信息生成一条简洁、切合原文表达的标题可以缓解信息过载压力,提高工作效率并为相关部门监察社会舆论提供帮助。
实际工作中采用传统的人工总结编写标题的方式在耗费大量时间、人力成本的同时难以应对每天产生的海量不规范文本。标题生成是以文本内容作为输入,以标题作为输出的一种文本摘要任务的变体,因此通过标题生成技术可以高效、经济地解决这一问题。
文献[1]通过词频、逆序文本频率等文本特征来计算文章中每一个句子作为摘要的概率,研发出一种基于贝叶斯分类模型的自动文本摘要系统DimSim。但在自然语言中,特征与特征之间并不是相互独立的,而是存在某些内部联系,因此文献[2]使用决策树替换朴素贝叶斯分类器来构造新的摘要系统。文献[3]在谷歌公司提出PageRank[4]算法的基础上提出了TextRank算法来实现文本摘要的生成。……
登录APP查看全文
