APP下载

基于神经网络的文本标题生成原型系统设计

2021-05-12张仕森孙宪坤李世玺

电子科技 2021年5期
关键词:语义文本模型

张仕森,孙宪坤,尹 玲,李世玺

(上海工程技术大学 电子电气工程学院,上海 201620)

随着近几年互联网的发展,网络中的文本信息资源的数量呈现指数级增长。根据中国互联网协会发布的《中国互联网发展报告2019》,截至2018年底,我国网页总数量已达到2 816亿,这些网页中所包含的信息覆盖了社会生活的各个领域。然而这其中也包含了海量不规范的文本信息,例如市场上众多移动客户端中自媒体文章的“标题党”,以及互联网中大量无标题的评论、微博等,这些不规范的文本信息给人们带来了巨大的信息过载压力。为这些不规范的文本信息生成一条简洁、切合原文表达的标题可以缓解信息过载压力,提高工作效率并为相关部门监察社会舆论提供帮助。

实际工作中采用传统的人工总结编写标题的方式在耗费大量时间、人力成本的同时难以应对每天产生的海量不规范文本。标题生成是以文本内容作为输入,以标题作为输出的一种文本摘要任务的变体,因此通过标题生成技术可以高效、经济地解决这一问题。

文献[1]通过词频、逆序文本频率等文本特征来计算文章中每一个句子作为摘要的概率,研发出一种基于贝叶斯分类模型的自动文本摘要系统DimSim。但在自然语言中,特征与特征之间并不是相互独立的,而是存在某些内部联系,因此文献[2]使用决策树替换朴素贝叶斯分类器来构造新的摘要系统。文献[3]在谷歌公司提出PageRank[4]算法的基础上提出了TextRank算法来实现文本摘要的生成。……

登录APP查看全文

猜你喜欢

语义文本模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
语言与语义
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
3D打印中的模型分割与打包
“上”与“下”语义的不对称性及其认知阐释
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
认知范畴模糊与语义模糊
如何快速走进文本