基于统计的多文本网站文本内容抽取算法
2021-09-22王晴
安徽电子信息职业技术学院学报 2021年4期
王 晴
(徐州开放大学,江苏 徐州 221116)
一、引言
互联网信息检索是当今人们最常用的信息检索方式。如何从海量、复杂、模糊的信息中提炼出对用户有用的信息是该领域亟待解决的问题。所谓自动文本摘要,其实就是一种将Internet的海量数据进行概括,从而帮助用户寻找有价值信息的一种技术。其目的很简单,就是用计算机从目标文档中自动提取可全面、准确表达原文本意思的简洁的、连贯的短文,使读者在面对搜索引擎提供的大量结果时,能够快速分析筛选出对自己有助的信息,从而提高搜索效率。
文本信息的搜索在各类搜索排行中占据重要比重,因此本文以多文本类型的网站为研究基础,提出一种适合像科研机构这类多文本网站的网站文本摘要算法。包括如何从给定的网站内获得大量网页信息;如何根据网站的层次结构,提取用来生成摘要的原始文本;如何生成最终能覆盖网站主体内容的网站自动摘要。
二、国内外研究现状分析
传统的自动摘要一般分为抽取式和生成式[1]两种。生成式摘要需要对原文中的信息进行剪裁、提炼、融合,由新句子组成摘要,貌似更简洁、通顺,更接近人工生成的摘要,但其中却涉及多种语言处理技术,适用性和可移植性都较弱。而抽取式摘要的结果完全由原文中抽取所得,在自动生成方面则更加实用。目前的抽取方法主要有:基于统计特征的抽取、基于关联图的抽取和基于相似度的抽取[2-5]。……
登录APP查看全文
