APP下载

一种基于Context Graph主题爬行算法的改进

2021-06-18高庆芳蒲宝卿

首都师范大学学报(自然科学版) 2021年3期
关键词:页面特征

高庆芳,蒲宝卿,包 蕾

(陇南师范高等专科学校,甘肃陇南 742500)

0 引 言

随着互联网的快速发展和全面普及,通过不同网络搜索引擎,从海量网络信息中获取信息,是互联网应用在学习和生活中的重要表现形式和组成部分,搜索引擎的核心是网络搜索引擎爬行算法.

通过对主题爬行算法的研究[1],传统的算法思想可分为2类:一类是基于Context Graph的主题爬行算法以及基于网络的超链接结构的爬行算法;另一类是早期由学者Diligenti提出的基于Context Graph的主题爬行思想,即利用爬行算法爬取相近主题的页面时,路线都是相似的[2].要实现后者的爬行算法,就要构建Context Graph模型层次结构图,用链接指向表明页面之间的联系,爬行路径让主题爬虫自主爬取.

根据相关文献,机器学习是主题爬虫最突出的特点,即可在爬行时选择其一网页分析算法选择链接对象,对于无关的对象可进行剔除.在这种情况下,在保证爬取效率的同时,也必须确保得到的结果页面具有更好的相关性.在计算机系统中用中文分词系统对中文文本进行词语自动识别,这方面的研究目前已经比较成熟,很多学者都总结提出了相关的算法.根据其特点,可以对现有的中文分词算法分类,主要有基于字符串匹配的、基于统计的和基于语义的 3类[1].

传统的主题爬行算法存在不足之处是会降低网络的搜索速度.本文对传统的算法做了一个改进,主要修改了TF⁃IDF公式,目的是可以提高特征词权重计算的……

登录APP查看全文

猜你喜欢

页面特征
微信群聊总是找不到,打开这个开关就好了
大狗熊在睡觉
刷新生活的页面
如何表达“特征”
不忠诚的四个特征
线性代数的应用特征
同一Word文档 纵横页面并存
浅析ASP.NET页面导航技术
其实IE也懂Chrome的心