APP下载

基于改进VIPS算法的主题退火爬虫技术

2021-11-17黄锦敬黄锦焕陈瑞志

计算机仿真 2021年8期
关键词:文本

黄锦敬,黄锦焕,陈瑞志

(广东海洋大学寸金学院,广东 湛江 524094)

1 引言

信息化技术的不断发展,使网民人数呈现大规模增长,带动了网页数量的迅速增长。面对网民与网页的爆炸式增长趋势,保障人们在海量信息中快速获取需求信息成为一项巨大的挑战[1]。在网络中,网民通常通过在地址栏内输入访问网址直接浏览网页内容。在地址栏内输入访问网址,直接浏览能够节约用户的时间,使其迅速进入想要访问的网页。然而,网页数量的不断增长,用户仅了解有限的网址,且网址不容易记忆,使用户仅能查找有限的信息资源。利用搜索引擎进行检索也是一种很常用方式,通过提交用户感兴趣的字词获取可访问的网页[2]。随着时代的不断发展,搜索引擎无法满足用户复杂的需求,促使垂直搜索引擎应运而生。垂直搜索引擎主要负责实现专业信息服务,由检索、数据整合、爬虫等模块构成,其性能好坏会对垂直搜索引擎的实际服务质量造成直接影响[3]。因此,对主题退火爬虫技术进行深入研究。

文献[4]提出一种基于灰狼算法的主题爬虫技术。该技术主要针对爬虫在全局中最优解的问题,通过确定主题爬虫的准确率和召回率,通过将灰狼算法相结合,对其最优解进行搜索,将优化后的爬虫技术与现有方法相比,体现了该技术的优势性能。该方法通过灰狼算法优化后的爬虫技术可获取最优解,但由于未过多考虑其它干扰因素,容易导致最优解为局部最优解,存在一定局限性。……

登录APP查看全文

猜你喜欢

文本
重点:论述类文本阅读
重点:实用类文本阅读
初中群文阅读的文本选择及组织
作为“文本链”的元电影
在808DA上文本显示的改善
“文化传承与理解”离不开对具体文本的解读与把握
基于doc2vec和TF-IDF的相似文本识别
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
从背景出发还是从文本出发
如何快速走进文本