基于改进VIPS算法的主题退火爬虫技术
2021-11-17黄锦敬黄锦焕陈瑞志
计算机仿真 2021年8期
关键词:文本
黄锦敬,黄锦焕,陈瑞志
(广东海洋大学寸金学院,广东 湛江 524094)
1 引言
信息化技术的不断发展,使网民人数呈现大规模增长,带动了网页数量的迅速增长。面对网民与网页的爆炸式增长趋势,保障人们在海量信息中快速获取需求信息成为一项巨大的挑战[1]。在网络中,网民通常通过在地址栏内输入访问网址直接浏览网页内容。在地址栏内输入访问网址,直接浏览能够节约用户的时间,使其迅速进入想要访问的网页。然而,网页数量的不断增长,用户仅了解有限的网址,且网址不容易记忆,使用户仅能查找有限的信息资源。利用搜索引擎进行检索也是一种很常用方式,通过提交用户感兴趣的字词获取可访问的网页[2]。随着时代的不断发展,搜索引擎无法满足用户复杂的需求,促使垂直搜索引擎应运而生。垂直搜索引擎主要负责实现专业信息服务,由检索、数据整合、爬虫等模块构成,其性能好坏会对垂直搜索引擎的实际服务质量造成直接影响[3]。因此,对主题退火爬虫技术进行深入研究。
文献[4]提出一种基于灰狼算法的主题爬虫技术。该技术主要针对爬虫在全局中最优解的问题,通过确定主题爬虫的准确率和召回率,通过将灰狼算法相结合,对其最优解进行搜索,将优化后的爬虫技术与现有方法相比,体现了该技术的优势性能。该方法通过灰狼算法优化后的爬虫技术可获取最优解,但由于未过多考虑其它干扰因素,容易导致最优解为局部最优解,存在一定局限性。……
登录APP查看全文
