APP下载

Larbin体系结构的研究与优化

2016-11-07王璇霍义霞慈云飞史国振李莉

网络与信息安全学报 2016年8期
关键词:优化

王璇,霍义霞,慈云飞,史国振,李莉

(1. 北京电子科技学院信息安全系,北京 100070;2. 西安电子科技大学计算机学院,陕西 西安 710000)

Larbin体系结构的研究与优化

王璇1,2,霍义霞1,慈云飞1,史国振1,李莉1,2

(1. 北京电子科技学院信息安全系,北京 100070;2. 西安电子科技大学计算机学院,陕西 西安 710000)

网络爬虫是搜索引擎的重要组成部分,其性能直接影响搜索引擎的准确性和及时性。Larbin是一个高效、简单、功能比较完善的开源爬虫框架,基于此,介绍了几种典型的开源爬虫框架,并对其进行多维度比较;对Larbin体系结构进行详细的介绍;然后指出Larbin在程序结构和流程方面存在的不足,提出对应的优化方案;测试结果表明,改进后的方案在速度和性能方面都有所提高。

搜索引擎;网络爬虫;Larbin;开源;优化

Larbin是一个高效、简单、功能多样化的开源的网络爬虫框架,拥有完整的体系结构和功能设计,适合在此基础上进行二次开发。虽然Larbin的创始人在2003年就停止对其维护和升级。但是,目前仍有大量的人在研究和使用它。例如,文献[4]为满足抓取微博的需求,在Larbin的基础上提出动态爬取、定时采集和代理采集的方案。文献[5]改进了Larbin中URL去重算法,使URL的冲突率由原来的10%降低到0.82%。为满足抓取企业内网的需求,文献[6]对Larbin进行功能扩展,实现了站点自动登录、保存网页、过滤无效URL以及网页消噪的功能。文献[7]对Larbin进行主题化改进,使其成为主题爬虫框架TLarbin。

2 开源爬虫框架

本节首先介绍了几种社区活跃度较高的网络爬虫框架,并针对它们的特点进行多维对比。……

登录APP查看全文

猜你喜欢

优化
超限高层建筑结构设计与优化思考
PEMFC流道的多目标优化
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
由“形”启“数”优化运算——以2021年解析几何高考题为例
围绕“地、业、人”优化产业扶贫
事业单位中固定资产会计处理的优化
4K HDR性能大幅度优化 JVC DLA-X8 18 BC
几种常见的负载均衡算法的优化