Larbin体系结构的研究与优化
2016-11-07王璇霍义霞慈云飞史国振李莉
网络与信息安全学报 2016年8期
关键词:优化
王璇,霍义霞,慈云飞,史国振,李莉
(1. 北京电子科技学院信息安全系,北京 100070;2. 西安电子科技大学计算机学院,陕西 西安 710000)
Larbin体系结构的研究与优化
王璇1,2,霍义霞1,慈云飞1,史国振1,李莉1,2
(1. 北京电子科技学院信息安全系,北京 100070;2. 西安电子科技大学计算机学院,陕西 西安 710000)
网络爬虫是搜索引擎的重要组成部分,其性能直接影响搜索引擎的准确性和及时性。Larbin是一个高效、简单、功能比较完善的开源爬虫框架,基于此,介绍了几种典型的开源爬虫框架,并对其进行多维度比较;对Larbin体系结构进行详细的介绍;然后指出Larbin在程序结构和流程方面存在的不足,提出对应的优化方案;测试结果表明,改进后的方案在速度和性能方面都有所提高。
搜索引擎;网络爬虫;Larbin;开源;优化
Larbin是一个高效、简单、功能多样化的开源的网络爬虫框架,拥有完整的体系结构和功能设计,适合在此基础上进行二次开发。虽然Larbin的创始人在2003年就停止对其维护和升级。但是,目前仍有大量的人在研究和使用它。例如,文献[4]为满足抓取微博的需求,在Larbin的基础上提出动态爬取、定时采集和代理采集的方案。文献[5]改进了Larbin中URL去重算法,使URL的冲突率由原来的10%降低到0.82%。为满足抓取企业内网的需求,文献[6]对Larbin进行功能扩展,实现了站点自动登录、保存网页、过滤无效URL以及网页消噪的功能。文献[7]对Larbin进行主题化改进,使其成为主题爬虫框架TLarbin。
2 开源爬虫框架
本节首先介绍了几种社区活跃度较高的网络爬虫框架,并针对它们的特点进行多维对比。……
登录APP查看全文
