代鹏

摘要：本文介绍了Nutch网络爬虫的系统架构和抓取网页信息流程，针对Nutch网页信息数据采集冗余的问题，引入了增量更新方法和适应性采集周期计算方法，首先使用Simhash算法和汉明距离计算出网页相似度，根据网页相似度计算出网页采集周期，然后根据此周期进行网页信息采集，在采集前根据网页元信息中的网页内容长度与网页最后更新时间的变化与否判断是否进行采集。实验结果表明，随着采集次数的增多，网页采集周期会在真实网络变化周期上下浮动，使得网页采集周期与真实网页变化周期之间较为接近，最终有效的减少了冗余的网页信息采集数据量，减轻了对网络环境的压力，实现了适应性的增量的网页信息采集过程。

关键词：计算机软件与理论；Nutch；Simhash；汉明距离；增量采集方法

中图分类号：TP311.5

文献标识码：A

DOI： 10.3969/j.issn.1003-6970.2015.11.025

0 引言

目前，互联网资源成指数级增长，仅就国内方面，根据中国互联网信息中心发布的数据，截至2014年12月，中国网页数量为1899亿个，年增长26.6%。面对如此庞大的网络资源，搜索引擎需要依赖于高效的网络爬虫进行网络信息采集。

网络爬虫的采集策略主要分为以下几种：基于整个Web的信息采集（Scaleble Web Crawling），增量式Web信息采集（Incremental Web Crawling），基于主题的Web信息采集（Focused Web Crawling），基于元搜索的信息采集（Metasearch Web Crawling），基于用户个性化的信息采集（Customized Web Crawling），基于Agent的信息采集（Agent Based Web Crawling）。随着网络资源的迅速增长，增量式的Web信息采集显示出越来越大的优势，相比其他的周期性全部采集的方式，可以极大的减少数据采集量和数据冗余。……