刘石磊

摘要：随着网络的发展和网络爬虫技术的普及，越来越多的个人用户使用了网络爬虫技术从网站获取信息，而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问，使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。

关键词：网络爬虫；反爬虫；反反爬虫；抓取策略；分布式爬虫

1概述

随着时代的发展和社会的进步，互联网技术得到了空前的发展，与此同时，互联网容量已经达到了一个空前的规模据。搜索引擎巨头Google透露，在2012年时候，Google的网页爬虫Google bot每天都会经过大约200亿个网页，并且追踪着约300亿个独立的URL链接。此外，Google每个月的搜索请求接近1000亿次。而支撑这一切背后的技术，就是网络爬虫技术。

网络爬虫，通常又被称作网络蜘蛛（Web Spider），是一个可以自动在互联网上漫游并可以自动下载网页的程序或脚本。网络爬虫通常从一个称为种子集的URL集合开始运行，它首先将这些URL全部放入到一个有序的待爬行队列里，按照一定的顺序从中取出URL并下载所指向的页面，分析页面内容，提取新的URL并存人待爬行URL队列中，如此重复上面的过程，直到URL队列为空或满足某个爬行终止条件，从而遍历Web。该技术最早应用于搜索引擎之中，但是随着需求的增加和技术的普及，出现了基于某种特殊目的的个人定制化爬虫，例如对微博内容的爬虫、對CSDN的爬虫等。……