吴晓晖 ，纪星

（1.湖北汽车工业学 院经管学院，湖北十堰42002；2.湖北省金蚂蚁网络有限公司，湖北十堰442002）

0 前 言

随着互联网的不断发展，搜索引擎技术的越来越普及，带来的弊端是许多搜索引擎网络爬虫大量地占据了互联网带宽。一旦一个中型的网站被技术不精的恶意或者非允许的网络爬虫爬取数据，很可能使得网站速度降低甚至不能访问。还有，好多的网络爬虫是以非法获取数据为目的，把获取的数据放到网站，制造虚假的PV，或者以获得非法商业利润为目的，例如：在点击付费的网络广告中，利用网络蜘蛛来模仿用户点击获取付费。因此，网络爬虫不仅给网络带来沉重的负担，使得网站性能大大降低，同时还会带来非法盗窃数据，隐私，知识产权，非法获取商业利润等问题，已经严重妨碍了与互联网相关的产业的健康发展。

为消除恶意网络爬虫带来的危害，国内外相关学者，高校等对网络爬虫检测识别技术进行了广泛深入的研究。在国外，研究爬虫检测技术的代表性学者是塞浦路斯的Marios D.Dikaiakos和Athena Stassopoulou等[1-4]，他们在国际知名期刊（Computer Network等）上发表了关于研究Web爬虫的系列论文，其中包括通过分析访问日志来获取Web爬虫行为与普通用户访问行为的特征区别[1，4]，并在此基础上采用了概率推理方法（即贝叶斯网络）[2-3]来进行Web爬虫检测，取得了一定的成果。

国内的研究网络爬虫检测技术的代表性学者主要有郭伟刚、菊时光、范纯龙等研究的Web Robot识别检测算法。郭等[9]在文献中阐述了利用一个事务中人与爬虫所请求的URL访问模式不同来检测网络蜘蛛，同时还阐述了利用爬行内容不同和设置阀值的方法来检测蜘蛛，但这些方法都要依赖于用户会话和日志分析，其实时反应慢。……