刘宇　程学林

摘要：网络爬虫指的是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。但是实际上爬虫还分为正规爬虫和非正规爬虫，所谓的正规爬虫就是通过正规途径和手段获取网站信息和数据，非正规爬虫又称为恶意爬虫，主要用于非法盗窃数据，给网站服务器增加负担以及偷窥一些敏感信息数据等。本文将会基于决策树算法设计一种新爬虫检测技术，并根据爬虫检测结果提供一些反爬机制，对恶意爬虫进行进行评屏蔽等，进而实现对网站和服务器以及部分数据，信息的保护，降低互联网资源重叠现象。

关键词：网络爬虫；爬虫检测；恶意爬虫；反爬虫

0引言

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。为了快速从互联网中获得大量目标数据，就需要编写一些脚本程序，按照一定规律批量获取数据，这就是所谓的爬虫，但是在一部分通过正常途径，即先请求网站Robot.tXt之后，再在不影响对方网站前提下，获取相关资料的正规爬虫之外，还有一些恶意爬虫，它们通常表现为无论网站是的Robot.txt是否允许爬虫爬取，都会强制性，批量性获取网站数据，同时会在短时间内大量的发起请求，还有一部分恶意爬虫会恶意制造虚假PV，模拟点击付费广告链接，批量检索网站禁止爬虫爬取信息，用于商业性质分析等。这类爬虫在给互联网带来巨大的机器流量同时，也会给网站带来极大的负担，使得网站性能大大降低，目前互联网内有40%-60%的流量来自爬虫或者相关机器流量，已经严重妨碍核威胁互联网相关的产业健康发展！……