高 峰,刘 震,b,高 辉,b

(电子科技大学 a.计算机科学与工程学院; b.大数据研究中心,成都 611731)

0 概述

随着互联网的蓬勃发展,互联网信息数量呈现爆炸性的增长。对互联网用户来说,一个很重要的问题就是如何才能快速的找到其想要的网页内容。信息增长的速度越快,用户的这种需求就越迫切。

传统的垂直爬虫是获取特定网站或特定主题内容数据较为普遍的方法,但是垂直爬虫的一大弊端就是无法实现通用的爬取,需要针对不同的网站重新设计程序,而且人工查找URL队列及人工提取数据解析路径的工作更为繁琐,大大影响了工作效率。一般情况下,一个单独的爬虫程序只能处理某个独立站点的某一类型结构的页面数据。而用户对于数据的需求是多种多样的,如果对于每一个网站的数据需求都需要一个相应的爬虫程序比较费时费力,同时也会影响对应工作或项目的推进速度。

针对上述问题,本文提出一种配置简单、高效且可移植性高的通用爬虫设计方法。其核心思想是将通用型爬虫分为配置信息、初始化和正式爬取3个阶段。在配置信息阶段,用户针对待爬取网站完成基本信息配置;在初始化阶段,自动识别主题相关目标页面URL和目录页面URL,生成解析路径模板并且采用URL聚类的方法抽取出URL正则表达式过滤器;在正式的网页爬取阶段,利用初始化阶段生成的正则表达式过滤器和解析路径模板,以及有监督的广度优先与网页赋权搜索策略,实现对目标页面数据的快速准确提取。……