广州工商学院电子信息工程系 何小明

引言

通用爬虫虽已发展多年，技术较为成熟，但仅可采集到具有统一资源定位符（URL）的浅层网页（Surface Web）。随着Web技术的快速发展，越来越多的网页将其数据与业务进行物理分离，仅提供限制性的数据访问接口，使其具有商业价值的数据隐藏到深层网页（Deep Web）背后的网络数据库中。目前，很多爬虫研究者试图设计一个能采集全部深层网页数据的通用爬虫，由于不同深层网页数据加载方式的不同，使得这类深层网页通用爬虫只能采集有限深层网页的数据。为了获得特定主题内容或特定领域的深层网页数据，还需定制开发出专门的深层网页垂直爬虫。

1 深层网页垂直爬虫工作原理

深层网页垂直爬虫是根据深层网页的垂直结构而定制的一个自动提取数据的程序，通过采集深层网页的数据块来分析出用户需要的数据实体。

深层网页垂直爬虫以查询接口或网站导航页面为入口，结合相应的操作策略，通过网页脚本、异步请求、交互操作或页面渲染等动态网页技术加载出完整的深层网页，定位并提取网页页面包含的数据块，再分析出数据实体，并评估采集到的数据是否完备，若未完备，则不断重复该过程，直到数据采集完备，结束爬虫程序的运行。其运行流程如图1所示。在这个过程中，可根据数据实体的分析结果优化爬虫的运行策略，以便反馈与指导后续的工作。

图1 深层网页垂直爬虫运行流程示意图