林海伦，熊锦华，王 博，程学旗

(1. 中国科学院 计算技术研究所，北京 100190; 2. 中国科学院大学，北京 100049； 3. 国家计算机网络应急技术处理协调中心，北京 100029)

基于领域知识抽样的深网资源采集方法

林海伦1,2，熊锦华1，王 博3，程学旗1

(1. 中国科学院 计算技术研究所，北京 100190; 2. 中国科学院大学，北京 100049； 3. 国家计算机网络应急技术处理协调中心，北京 100029)

深网资源是指隐藏在HTML表单后端的Web数据库资源，这些资源主要通过表单查询的方式访问。然而，目前的网页采集技术由于采用页面超链接的方式采集资源，所以无法有效覆盖这些资源，为此，该文提出了一种基于领域知识抽样的深网资源采集方法，该方法首先利用开源目录服务创建领域属性集合，接着基于置信度函数对属性进行赋值，然后利用领域属性集合选择查询接口并生成查询接口赋值集合，最后基于贪心选择策略选择置信度最高的查询接口赋值生成查询实例进行深网采集。实验表明，该方法能够有效地实现深网资源的采集。

深网；置信度；抽样；领域知识

1 引言

深网(Deep Web)是指网络爬虫通过页面之间的链接关系难以采集到的资源，这些资源通常隐藏在HTML表单后端的Web数据库中，主要通过表单查询的方式动态访问。深网资源具有以下主要特点： 一是深网资源比搜索引擎可索引的资源(浅网[1])在规模上更大，并且增长速度非常快： 2000年BrightPlanet发布的对深网资源进行统计分析的白皮书中指出深网资源是互联网上浅网资源的五百倍[1]，而且从2000年到2004年，深网资源增长了 3～7倍[2]，并且仍在不断增长[3]；……