辛洁，崔志明，赵朋朋，张广铭，鲜学丰

(苏州大学 智能信息处理及应用研究所，江苏 苏州 215006)

1 引言

网络技术的飞速发展，海量数据使Web迅速的“深化”，这些由后台数据库动态产生的，对用户隐藏不可见的数据不能被传统的搜索引擎索引，只能通过表单提交查询来获得。如何从Deep Web中迅速有效地抽取信息，对数据源进行大规模的集成成为研究热点，其中包括数据源发现，查询接口抽取，数据源分类，查询转换，结果合成等，而Deep Web 数据源发现是信息集成的第一步。

Deep Web数据源的搜索和发现实际上是Web表单查询接口的判定过程。这些接口是嵌入于Web 页面中以Form表单形式出现的,因此整个过程是对数据按规则进行筛选，剔除，分类的操作。由于Deep Web数据动态产生且数量巨大，提高Deep Web入口发现的效率和精度应不局限于仅从爬虫本身进行结构策略的优化，还可从大规模数据的分布式并行处理，改善外部工作环境等方面下手。

作为云计算的关键技术之一，MapReduce是Google开发的在超大集群下进行海量数据的分布式编程模式。它能够对开发人员隐藏并行编程的具体工作方式，为编写需要大规模并行处理的代码提供了简单的编程模式。在Google的集群上，每天都有 1 000多个 MapReduce程序在执行，是Google最关键的技术之一[1]。MapReduce在Surface Web数据抓取方面取得了巨大的成功，对于信息量约 500倍于 Surface Web的 Deep Web来说[2]，MapReduce模型应更适合Deep Web的海量数据抽取。

MapReduce计算往往在超大集群上并发执行，虚拟化技术可实现虚拟集群的构建以达到资源的最大利用。……