李 敏,赵 君 (长江大学计算机科学学院,湖北荆州434023)

在某些专业领域,如房地产、电子商务领域等,传统搜索引擎已经无法满足用户的需求,为解决该问题,研究者提出垂直搜索引擎的设计构想。垂直搜索是针对某一行业的专业搜索引擎方式,其对互联网海量信息中的某类专门信息的搜集和整合。爬虫系统负责获取互联网中的海量数据,是垂直搜索引擎的核心,对整个引擎的运行效率有着重大影响。为此,笔者就如何设计高效率的垂直搜索引擎爬虫系统进行了详细探讨。

1 垂直搜索引擎的工作模式

垂直搜索引擎首先委派爬虫系统到目的网站下载相应信息,并将这些信息存入网页库,然后由索引模块对网页库进行索引结构化处理,形成相应的索引文件 (索引库)[1]。当用户在网页终端查询信息时,系统会检索索引文件,并将最终结果呈现给用户,其工作模式如图1所示。

图1 垂直搜索引擎的工作模式图

2 爬虫系统的运行流程

因为爬虫系统的运行和管理是整个系统的核心,所以,对抓取庞大数据的爬虫系统而言,设计一个科学的运行流程至关重要,因为该流程直接影响着整个搜索引擎的工作效率。在爬虫系统的运行过程当中,要充分考虑共享资源的互斥访问和运行效率之间的矛盾,应尽量减少爬虫在访问队列中的等待时间,并适当地运用缓冲区 (如队列缓冲区或栈缓冲区)[2]。根据效率优先的设计原则,笔者所设计的该爬虫系统的运行流程图如图2所示。……