张亚凤，郑山红

(长春工业大学 计算机科学与工程学院，吉林 长春 130012)



Heritrix主题爬虫设计

张亚凤，郑山红*

(长春工业大学 计算机科学与工程学院，吉林 长春 130012)

通过扩展Heritrix相应组件来抓取特定网页，实现预定的抓取策略，并加入APHash算法对URL进行散列，达到了多线程抓取网页的目的，极大地提高了抓取数据的效率。

垂直搜索引擎；主题爬虫；Heritrix；APHash算法

0 引 言

近年来，现代信息技术和网络技术正以惊人的速度发展，Internet网络上的数据也呈指数级趋势增加。全球前几年网络搜索引擎仅仅包括几千万页的网页量，但现在它已经达到了惊人的数十亿页。数量的迅速增加带来了搜索服务的效率严重下降，查询的结果集也是大规模的，常常数以十万笔的数据，这些结果集里有大量冗余和无用信息，很难找到符合用户自身需求的信息。因此，需要改进现有的一般搜索引擎技术，垂直搜索引擎便在此时应运而生。

垂直搜索引擎是专门给某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和有关服务。“专、精、深”是其显著的特点，且行业色彩鲜明[1]。它不同于一般的通用搜索引擎，无论是用于专业知识的查询，或是解决日常生活中的资讯，它的专业性是很清楚的，此时，通用搜索引擎不能实现快速且准确的检索，尤其是对专业知识或学科的某些区域，这些弊端比比皆是。因此，人们倾向于使用个性化、专业化的垂直搜索来找到您所需要的信息。

主题爬虫是垂直搜索引擎服务的关键技术和核心部分，它的优劣直接影响用户对所得信息的满意度，它将网页采集到本地服务器后，对该网页的主题相关度值进行计算，较低的将不被进一步处理而被丢弃[2]。……