仇磊， 娄渊胜， 常民

(河海大学 计算机与信息学院,南京 211100)

一种改进Shark-Search的主题爬虫算法

仇磊， 娄渊胜， 常民

(河海大学 计算机与信息学院,南京 211100)

针对Shark-Search算法在主题爬虫中对网页全局性的考虑不足，利用PageRank算法计算待下载URL的权威值来弥补这种不足，提出了Shark-PageRank算法，依据锚文本、锚文本邻近的文本和网页的权威值来权衡URL的价值。实验结果显示，在单位时间里，该算法提高了主题爬虫的速度，并且随着网页数量的增加，该算法具有良好的准确率和稳定性。

主题爬虫； Shark-Search算法； PageRank算法； 垂直搜索

0 引言

主题爬虫作为垂直搜索引擎的核心部分,其算法的优劣对搜索引擎的查全率和查准率有直接的影响[1]。主题爬虫即是过滤与预设定主题无关的链接，依据网页文本和链接分析等算法，将与主题相关的链接放入待抓取的URL队列中，然后按照可行的过滤策略从队列中选取下一步要抓取的网页链接，并重复上述的步骤，直到爬虫系统的设置的前提满足时停止。

主题爬虫的核心部分是爬虫策略，高效的爬虫策略算法可以提高主题爬虫的性能[2]。目前围绕主题爬虫策略算法的问题，国内外已有大量研究。文献[3]将相同类的所有链接锚文本作为该类的描述文本，用描述文本计算与主题的相似程度。文献[4]从链接块、链接，以及网页页面本身3个方面上对网页的相似程度分别进行计算，然后将三者按照不同权重结合，从而确定当前页面主题的相似程度。文献[5]把Shark-Search算法融入基于Web链接评价的策略，判断网页文本的相似度，有效的解决了Hits算法的”主题漂移”问题。……