张 玲，祁玉娟，姜 华

(湖南省第一师范学院 信息科学与工程学院,湖南 长沙 410205)

改进的Shark-search算法在网络采集中的应用

张 玲，祁玉娟，姜 华

(湖南省第一师范学院 信息科学与工程学院,湖南 长沙 410205)

Shark-search是一种依据链接价值的高低进行优先采集的算法，用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性，在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研究，提出了一种基于网页主题分块的Shark-search算法。该算法在经典Shark-search算法的基础上依据网页组织结构根据网页布局标签对页面内容进行分块，从网页，块和链接三个层面与主题的相关性得到链接的综合价值，因而具有自学习功能，能统计学习与主题相关性较大的块特征，并在发生主题漂移的时候具有自调整功能，给予主题相关性较大的父页面上的链接更多被抓取的机会。采集实验结果表明，所提出的算法在经典Shark-search的基础上能较好地改进主题信息采集的查准率，能够更灵活地针对实际的Web资源状况进行自调整。

Shark-search算法；网页分块；Web信息搜集；链接价值；主题漂移

0 引 言

近年来，互联网技术发展迅速，搜索引擎的功能要求越来越丰富，传统的搜索引擎已不能满足人们的个性化服务需求[1]。因此，“专业搜索引擎”(Topic-Specific Search Engine)成为研究热点[2]。http://search.sz.gov.cn/was40/szgonline/szgov_advsearch.jsp就是一个专用搜索引擎的例子。该网站以200多个深圳市政府相关网站作为信息源，利用网络蜘蛛抓取上面的网页，最大限度地过滤信息垃圾，返回给人们权威的专门信息。……