基于动态隧道技术的主题爬行策略①
2020-03-18王一川
计算机系统应用 2020年3期
姜 琨,朱 磊,王一川
(西安理工大学 计算机科学与工程学院,西安 710048)
互联网网页的聚集特性表明主题页面容易聚集出现,因主题相关或相近而链接在一起的互联网网页被称为主题岛或者主题团.主题爬虫依据主题团的聚集特性对网页进行采集.然而,并非所有的主题相关网页都是链接在一起的,它们之间可能要跨过几个主题不相关页面的链接.许多主题岛被这些主题无关的页面链接,使主题岛之间被分隔,这种现象被称为主题孤岛.如图1 所示,这些无关页面的链接分布在互联网上待采集的主题团之间,形成连接主题孤岛的一个隧道,这就是Web 页面的隧道特性[1,2].实际的Web 中存在大量这样的主题孤岛,如果主题爬虫系统只通过父页面来预测子页面的相关度,只提取主题相关页面中的超链接作为种子链接,那么就会丢失大量的主题孤岛.因为如果子页面是主题无关的,爬虫就可能不会访问该页面中的超链接,这些链接可能穿过数次链接而连着另一个主题孤岛.

图1 主题孤岛问题示意图
如果为了提高爬虫采集页面的准确度而提高爬行策略中的相关度阈值,则会过滤掉大量的隧道,这样就访问不到隧道另一端可能存在的主题孤岛,导致爬虫的对主题网页的召回率较低.为了提高爬虫一次爬行过程所采集主题相关页面的数量,往往会降低爬行策略中判断主题相关与否的相关度阈值.如果这个隧道很长,那么降……
登录APP查看全文
