何顶军

（泸州职业技术学院，四川 泸州 646000）

AI（Artificial Intelligence）技术是当前飞速发展的热门技术之一，AI 技术和大数据技术是许多智能系统中的关键技术。基于网络信息的AI 系统要实现其智能化，必须以海量数据作为前提。Internet 的飞速发展加快了网络信息爆炸式增长，要在网络中找到有用的信息有如大海捞针。虽然搜索引擎的出现在一定程度上缓解了这个问题，但是，针对某一特定主题，通用搜索引擎具有信息冗余大、内存占用高、消耗大量系统资源、查准率低和个性化需求弱等问题[1]。为弥补通用搜索引擎的这些缺陷，主题网络爬虫（Topical Web Crawler）技术应用而生。主题网络爬虫是网络爬虫的一个重要分支，它只抓取用户特定的、与主题相关的网页，忽略与主题无关的网页，具有准确性、深入性和专业性等特点。

一、网络爬虫概述

（一）爬虫的分类

爬虫是模拟用户浏览网页或Web 应用的自动化程序。网络爬虫通常可以分为通用网络爬虫（General Purpose Web Crawler）、主题网络爬虫（Topical Web Crawler）或叫聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）和深层网络爬虫（Deep Web Crawler）。

通用网络爬虫又称全网爬虫（Scalable Web Crawler），从一个或若干个初始URL 开始，扩展到整个Internet，通常被搜索引擎和大型Web 服务提供商所掌握和使用。

主题网络爬虫就是过滤与主题无关的URL，保留主题相关的URL 并将其放入待抓取的队列；然后按照一定策略从队列选出下一步要抓取的URL，重复至中止条件满足。

增量式网络爬虫是指对已下载网页采取增量式更新和只爬取新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。……