刘正华 周杰枫 窦崎

（四川省烟草公司眉山市公司 四川省眉山市 620020）

网络爬虫作为搜索引擎系统中的核心内容，可以针对互联网系统内的底层组织进行直接信息调取和信息处理，可以立足于根本层面对互联网系统相关数据信息更新进行直接影响。立足于结构角度分析，网络爬虫作为某种辅助性的检索手段，拥有固定的信息抓取规则，能够针对各种分布密集信息数据实施定向链接，基于搜索引擎系统下，按照明确标准自动生成索引信息，借助有效措施扩展用户信息查询效率，扩大数据储备。

1 网络爬虫技术分析

1.1 技术简介

网络爬虫技术同时也别称作网络蜘蛛技术，或可以将其称作是网络机器人。网络爬虫技术主要是搜索引擎通过万维网中对相关网页信息进行高效下载，并进一步顺着网页链接于对应网络系统内采集信息，属于一种功能强大的信息自动采集程序，在整个搜索引擎系统中发挥着重要作用，是系统内的核心部件。

网络爬虫技术主要包括信息存储、信息处理以及数据采集等基础功能。传统模式下的网络爬虫技术通常需要合理设置目标爬取页面，可以是一个或是多个页面，实施采集抽取环节中，如果遇到全新页面，需要将其融入待爬序列当中，直到达到目标条件后才能停止信息抓取。系统整个信息爬取过程相对复杂和繁琐，其中存在以下注意事项，第一是针对目标采集内容实施全面筛选，过滤其中无用信息，第二是将各种新型链接自动抓取引入待抓取对对应目标序列当中。……