李尚林，陈宫，雷勇

（桂林理工大学 信息科学与工程学院，广西 桂林 541004）

0 引言

如今信息化时代学习方式早已不同以前,利用网络开展学习必不可少。网络资源不同于传统学习资源，具有实时性高、数量大、内容丰富、传播速度快、范围广、易共享等特点。而且通过网络学习不受限于环境因素，这种随时随地获取学习资源的形式特别迎合快节奏人群的学习需求[1]。但随着互联网技术的日益发展，网络中信息量呈爆炸式增长，在搜索学习资源时尽管搜素引擎会帮助用户抓取一部分网络信息，但对于信息需求的不同往往还需要花费大量时间进行过滤筛选，显然这样的方式既费时又费力。爬虫技术的诞生有效的解决了这个问题。由于爬虫的种种优点，其也成为现代人检索网络信息的重要工具。

如何使用爬虫技术让程序高效、自动化的获取资源信息，简化获取学习资源的过程，成为人们在使用爬虫时所面临的主要问题。因此本文探究了静态网页爬虫和动态网页爬虫的设计过程，实现了静态网页的多线程泛用性爬虫，并以百度图片、百度文库为例设计实现了动态网页的多线程特殊性爬虫，完成对所需资源的高效爬取。

1 爬虫相关技术

1.1 爬虫技术简介

网络爬虫，又称为网络机器人或者网页蜘蛛，是一种按照自身需求和一定规则自动抓取万维网信息的脚本或程序。如今使用爬虫检索信息和资源已成为人们访问万维网的入口和指南。……