鲁继文

（四川大学计算机学院，成都 610065)

基于Scrapy的论文引用爬虫的设计与实现

鲁继文

（四川大学计算机学院，成都 610065)

互联网的迅速发展对于信息的发现和搜集带来巨大的挑战，至今爬虫技术已经成为互联网研究热点之一。基于Scrapy设计一个采集网页上面引用的作者和引用信息的爬虫，系统运行结果显示所设计的爬虫对于爬取引用信息，并将其整理成便于存储和理解的结果有较好的效果。

Scrapy；爬虫；引用爬取

0 引言

网络爬虫，有时称为蜘蛛，是一种系统地浏览万维网的因特网机器人，通常用于网络索引（Web Spidering）的目的[1]。Web搜索引擎和其他一些站点使用Web爬行或Spidering软件来更新他们的Web内容或其他网站的Web内容的索引。 Web搜寻器可以复制他们访问的所有页面，以便以后由处理下载的搜索引擎，以便用户可以更高效地搜索。抓取工具会消耗他们访问的系统上的资源，并且经常在没有默认批准的情况下访问网站。当访问大量页面集合时，计划，加载和“礼貌”的问题就会发生。存在不希望被爬行的公共站点的机制，以使爬行代理程序知道它。例如，包括robots.txt文件可以请求漫游器仅对网站的部分进行索引，或者根本不进行索引。

1 系统设计

Scrapy是一个可以用来爬取Web站点，提取需要的数据结构应用程序开发框架，在众多应用程序中得到广泛运用，例如：数据挖掘、信息处理或者历史数据处理等。尽管Scrapy的最初设计是用来Web抓取，但现在它也可以用使用API来提取数据 （如Amazon Associates Web Servicesi）或通用网络爬虫[2]。……