王爽

摘 要：随着互联网技术的快速发展，搜索平台和搜索引擎在许多领域得到广泛使用，它被视为一种工具，人们可以在网上找到他们需要的信息，但是随着技术的发展，人们发现现在的搜索引擎并不能够满足自己的特定需求，大众的搜索引擎也很难实现一个域范围内全面快速的搜索，为了向用户提供有效可用的信息，我们通过爬虫技术，只对特定网站的内容进行爬取，从而避免垃圾网站信息和广告的推送。本论文设计和实现分布式的爬虫系统，采用了Scrapy架构，并通过Redis作为URL缓存队列进行分布式扩展，使爬虫的效率大大的提升，对Redis进行高可用配置，提升系统高可用性，并能够完成增量爬取，系统共分为调度器模块、URL爬取模块、流水线模块、监控模块等几个主要模块的内容。

关键词：Scrapy框架；分布式；爬虫系统；Redis

1 研究意义背景及内容介绍

1.1 研究背景

随着信息科技的进步和互联网的日益普及，人类正在进行信息史上最巨大的一项工程，即将现实世界现有的信息，诸如报纸、期刊、书籍、专利文献等，都放到网络上去，同时也不停地在网络上生产出数不胜数的新信息。整个网络正在堆积成一个前所未有的超级大型数据库。在近几年里，WWW更是得到了长足的发展。随着Internet的快速发展，Web上的网页数据量正在呈指数增长，据有关机构估计每18个月网络上的信息量就会翻倍，网页的更新速度甚至更快，有人估计每6个月网页数量就会翻倍。如何能够更大限度的找到满足用户需求的网页信息呢？……