方宇浩，倪胜巧（四川大学计算机学院，成都610065）

网页监控分布式爬虫

方宇浩，倪胜巧
（四川大学计算机学院，成都610065）

互联网的飞速发展，改变人们获取信息的方式，互联网渐渐取代传统媒体，现在每天都有海量的信息在互联网上更新着，如今世界已经进入到以数据为中心的大数据时代。提出一种监控这些数据的分布式爬虫技术，以及一种基于网页结构的提取网页更新内容的算法。

爬虫；分布式系统；消息队列

0　引言

随着互联网的发展，从互联网获取消息渐渐取代了传统媒体，如电视、报纸等。但是互联网的爆炸式增长导致消息也是爆炸式地增长，各种网站每天更新着海量的信息。要采集这些海量的信息，依赖计算机单机处理能力的集中式网络爬虫无法满足快速获取大量资源的需求[1]，分布式网络爬虫有良好的扩展性，可分布于不同地点，能满足人们对信息采集的实际需求[2]。

1　系统架构

系统结构见图1，该分布式监控系统使用一个消息队列将各部分联系起来，很好的解耦合。初始化模块将任务写入job_queue中，各个爬虫客户端从job_queue中获取任务，并采集信息，将采集好的信息写入task_queue，最后由控制模块将task_queue的数据处理后写入到数据库。并在各个模块配置supervisor监控各个模块的进程，如果出现异常进程结束则重启这个进程。

1.1消息队列

消息队列是一种进程间通信或同一进程的不同线程间的通信方式，软件的队列用来处理一系列的输入，通常是来自使用者。……