刘洋　崔翠　李立新

摘要：随着Internet技术的不断发展，互联网已经成为人们获取信息的主要途径，搜索引擎从互联网中靶向性筛选出有用信息，而网络爬虫又是搜索引擎的基础构件之一。本文实现了一个基于python语言的并行网络爬虫，利用关键字匹配技术对目标网站进行扫描，得到敏感数据并抓取，分析网站数据结构和受恶意攻击的风险系数。

关键词：搜索引擎 网络爬虫 python 敏感数据

1引言

网络爬虫（Crawler）是搜索引擎（search engine SE）的基本构件之一，其直接面向互联网底层，它是搜索引擎的数据发源地，决定着整个系统的内容是否丰富、信息能否得到及时更新。它的性能表现直接影响整个搜索引擎的效果。网络爬虫的工作原理如下：从一个初始種子URLs出发，从中获取一个URL，下载网页，从网页中抽取所有的URLs，并将新的URLs添加到URLs队列中。然后，Crawler从队列中获取另一个URL。重复刚才的过程，直到Crawler达到某种停止标准为止。

搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。我们经常看到不同的网站发布着同样的新闻，很多就是通过网络爬虫的技术从其它的网站爬取信息，然后放在自己的网站发布。同样，这样的爬虫技术也可以用来帮助我们做安全扫描分析等工作，这也是本文研究的重点。

2国内外研究现状及相关核心技术

2.1现状

90年代出现了最早的搜索引擎，也就产生了网络爬虫。此时的爬虫在爬取整个网络的时候采取深度或广度优先的遍历方式。……