单艳 张帆

（国家计算机网络与信息安全管理中心新疆分中心 新疆维吾尔自治区乌鲁木齐市 830017）

互联网以及信息技术产业的快速发展，让互联网当中的数据变得繁杂多样，网络爬虫本身是按照一定的规则，实现自动地抓取网页的信息并且进行计算，网络爬虫的目的最主要在于将目标网页当中的数据进行下载管理，方便用户的使用，提高用户的使用体验，由于大数据时代的到来网络爬虫技术得到了快速的发展得到，用户通过网络爬虫的爬取技术可以更加快捷的获取到网络数据，便于进行数据挖掘。对于Python语言来说快捷简单，目前的爬虫框架和工具可以大幅度降低使用的门槛，保证表达式的使用，让数据的抓取更加的稳定。先目前，各大网站的反爬虫机制已经构建完善，市面上存在的一部分爬虫程序已经满足客户的实际需求，所以一个能够实现网页信息爬取的爬虫项目也是时代发展的需要。本文最主要的研究内容就是实现如何从目标网页当中爬取自己所需要的信息，Pyhton作为一个学习较为简单，简单易上手的程序语言得到越来越多的重视，本文就主要选择Python作为爬取技术的编写软件，使用其中较为成熟的库，数据分配展示方面我们配合使用spring, mybats以及mvc三个主要框架实现数据的展示。

1 Python语言简介和优势

Python语言对开发的软件一致性和质量水准尤为重视，在使用Python语言进行开发之后，绝大部分人都不会再使用其他的开发语言，这就足以表明开发者们是有多执迷于Python语言的应用。……