文/胡晓青 曹宇

1.引言

孤立的数据，尽管是海量数据量也是没有任何意义的。利用Python进行网络爬虫，是通过既定规则，自动地抓取网页信息的计算机程序。爬虫的目地在于将目标网页数据下载至本地计算机，以便进行后续的数据分析。爬虫技术的兴起源于海量网络数据的可用性，通过爬虫技术，我们能够较为容易的获取网络数据，并通过对数据的分析，得出有价值的结论[1]。

2.Python开发环境及技术支持

2.1 Anaconda 下载以及Scrapy安装

在本项目的实现过程中，选择 Anaconda集成环境，Anaconda可以认为是Python的一个集成安装，平台安装完成后就默认搭建好了python、IPython、集成开发环境Spyder和众多的包和模块，非常智能化。由于开发工作将在Win7平台中进行，因此选用Anaconda进行各种Python扩展包的维护也是非常方便和高效的。

Anaconda安装完毕之后，以管理员身份进入Anaconda Prompt对平台进行扩展包的安装。此次开发过程中使用Scrapy爬虫框架进行数据爬取工作，因此在Anaconda Prompt中进行Scrapy的安装。

2.4 相关Python包简介

（1）requests介绍

Request是使用属性名来得到对应的属性值，并可以自动地把返回信息Unicode解码，Request可以自行保存返回内容，所以我们可以读取多次[2]。

发送请求

导入Requests模块

>>>import requests

获取网页

>>>content = requests.get(url).text

（2）JSON介绍

JSON(JavaScript Object Notation) 是一类轻量级的数据交换方法。采用完全独立于语言的文本格式，运用了和c语言家族相类似的习惯（包含C，C++，C#，JAVA，JavaScript，Python等）。JSON具有的这些特点成为很好的数据交换语言。

引用模块

>>>import json

编码

>>>json.dumps()把Python对象编码转换成json字符串

解码

>>>json.loads()把json格式的字符串解码转换成Python对象

（3）Scrapy介绍

Scrapy是一种基于Twisted，仅仅使用Python语言实现的爬虫框架，开发几个模块就能够比较方便快捷的实现一次爬虫，抓取网页中的有效信息用来分析。