李传科，肖自乾

（海南软件职业技术学院 海南 琼海 571400）

1 引言

随着互联网的快速发展和广泛运用，网络数据呈现爆炸性增长，并且随着时间的推移，网络数据的沉淀和冗余，产生大量无效数据，导致人们对于有效信息的获取变成一种挑战，因此大数据技术成为各行各业的转型方向[1]。而Python作为数据分析领域的最佳选择语言，其跨平台、灵活简单的特性，加上Python在数据分析方面拥有极为丰富的外部库，为大数据分析运用提供了重要保障。本文利用Python技术实现数据搜集、分析和整理，并以可视化方式将抽象数据通过图表呈现，使得人们更加便捷和直观地获取到需求数据。

2 设计思路

本文研究以网页为基础数据，采用Python技术，根据业务实现流程可分为3部分：数据采集、数据分析、数据可视化，具体的应用实现流程见图1。

图1 应用实现流程图

3 网页数据采集

在网页数据采集技术中，网络爬虫（又称网络蜘蛛）是十分关键的组成部分，其通过提取互联网特定页面内容实现网页数据信息的收集。网络爬虫主要借助Python技术中的scrapy爬虫框架，基本流程为：抓取数据—解析数据—存储数据[2]，创建爬虫框架包括items.py、piplines.py、Middlewares.py、settings.py等py文件，项目程序结构见图2。

图2 scrapy爬虫程序结构图

（1）items.py文件用于实现封装需要爬取的各个网页字段，定义继承scrapy.Item类，并将所有需要爬取的网页中不同节点字段定义为nodeName = scrapy.Field()类型即可。

（2）piplines.py文件中建立ExamplePipline类并实现process_item(self，item，spider) 方法用于处理爬取到的每个Item，把Item存储到字典中。

（3）Middlewares.py作为中间层文件，可以分为spider middleware和downloader middleware两类，用于处理爬取网页的网络请求和响应，可以设置一些代理IP等。……