宋伟伟

（四川财经职业学院，四川 成都 610101）

1 大数据技术

大数据技术是当前比较热门的技术之一，万物信息化、数字化就会产生大量的数据，而产生的大量数据是错综杂乱的，可以通过数据分析、可视化等技术，将有规律有用的信息呈现出来[1]。数据科学与大数据技术是一门比较新颖且跨学科比较多的技术， 因此需要有数学、编程、统计学、计算机等知识。

商业数据分析不仅是向管理者提供各种数据， 还需要更加深入的方法来记录、分析和提炼数据， 并以易于理解的格式呈现结果。数据本身仅仅是事实和数字，可以通过大数据技术寻找数据规律，结合业务问题找出有用信息，提高生产力。

2 实验相关技术阐述

2.1 网络爬虫技术

网络爬虫[2]是一种基于B/S架构的数据采集技术，它能够按照一定的规则自动抓取万维网信息的程序或者脚本。网络爬虫运行流程如图1所示，由调度器负责URL管理器、网页下载器、网页解析器之间的协调工作，价值数据是从网页中提取出的数据，其通常被保存在文件或者数据库中。

图1 网络爬虫运行流程

2.2 数据库存储技术

通过网络爬虫对于爬取到的数据列表进行存储，以备下一步数据分析使用。主要用到的数据存储技术是mysql、sqlserver、csv文 件 存 储、excel表 格 存 储、mongoDB等，本文实验中是将爬取到的数据存储到mysql数据库中。

2.3 数据分析技术

商业数据分析工具主要包括Python、R、Stata、MATLAB、EViews、SAS、SPSS等，本文实验应用的是Python数据分析工具。

Python是一种面向对象、解释性的计算机程序设计语言，Python语言简洁而清晰，具有丰富而强大的类库，能够把用其他语言制作的各种模块很轻松地联结在一起。……