APP下载

基于Python的数据分析的研究

2019-12-16张运玉

电脑知识与技术 2019年30期
关键词:平台设计数据分析

张运玉

摘要:Python是一种强大的数据分析工具,具有丰富的数据分析功能,通过设计专用平台,可以解决许多领域的数据分析问题。文章首先对Python数据分析技术进行介绍,并研究Python数据分析工具的常用类库。在此基础上,探讨Python数据分析平台的设计及应用,以期为相关数据分析工作提供参考。

关键词:Python;数据分析;平台设计

中图分类号:TP311 文献标识码:A

文章编号:1009-3044(2019)30-0003-02

随着人工智能时代的全面到来,数据分析工作已经引起了各行各业的广泛重视。采用计算机语言编程方法完成数据分析工作,不仅效率高,而且数据分析结果的可靠性强,具有多方面的利用价值。在数据驱动模式下,无论是产品设计开发还是项目管理工作,都需要强大的数据分析工作提供支持。

1Python数据分析技术

1.1Python语言

Python语言是一种解释型高级程序语言,支持面向对象编程设计,能够处理动态数据类型,目前已经研发出第三方程序数据库和实用性较强的应用工具。自20世纪90年代Pvthon语言公开发布以来,由于其语法简洁、类库丰富,适用于快速开发活动,已经成为当下较为流行的一种脚本语言。在采用Pvthon语言进行编程时,编程人员不需要考虑内存占用等底层的细节问题,能够有效提升编程效率。而且Pvthon语言具有良好的一致性,可以在多种平台上移植。其本身属于开源代码,在程序解释执行过程中,可以直接从源代码中运行,不需要编译。这些特点都为Python语言的广泛应用奠定了基础。而且Pvthon语言具有强大的数据分析功能,可以应用到网站开发、图像处理、数据统计和可视化表达等多个领域。在2017年5月时,Py-thon语言成功超越Java语言,名列编程语言排行榜第一位,是目前最重要的编程语言之一,并成为数据分析工作的首选编程技术。

1.2数据分析過程

利用Python语言开展数据分析工作,具体包含以下几点基本流程:(1)需求确认,在数据分析过程中首先要明确数据使用需求,比如财务数据分析、工艺流程分析等,从而根据目标数据特点,采用合适的数据分析方法,深度挖掘数据特点和潜在利用价值。(2)数据获取,在明确数据分析需求后,应尽可能全面地收集目标数据,具体可采用本地获取、网络爬虫获取手段等。其中,网络爬虫获取手段是利用Python语言进行编程,合法获取网络中的相关数据资料,满足大数据分析中的数据量获取需求。(3)数据预处理,在正式进行数据分析前,首先要完成数据预处理工作,具体是通过对目标数据进行合并、清洗、变换和标准化处理,满足后续建模分析的需要。在此过程中,可提高数据质量,从而提高数据分析效率。(4)建模及优化,在数据分析过程中,建模是一个重要环节,具体可通过建立聚类模型、关联规则、智能算法等,对目标数据进行处理。完成建模后要对其性能进行评价和优化,确保其适用于实际数据分析工况。f5)结果生成,完成数据分析后,要采用可视化形式对结果进行展示和输出,方便使用者对数据结果进行利用。

2Python数据分析工具的常用类库

2.1Ipython类库

类库丰富、接口统一是Python数据分析工具使用便捷的主要原因,通过采用其自身携带的类库,可以有效简化程序设计工作,提高数据分析效率。其中Ipython是Python语言中的一个核心类库,为Python语言编程提供了标准工具集,并将所有相关工具联系起来,通过采用交互式、探索式等方法,为科学计算提供一个高效环境。Ipython类库本身是一个加强PythonShell,主要应用于交互式数据的并行处理,为分布式计算提供基础框架。利用Ipython类库进行编程,能够有效提升代码编写、测试和调试速度。

2.2 NumPy类库

NumPy类库是Python语言中的科学计算基础包,即Numer-ical Python的简称。通过利用该类库,能够快速完成数据分析过程中的科学计算任务,也可以被作为多维数据容器,用于存储大型矩阵,并对其进行计算处理。在NumPy类库中包含多维数据组对象ndarray,可以数组进行元素级计算,并直接执行函数运算。该类库还具有线性代数计算、随机数生成、傅里叶变换等功能,可以将c语言等多种语言代码集成到Python语言中,并所谓算法间数据传递的容器。

2.3Scikit-learn类库

Scikit-learn属于一种数据挖掘工具,在NumPy等类库的基础上,可以对常用算法进行封装。其本身包含数据预处理、分类和聚类、数据回归分析等机器学习算法,能够帮助编程人员快速完成建模过程,确保模型接口的统一性,从而方便使用。在一定的数据量前提下,该类库可以解决大部分数据分析工作,即使对于数据分析算法不够精通的编程人员,也可以通过快速建模,实现需要的算法功能。在使用过程中,可以查阅seikit-learn官方文档,直接调用类库中包含的模块,完成建模工作。

2.4其他常用类库

除了上述介绍的几种类库外,SciPv类库、Pandas类库、Mat-plotlib类库等,也是进行数据分析时常用的类库。其中,SciPy是一种能够解决数学计算问题的开源软件,在NumPy类库基础上建立数据函数集合,为Pvthon语言编程提供科学计算工具集。其中包括数值计算方法及其功能函数,可以便捷地完成数据分析工作。Pandas也是Python语言的一个核心类库,主要提供时间序列支持,能够快速完成结构化数据处理工作。在数据预处理的数据清洗和标准化过程中,都可以采用Pandas类库中的功能函数。Matplotlib是专门为数据图表绘制提供支持的类库,在开源社区发展的带动下,该类库已经在计算领域得到广泛应用,是Python语言经常使用的绘图工具包。通过发挥这些类库的功能作用,可以为基于Python语言的数据分析过程提供有力支持。

3Python数据分析平台设计及应用

3.1设计需求分析

基于Python设计数据分析平台,主要为了解决数据分析过程中的数据采集、导入、分析和可视化展示等问题,完成整个数据分析处理过程。通过利用上述类库进行平台设计,可以极大地简化程序开发过程,满足实际应用需求。比如在一款产品售后客户满意度的问卷分析工具设计过程中,数据采集主要通过本地获取方式完成,在导人调查问卷后,需要进行数据预处理工作,按照问题分类进行数据提取,并进行格式转换。然后利用预先构建的数据分析模型,开展数据分析评价工作,得出综合性评价结果。除了对当期数据进行图形化展示以外,还要对数据进行存储,随着产品改良的进行,分析客户满意度变化趋势,为产品设计工作提供参考依据。

3.2核心技术及平台框架

在基于Python语言的数据分析平台设计过程中,首先应根据软件应用需求,搭建数据库和数据通道,方便数据的调取和利用。同时应设计优化的操作界面以及可视化展示模型,方便使用者对数据分析结果的观察和利用。在本次平台设计过程中,采用开源Python2.7完成编程工作,使用的类库和模块主要包括Ipython、NumPy、Matplotlib、os、Json、codes等。其中,开源Python2.7可在网络中直接下载,并通过pip下载类库和模块。数据处理对象是调查问卷,可以将调查问卷中的数据结果存储在数据库中,并以图片、文档等形式进行数据结果展示。其中,调查问卷的基本数据类型由初始化文件自动生成,然后通过调用相关函数,完成数据录入过程,并对数据进行分类存储。除了调查问卷中的主体信息外,系统还会自动录入调查对象的基础信息,并对调查问卷的有效性进行评价,在数据预处理过程中提出无效问卷的数据。在数据结果展示过程中,可以采用图表形式建立调查问卷信息与调查对象信息的对应关系,使结果一目了然,为后续产品设计开发活动提供依据。

3.3主要功能模块设计

在该数据分析平台的主要功能模块设计过程中,首先要为用户提供一个操作友好的图形界面。在主操作界面中,主要包含调查问卷导入、查询、数据分析和结果展示等功能。可以通过主界面操作更新數据库,并根据操作限制条件完成分类数据处理功能。由于该平台的数据分析结果主要是为了给设计人员提供参考,在完成基本的数据分析工作后,还可以结合设计要素,对结果进行分类展示,比如按照产品功能、产品包装、产品外观造型等展示不同的数据分析结果。随着产品销售时间的增加,需要评估的数据总量也会越来越大,通过在数据库中使用sQL语言进行编译,仅需要一次创建就可以重复调用,可提高数据库执行速度。在数据库初始化过程中,根据不同的分类结果展示需求,自动生产数据表,然后通过调用可视化模型,完成数据结果展示。使用者在对数据结果进行利用时,可通过采用查询、编辑、标注、选择、删除等功能,获得自己所需要的数据分析结果,然后将其存储到结果数据库中。此外,该平台还具有数据库打印功能,可以打印各种形式的报表,使用较为方便。

3.4应用效果

利用Python语言设计数据分析平台,完成特定的数据分析功能,使用非常方便。从上述平台设计过程及应用效果来看,Python语言自身语法简单,即使初学者也能够通过查询和调用相关类库,实现数据分析功能。在庞大的第三方资源库支持下,Python能够为各个领域的数据分析工作提供支持。在基于Python的数据分析平台中,提供了多种接口,支持其他语言的编程操作,进一步扩大了其程序适用性。而且在可视化脚本工具的支持下,可以通过简单编程实现可视化结果展示功能,充分满足使用者对数据分析结构的利用需求。在数据操作过程中,数据库运行速度快,可以减少使用者的等待时间,及时掌握数据分析结果,发挥其利用价值。因此,Python语言是目前最为先进的数据分析工具之一,具有广泛的应用前景,可以有效简化复杂的数据分析处理过程,对其底层操作进行封装,只通过简单的功能按钮操作,就可以得到想要的数据处理结果,优势非常突出。

4结束语

综上所述,Python语言在数据分析领域具有突出的应用优势,可以利用其自身携带的各种类库,完成数据分析的基本流程,并通过直接调用功能函数,简化代码编程过程。在Python数据分析技术的应用过程中,通过从实际需求出发,完善平台功能,可以快捷、高效地完成数据分析任务,得到具有参考价值的数据分析结果。

猜你喜欢

平台设计数据分析
浅析大数据时代对企业营销模式的影响
MOOC时代创新区域教师培训课程建设研究