◆陈华

基于Python的数据分析与可视化平台研究

◆陈华

（昆明冶金高等专科学校 云南 650000）

在数据时代，数据的价值受到广泛关注，分析数据背后的含义已成为广泛研究的问题。Python是一种可操作性强、易于使用、功能齐全的工具，广泛用于数据分析。本文使用Python作为主要工具，并使用其内置和集成库来分析和可视化不同类型的数据，充分发挥Python在数据分析领域的作用。

Python；数据分析；可视化平台

随着信息技术的发展，各种应用系统应运而生。大学的软件系统主要包括教务管理系统、办公系统、学术系统等，这些系统的数据主要是存储在数据库中的结构化数据。非结构化数据主要以文件形式存储，具有碎片化的特点，查找时存在一定的困难，这些数据中包含的有用信息未被充分利用。在本文中，将使用Python的数据分析，以相对较低的成本构建一个可视化平台。

1 数据可视化工具

1.1 Python简介

Python是一种计算机编程语言。由于其可读性高、集成方法更加全面、易于使用和理解等优点，被广泛应用于计算机领域和非计算机领域的数据分析。

1.2 数据分析简介

从广义上讲，数据分析意味着从数据中收集大量数据，例如读取、存储、计算、可视化、分析和其他技术，以发现隐藏的信息、价值和决策参考。因此，数据分析是计算机科学的一个多学科分支，是挖掘数据价值的重要手段。

2 可视化平台特点和优势

传统的数据分析课程教学方式存在重理论、概念性强，学生难以理解等很多问题。现有的数据分析工具不适合作为课程的通用动手工具，因为它们更专业且学习成本更高。基于Python的数据分析与可视化平台可以很好地解决上面提到的问题。

2.1 实现理论与实践相结合

学生可以使用系统的数据分析模块，在学习完理论知识后，可以根据自己的兴趣和需求，选择不同的算法进行数据挖掘实践。由于每个学生的知识掌握水平存在差异，学生可以通过可视化平台进行针对性学习，增加学习积极性。

2.2 提供与专业相关的案例研究

提供了与学生实际专业相关的案例，结合这些案例，结合理论知识，加深对数据挖掘应用的理解。还可以创建和上传自己的案例，与其他用户建立联系，并在此过程中获得自我知识和技能提升。

2.3 提供开源算法代码

系统提供所有算法的开源代码，并带有注释，学生可以理解这些算法的具体实现，并在理论学习的同时运行这些代码，也可以改进原始算法解决自己的问题，提高理论水平和应用水平，满足不同层次学生的探究需求。

3 Python数据分析技术

3.1 平台核心技术

系统的网站配置采用B/S平台技术，使用HTML、CSS、JS实现网页显示，Flask框架实现后台处理。用户可以在网站上选择合适的算法，输入自己想要分析的数据，或者上传相关的数据文件，得到在Echarts中可视化的分析结果。

3.2 数据分析过程

使用Python语言执行数据分析任务的基本流程如下：

（1）在需求识别数据分析过程中，首先要明确数据分析、流程分析等数据使用需求。根据目标数据的特点，采用数据分析方法，深入挖掘数据的特点和潜在使用价值。

（2）数据采集明确数据分析要求后，应尽可能全面地采集目标数据，尤其可以采用本地采集和Python网络爬虫采集方式。

（3）数据预处理。在正式的数据分析之前，首先要完成数据预处理，对目标数据进行合并、清洗、转换和标准化，特别是要满足后续建模分析的需要。

（4）挖掘建模。平台使用一套算法（KNN、决策树、K-means、PCA、线性回归等）对数据进行分析、处理和可视化。采用K-means算法，允许组合文件的数据维度配适当的图表，提供分析结果图表和必要的文字说明以供自动选择。采用PCA算法对数据进行降维，保留原始数据的主要成分，并提供原始数据结果图和降维结果图。

（5）结果生成数据分析完成后，应将结果以可视化的形式展示和输出，以便用户使用数据结果。

4 Python数据分析平台设计与应用

4.1 设计需求分析

数据分析平台主要基于Python设计，解决数据分析过程中的数据采集和导入问题，完成整个数据分析处理过程。例如，在设计产品售后客户满意度调查分析工具的过程中，主要通过本地采集完成数据的收集，引导调查后需要进行数据预处理，根据问题提取数据分类和格式化，然后使用预先构建的数据分析模型来执行数据分析和评估任务，并获得综合评估结果。

4.2 主要功能模块设计

在设计数据分析平台主要功能模块的过程中，首先为用户提供一个易于操作的图形界面，基本操作界面主要包括导入调查、查询、分析数据、显示结果等功能。可通过主界面操作更新数据库，完成按操作约束分类的数据处理功能。使用数据结果时，可以通过查询、编辑、标注、选择、删除等功能，获取所需的数据分析结果，并保存到结果数据库中。

4.3 案例系统分析

案例系统是搭建一个交流学习分享平台，根据目前的用户反馈和试用结果，对于可视化数据分析平台的开发，基于Python的可视化数据分析平台，除了数据分析之外，还有很高的教育价值和信息处理功能。随着学生学习和数据挖掘课程的教育需求，学生通过平台交流和使用数据，应用课程中学到的知识，更好地理解平台在数据分析中的应用，解决数据分析和挖掘问题。

5 非结构化数据处理

5.1 非结构化数据的采集与预处理

大部分视频、PDF文档、Word文档、PPT文档等非结构化数据都以文件的形式存储。对于非结构化数据，可以先提取文本内容，方便分析，再对文本内容进行分析处理。对于视频文件，可以使用Python的MoviePy库从视频文件中提取音频，然后调用科大讯飞开放平台的语音转录功能将语音转换为文本。对于PDF文件，可以使用pdfminer3k库提取文本内容。Python可取PDF文件的文本内容。对于Word文档文件，可以使用Python中的python-docx库来提取Word文档的文本内容。对于PPT课件，可以使用Python的python-pptx库来提取PPT的文本内容。

5.2 词频统计与可视化

对于中文文本的词频统计，需要分词来自动对中文文本进行分词。jieba是Python中常用的中文分词库，使用同义词库将需要切分的内容与同义词库进行比较，以找到最可能的词组。Jieba支持三种中文分词模式：精确模式、完整模式和搜索引擎模式。Jieba有生词识别能力，但是自己添加生词可以保证更高的准确率。词云以词为单位，对文本中出现频率高的关键词进行视觉上的突出显示，并将关键词渲染成云状的彩色图片。词云可以过滤掉大量低频、低质量的文本信息，让浏览者一目了然，已经成为可视化文本数据的常用方法。Wordcloud是Python中的一个库，可从文本生成词云。通过词云图，视频、PDF、Word、PPT等非结构化数据的主要内容一目了然。为方便非结构化数据的管理，将非结构化数据文件、文本、词云图等文件的路径信息以及出现频率较高的关键词存储在数据分析可视化平台的数据库中。

6 将图像进行Web发布

由于Matplotlib中创建的图表和wordcloud中创建的wordcloud图都是本地图片，用户通过浏览器远程查看不方便，因此需要将生成的图表和wordcloud图发布到网络上。Flask是一个小巧而复杂的轻量级Web框架，其WSGI工具箱使用Werkzeug，模板引擎使用Jinja2，Flask不包括对数据库的抽象访问层。Flask-SQLAlchemy是一个Flask扩展，简化了在基于SQLAlchemy的Flask程序中使用SQLAlchemy的任务。Flask-SQLAlchemy在数据分析和可视化平台中提供了对数据库中数据的便捷操作。对于结构化数据，为了方便客户端浏览器的交互，客户端选择图表类型、参数和数据进行可视化，服务器根据参数生成相应的图表。因为图表是根据客户端参数发生变化，而不是将图表存储在服务器磁盘上，将Matplotlib生成的图表通过Base64直接编码到内存中并传输到网页，从而提高了响应速度服务器的IO操作和系统改进。

7 结束语

面对越来越多的结构化和非结构化数据，数据分析和可视化变得非常必要。本文使用Python搭建了一个数据分析和可视化平台，使用Pandas对结构化数据进行预处理和分析，将分析结果存储在数据分析和可视化平台的数据库中，使用Matplotlib可视化数据，并通过Flask发布图表。当用户在浏览器中选择要可视化的结构化数据、图表类型和参数时，就可以在浏览器中查看结构化数据的图表。当用户上传非结构化数据进行分析时，服务器自动将其转化为文本，对文本进行词频统计，并以词云形式展示，在浏览器中即可查看词云图片。为方便非结构化数据的管理，将非结构化数据、对应文本、词云图路线信息、高频关键词等存储在数据库中，利用Flask实现非结构化数据搜索功能。

[1]宋永生，吴新华.基于Python的Moodle学习平台日志分析[J].计算机时代，2018（10）：19-21+25.

[2]嵩天，礼欣，黄天羽.Python语言程序设计基础[M].北京：高等教育出版社，2017.

[3]叶惠仙.Python在学院招生数据分析中的应用[J].计算机时代，2018（11）：102-106.

[4]祝永志，荆静.基于Python语言的中文分词技术的研究[J].通信技术，2019，52（7）：1612-1619.

[5]严明，郑昌兴.Python环境下的文本分词与词云制作[J].现代计算机（专业版），2018（34）：86-89.

[6]李强，白建荣，李振林，等.基于Python的数据批处理技术探讨及实现[J].地理空间信息，2015（04）：24.