基于Python的数据分析与可视化平台研究
2019-10-21宋永生黄蓉美王军
宋永生 黄蓉美 王军



摘 要:数据分析与可视化有助于人们从繁杂的数据中快速获取有用的信息。利用Python中的Pandas对结构化数据进行分析,采用Matplotlib进行图表展示;从非结构化数据中提取文本,利用Jieba对文本进行分词处理,利用Wordcloud进行词云展示。利用Flask对上述图表及词云进行Web发布,构建数据分析与可视化平台,成本较低,简便易用。
关键词:可视化;Pandas;Matplotlib;Jieba;Wordcloud;
中图分类号:TP312.1 文献标识码:A 文章编号:2096-4706(2019)21-0007-03
Abstract:Data analysis and visualization can help people get useful information from complex data quickly. We use Pandas in Python to analyze the structured data,and use Matplotlib to display the charts;we extract the text from the unstructured data,use Jieba to segment the text,and use Wordcloud to display the word cloud. Flask is used to publish the above charts and word cloud on the Web and build a data analysis and visualization platform,which is low cost and easy to use.
Keywords:visualization;Pandas;Matplotlib;Jieba;Wordcloud
0 引 言
近年来,随着信息技术的飞速发展,各种应用系统如雨后春笋般涌现。高校中的软件系统主要有教务系统、办公系统及学工系统等,这些系统的数据主要是存储于数据库中的结构化数据。电脑或服务器上则存放着大量的视频、PPT课件、PDF文档、Word文档等非结构化数据。随着时间的推移,各类非结构化数据及结构化数据越来越多。非结构化数据以文件的形式进行存储,比较零碎,不便于检索。这些数据中蕴含的有用信息得不到充分利用,数据分析的需求越来越大。数据分析是指采用一定的方法对收集到的数据进行分析,提取其中有用信息的过程。数据可视化是采用图表等方式对数据进行展示,有助于人们进行决策。
目前数据分析商用软件有Matlab、SPSS和SAS,然而这些软件费用高昂,安装包较大,安装过程复杂[1]。Python是一种面向对象的跨平台解释型高级程序设计语言,Python语言简洁明了、便于扩展,具有庞大的标准库和第三方库,生态极为丰富。越来越多的研究人员开始使用Python进行数据分析,Python也逐渐成为数据分析领域的首选工具[2]。……
