APP下载

数据可视化技术在大数据分析领域的应用及发展研究

2021-11-21史国举

无线互联科技 2021年18期
关键词:可视化

史国举

(毕节广播电视大学,贵州 毕节 551700)

0 引言

在大数据时代,结构化、非结构化和半结构化数据无处不在并呈几何级数增长,潜在价值巨大,被誉为未来新石油。各行各业发挥各自领域的专业优势,不断增加对大数据应用的投入。数字化转型已成为行业发展的迫切需要,数据可视化的需求呈现爆发式增长,将数据转化为图形。其出乎意料的洞察力让用户能更直观快速地看到相应的信息,能够对数据有更全面的了解,数据可视化成为一种必然趋势。

1 数据可视化的发展历史

数据可视化的发展历史久远,最早可追溯至远古时代。1800年前,为了绘制海上主要风向的箭头图和天气图,人们开始尝试用含有等高线的地磁图来绘制海上风向和天气图。柱形图和折线图于18世纪首次被William Playfair用来表示一个国家的进出口量。“可视化”一词来源于美国,可以追溯到20世纪50年代计算机图形学的早期。那时,人们用电脑制作出第一批图形图表。1987年,NSF(美国国家科学基金会)的《科学计算中的视觉化》把可视化首次作为一种组织性的次领域提出来,认为可视化是一种能够处理大量科学数据集的工具,能够提高科学家们从数据中发现现象的能力。20世纪90年代初,一个被称为“信息可视化”的新研究领域诞生,旨在为许多应用领域对于抽象的异质性数据集的分析工作提供支持。同时,我国科研人员已经在可视化领域付出了极大的努力,为各个领域应用数据可视化奠定了坚实的基础[1]。

2 数据可视化的概念及意义

周宁[2]在《信息资源可视化模型方法》中指出:我们在观察世界的时候,往往会运用许多不同的视觉线索。研究表明,大多数视觉信号处理过程都发生在大脑的潜意识阶段。可视化是人的思维认知的强化过程,即人的大脑通过人眼观察某个特定图形和图像,从而感知到某个抽象的事物,这一过程是一个强化认知的过程。帮助人们理解事物的规律是数据可视化的最终目的,而绘制的可视化结果只是直观的过程表现。因此,在计算机领域,可视化(Visualization)技术是一种利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来,并进行交互处理的理论、方法和技术,旨在借助图形化的手段,以更明确地、有效地传递信息,从而达到“百闻不如一见”“一图胜千言”的效果。

3 数据分析与数据可视化的关系

数据分析是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来,总结出研究对象的内在规律,经历明确目的和思路、数据收集、数据处理、数据分析、数据可视化、报告撰写的过程。如果把数据分析看作一个数学问题,数据可视化就是数据分析的子集,数据分析包括了数据可视化。

4 数据可视化的工具

在大数据时代,一款好的工具能让你事半功倍,让用户快速掌握信息的关键点,帮助他们做出更好、更明智的决策。常言道:“工欲善其事,必先利其器”。

4.1 Power BI 数据可视化

由Excel衍生而来的Power BI,整合了Excel Power Query,Power Pivot,Power View和Power Map等一系列工具,堪称微软第二次伟大的发明,采用(Data Analysis Expression)数据分析表达式,它使得不懂编程但具备数据分析能力和商业直觉的分析人员能够便捷而快速地提取、清理和整合各种数据源(mysql,Salesforce等),并创建复杂动态图形和仪表,堪称自助式BI 商务智能,是IT傻瓜化和数据分析的完美结合。

4.2 Tableau数据可视化

Tableau是一款完全的数据可视化软件,专注于结构化数据的快速可视化,使用者可以快速地实现数据可视化并构建交互界面,只需将数据直接拖放到工具簿中,通过一些简单的设置就可以获得想要的可视化图形,其核心是数据可视化技术,具有独创的VizQL数据库和用户体验良好且易用的表现形式,是一个人人都能学会的敏捷商务智能工具。

4.3 ECharts数据可视化

作为一种商业级别的数据图表,ECharts是一个开放源代码的数据可视化工具,可用于PC端和移动端的大多数浏览器,它由JavaScript实现,底层依靠轻量级矢量图形库 ZRender,具有丰富的可视化类型,支持多种数据格式,具有流畅性强的数据前端显示、动态数据的动画显示、更强大的三维可视化,支持跨平台应用,有数据深度探索和无障碍访问功能,并提供了多种可视化图表,支持定制,易于使用,轻松满足数据大屏、智慧城市、VR、AR等高品质展示需求[3]。

4.4 Pyhton数据可视化

Python语言强大而灵活,并有很强的扩展性,而且其语法相对简单易懂,即使没有编程基础的普通办公人员也能通过适当的学习轻松掌握,被称为“胶水语言”。Pyecharts和Plotly模块是Python数据可视化中的两个重要工具。Pyecharts在Python和ECharts之间架起了一座桥梁,让 Python用户也可以使用 ECharts的强大功能。Plotly是新一代Python绘图模块的王者之选,也是各种Web平台的优先选择绘图模块。

5 数据可视化技术在各行业领域的应用

5.1 医疗大数据

早期的大多数与医疗相关的数据都是纸面形式,而非电子数据存储,例如官方医药记录、收费记录、护士的手写病例记录、处方药记录、X光片记录、磁共振成像(MRI)记录、CT影像记录等。医学大数据主要有两个方面:一是发现新知识,认识新规律;二是促进适度医疗,提升医疗的价值。从Google预测流感到如今的循证医学、基因组分析、预判欺诈分析、设备/远程监控、病人资料分析等都是医疗大数据的应用,能帮助病人实现疾病的智能化管理,实现数据智能的绿色医疗新生态。

5.2 交通大数据

交通拥堵成为人们十分关注的问题。有不同的解决方法解决交通拥挤的问题。大数据为解决交通拥堵问题提供了全新的思路。积极运用大数据技术治理交通拥堵,以交通物联网、 GIS等技术为支撑,积极构建完善的交通运输体系,采集各类交通设施基础数据。深圳利用大数据技术治理交通拥堵的举措给其他城市提供了借鉴意义[4]。

5.3 电商大数据

当人们网购的时候,就产生了电商大数据;而随着商业信息和数据的激增,电商企业必须依赖于大数据技术来帮助管理者做出科学、合理的决策,以提高其竞争优势。电商行业大数据的应用包括精准营销、个性化服务、商品个性化推荐等方面。

6 数据可视化面临的挑战和发展

大数据时代对可视化技术的需求越来越高。数据信息更新及发展速度之快,要求可视化技术能即时产生数据关联。面对日益繁杂的数据,常规的可视化方法已经显得力不从心,甚至无法对数据进行及时有效的处理。因此,大数据时代的到来对数据可视化的发展既是机遇也是挑战,研究人员需要不断创新,才能满足日益扩大的需求。具体包括以下方面。

(1)数据量庞大,超出了单机、外存模型甚至小型计算集群的处理能力极限,而目前的软件和工具运行效率不高,需要探索全新的思路来解决这个问题。(2)在数据获取和分析过程中,容易产生数据质量问题,需要对数据的不确定性给予特别关注。(3)数据变化很快,常常是流式数据,务必寻找流数据的实时分析和可视化方法。(4)面对复杂的高维数据,目前的软件系统的功能主要是统计和基本分析,缺乏分析能力。(5)多源数据的类型和结构各不相同,现有方法很难满足非结构化、异构数据的处理需求[5]。

7 结语

数据可视化技术是在大数据时代的背景下出现的,目的是让人们可以更方便地享受数据带来的成果。在以计算机图形绘制为基础的传统可视化技术上,随着计算机技术、数据图像处理技术和其他主流智能技术的发展,数据可视化技术已取得了一定的发展成果。但随着数据规模的不断扩大,数据种类的不断增加,以及用户对数据读取的需求日益增加,现有的可视化技术已经变得力不从心,人们需要继续研究新的可视化技术,以适应社会发展的步伐。

猜你喜欢

可视化
无锡市“三项举措”探索执法可视化新路径
基于CiteSpace的足三里穴研究可视化分析
自然资源可视化决策系统
三维可视化信息管理系统在选煤生产中的应用
基于Power BI的油田注水运行动态分析与可视化展示
自然资源可视化决策系统
基于CGAL和OpenGL的海底地形三维可视化
可视化阅读:新媒体语境下信息可视化新趋势
“融评”:党媒评论的可视化创新
重大主题报道的可视化探索——以浙江日报的实践为例