APP下载

大数据技术在企业生产中的应用

2020-11-06

中国信息化周报 2020年39期
关键词:数据挖掘可视化分析

在互联网领域,大数据应用十分广泛,尤其以企业为主,企业作为大数据应用的主体,数据采集、数据存储、数据可视化、数据特征提取、数据特征选择、数据清洗、数据分析、数据挖掘、机器学习、数据仓库、数据安全等围绕大数据商业价值的利用焦点已备受关注。

数据采集

从数据采集层面来看,分为结构化数据、非结构化数据、半结构化数据,来源于物联网的设备采集数据由于成本低、获取方式容易,成为企业大数据采集数据的主要来源之一,实时性相对强,数据量从GB、TB、PB、ZB级扩增。然而对于中小企业或许会受困于没有数据却又想转型通过搭建大数据平台来提升竞争力,企业可以研发符合市场需求的产品,从新用户、活跃用户、粘性用户到留存用户,获取用户的行为数据之后可以进行数据分析。此外数据采集可以有网络爬虫、ETL抽取等。

数据存储

有了大量数据之后,对于数据存储方式也提出了要求。数据存储分为关系型数据库存储、分布式数据存储,数据级别较大时可以存储在分布式文件存储系统中。对于搭建大数据平台的企业来说,通常是对业务结果的数据存储于关系型系统,对于TB级及以上数据量存储至分布式系统中,这两种数据可以使用Sqoop等类似的工具进行数据导入导出。

数据可视化

在实际工业生产实践中,对于待处理的大数据,首先是数据特征探索阶段,也就是做数据可视化,对数据有个初步的了解,才会知道所拿到的数据能否解决面临的实际问题,适用于什么算法。……

登录APP查看全文

猜你喜欢

数据挖掘可视化分析
基于CiteSpace的足三里穴研究可视化分析
基于Power BI的油田注水运行动态分析与可视化展示
探讨人工智能与数据挖掘发展趋势
隐蔽失效适航要求符合性验证分析
基于CGAL和OpenGL的海底地形三维可视化
“融评”:党媒评论的可视化创新
电力系统不平衡分析
基于并行计算的大数据挖掘在电网中的应用
电力系统及其自动化发展趋势分析
一种基于Hadoop的大数据挖掘云服务及应用