APP下载

智能数据分析系统研究及应用

2017-11-09蓝善根

电子技术与软件工程 2017年19期
关键词:数据分析系统关联分析聚类分析

蓝善根

摘 要在大数据时代,数据信息数量快速增长,为了实现对这些数据信息的有效存储和利用,本文提出了一套基于商业智能的数据分析系统。智能数据分析系统的存在能够为政府或者企业的工作提供重要的数据信息支持。文章在阐述智能数据分析系统设计和实现的基础上,具体分析智能数据分析系统在政务系统中的应用。

【关键词】智能 数据分析系统 关联分析 聚类分析

1 智能数据分析关键技术

1.1 智能数据抽取工具——ODI

ODL作为Qracle公司的智能数据抽取工具,实现对大量数据信息的收集、转换、加载和整理,并实现多种关系型数据库的继集成操作。智能数据挖掘方法如图1所示。

1.2 智能数据分析工具——BIEE

智能数据分析系统以Qracle公司的BIEE作为数据分析软件,数据分析软件的功能十分强大,具体分为物理层、逻辑层、展现层等数据模型。通过应用这个模型实现企业各异构数据源的有效连接。BIEE范围与预测准确度的关系如表1所示。

1.3 智能系统功能模块

智能系统功能模块主要包括数据的关联性分析、数据相关性分析、数据聚类分析、数据回归分析等。其中,数据相关分析模块是指在相应的路径下导入所需要的分类文件,之后选择变量,应用MTC的方法来对变量相关性问题展开分析。确定多变量信息,借助多变量之间的相关性数据分析来对数据中各个变量的关联大小问题进行分析。数据关联分析模块。数据关联分析模块能够应用关联性的规则算法来来对各个数据之间的影响问题展开分析,在分析之后确定数据之间有效的关联规则。数据分析分类模块需要在一定路徑下导入分类数据文件。数据聚类分析模块能够借助数据间相关性的大小问题来实现对导入数据信息的自动化分类管理。

2 智能数据分析系统设计

2.1 数据模块设计

智能数据系统被划分为数据管理、权限管理、数据抽取、数据开发等四个管理模块。

2.1.1 数据管理模块

数据管理模块是指通过对用户提交数据信息的记录来实现数据管理。用户在提交数据之前需要创建表格和增添字段,之后将上交之后的数据信息存储到表格中,导入相应的数据。数据管理模块一般包括表管理、数据管理、字段管理。

2.1.2 权限管理模块

权限管理模块主要是实现对用户、角色、菜单、权限和日志等内容的管理,其中最为重要的管理内容是是角色分配权限和为用户安排角色的功能。

2.1.3 数据抽取模块

数据抽取模块主要是对数据信息的抽取,在抽取数据信息之后将数据信息分别安排在不同的数据库中。在这个操作过程中涉及到的内容包括资料库的建设、物理架构和逻辑架构的建设、项目模型接口的建设。

2.1.4 报表开发模块

报表开发模块主要表现在对数据模型的创建、BIEE报表的开发、JAVA集成操作等。在报表开发过程中需要涉及到报表的制作、数据模型的创建、报表的展示等。

2.2 数据信息抽取方案的设计

数据信息抽取的目标是将数据信息模块系统中分散的数据整合在一起,通过ODI建立相应的数据仓库,具体操作过程如下所示:

(1)打造主要资料库。主要的资料库保存了企业发展过程中所有的IT资源拓扑结构。主要资料库能够保存重要的项目和数据模型信息,为ODI图形模块使用提供重要支持。

(2)打造工作资料库。在工作资料库中保存各个项目和数据信息。在工作中资料库和主资料库的关系是彼此对应的。

(3)创建数据服务器。结合不同用户的需求来创建多个物理架构。

(4)创建逻辑架构。逻辑架构的创建往往和物理架构是一一对应的关系。

(5)创建项目,每个项目也都需要对应一个相应的逻辑架构。

(6)模型的创建。每个模型的创建都需要对应一个逻辑结构。

(7)接口的创建。在接口创建完成之后每个模型都需要对应一个逻辑架构。

2.3 数据信息分析模块的设计

2.3.1 物理模型设计

物理模型设计是指对数据库分析对象的设计,物理模型设计是逻辑模型在数据仓库中的物理实现。物理模型的设计需要对数据库管理系统、数据库系统运作环境、数据库外部设备特点进行全面的了解,在全面了解之后将数据在数据库中以表格的形式来展现。

2.3.2 逻辑模型的设计

逻辑模型是在物理模型设计基础上对数据的进一步细化处理,能够将多种数据表格转化为维表,并对维表进行有层次的划分,设置相应的划分规则。BIEE的逻辑模型形式有很多,比如雪花模型、星型模型,在经过调查分析之后实现对数据信息的预处理。系统模型的优势是能够简化事实表和维度表之间的关系,为用户提供更为直观的数据信息。在星型模型中,事实表处于最中心的位置上,各个维度表在周围,形成了一个辐射状。在这个模式中,用户能够从数据仓库中查询到具体的业务数据。逻辑模型SSIS的体系结构如图2所示,SSIS的体系由四个关键部分组成,分别是服务、对象模型、运行时可执行文件、封装数据流引擎和数据流组件。

2.3.3 展现模型的设计

展现模型是数据库用户在经过一系列操作之后最终看到的模型,每个展现模型都会对应一个分析主题,对维度和事实表之间的关系问题做出了清晰的描述,向人们清楚的展现了事物之间的关系。展现层模型和用户数据模型比较接近,具体包括办公室数据、工作绩效数据、个人行为数据。

3 智能数据系统功能实现和测试

3.1 智能数据系统的实现

智能数据系统包含三个层面的内容,分别是物理层、逻辑层、展现层。在BIEE的后台管理下能够完成对数据模型的创建。以个人行为绩效模型的构建为例,智能数据系统实现操作步骤如下所示:

(1)BIEE管理工具通过OCI的方式来将数据库中的数据信息加载到资料档案库物理层中。

(2)BIEE报表的开发。BIEE报表在开发之前要登录到BIEE服务器上,安装操作完成之后进行登录浏览操作。

经过分析之后得到相应的图形分析结果,并结合用户的需求来制作不同形式的报表。报表制作完成之后,通过Web Service接口将报表嵌入到网页中,具体操作如下:首先,下载wsdl文件,启动BIEE服务,打开浏览器输入地址。其次,生产客户端代码,应用Axis插件来将wsdl文件生产客户端代码。最后,调用代码说明。在应用BIEE登录之后,采取logonex的方式来验证。

3.2 智能数据系统的调试

智能数据系统的运行服务器操作系统是windows2008,硬盘有500G,实际运行内存有4G。系统分析软件应用的是Oracle BIEE。数据抽取软件应用的是Oracle ODI11g,客户端使用的操作系统是Windows8系统,硬盘1T,内存有4G。在系统应用操作中,发现用户管理模块、用户角色管理模块、菜单管理模块、权限管理模块的开发和删除管理等都比较正常,显示出系统良好的社会适应性。

4 结束语

综上所述,文章结合最新技术发展情况,基本讨论了基于BIEE数据分析系统研究的意义和价值,并介绍了基于系统实现的重要技术形式,经过实际运行发现系统的数据采集精确度很高、传输速度快、总体性能稳定、数据存储量大、数据分析操作简单、系统性能稳定、数据存储量大,能够充分满足人们的使用需求。

参考文献

[1]张朝霞,韩素青.智能数据分析系统的研究与实现[J].太原师范学院学报(自然科学版),2017,16(02):32-36.

[2]李文琼.电子商务企业数据分析与智能系统[J].信息系统工程,2015(01):80+71.

[3]太原高新区智能数据分析处理系统[J].中国高新区,2011(01):120.

作者单位

贵州省邮电规划设计院有限公司 贵州省贵阳市 550003

猜你喜欢

数据分析系统关联分析聚类分析
基于累计工作量的在线大数据分析作业调度算法
利用GSM-R接口数据分析系统偏移的方法研究
焊接设备实时监测与数据分析系统在核电建造行业的应用
基于随机函数Petri网的系统动力学关联分析模型