APP下载

基于数据挖掘技术的水利工程管理分析

2017-03-01张丽娟

黑龙江水利科技 2017年1期
关键词:数据仓库数据挖掘水利工程

张丽娟

(辽宁省供水局工程处,沈阳 110002)



基于数据挖掘技术的水利工程管理分析

张丽娟

(辽宁省供水局工程处,沈阳 110002)

在水利工程管理中,运用数据挖掘技术能够在海量数据中及时发现有价值、潜在的知识特点技术,并对其进行提炼,让水利工程管理趋向于科学化、专业化。文章主要从数据挖掘技术含义与常用方法出发,阐述了数据挖掘的实施步骤与水利工程管理数据挖掘系统模型建立,对基于数据挖掘技术的水利工程管理要点进行分析,希望能为水利工程管理提供借鉴。

数据挖掘技术;水利工程;管理分析

0 引 言

近年来,随着中国经济与科学技术的快速发展,在现代化背景下,与水利工程有关的基础设施建设也得到相应的完善。尤其是在水利工程管理与建设活动中,数据挖掘技术广泛运用,能够在海量数据中建立数据挖掘模型,及时发现有价值和潜在的知识并进行提炼,以此提升水利工程管理系统功能,让水利工程管理趋向于科学化和专业化。

1 数据挖掘技术含义与常用方法

1.1 含义

数据挖掘技术即是将已有的含量分散数据信息作为挖掘资源,从而形成一种新的知识技术。从数据挖掘角度来说,数据挖掘技术是指以数据挖掘索引工具为挖掘依据,对数据库、数据仓库和其他相关信息库中随机、相对模糊和不完全的数据进行挖掘,从而挖掘出海量数据中潜在的、有价值的信息,为决策者提供参考[1]。

1.2 常用方法

在水利工程项目管理活动中,运用数据挖掘技术,要求员工必须掌握相应的数据挖掘技术,才能在庞大的数据信息中挖掘出有价值的信息数据。一般情况下,在水利工程管理中较为常见的数据挖掘技术主要有以下几种:

1)检测部分异常的信息数据,对检测结果和参照数据之间的数据偏差进行分析,然后按照存在的偏差对全部数据进行挖掘,从而发现潜在的、有价值新信息。

2)按照数据信息的预见性进行挖掘。由于数据信息会随着事物发展产生不同程度的变化,因此,在利用技术挖掘技术进行挖掘过程中,可根据这一变化规律对全部数据信息进行检测,然后按照检测结果在海量数据中挖掘出接近的数据信息,达到数据挖掘的目的。

3)对于关联性方面而言,在面对庞大的数据信息过程中,关联性分析只能分析到个别数据,查找出数据信息之间存在的关联性,然后按照这一关联性来分析处理数据信息,从而提升数据信息处理的准确性。

4)数据分类和整合方法。在庞大的数据信息挖掘活动中,处理上述挖掘方法外,还可通过分类整合方法,根据数据信息的特征,将条件相同和规律相同的数据集中起来进行挖掘。而对于不规律数据信息,必须单独进行分类整合,当全部数据信息进行对应分类以后,在分析数据时可避免盲目性,加快数据信息挖掘的速度[2]。

2 数据挖掘的实施步骤

2.1 信息收集

在了解掌握水利工程项目管理需求和目标的背景下收集数据信息,也就是按照分析获得的数据信息需求与目标对数据信息特征进行分析,然后选取与数据情况相对应的收集方法,并将收集到的数据信息存储到信息数据库中。

2.2 数据集成

集成数据又称为数据共享,主要是通过物理和逻辑整理方式,对来源、格式、性质特点等不同的数据信息进行整理。

2.3 数据规约

数据规约的主要目的是为了提升数据信息挖掘效率,对数据信息来源进行预处理。如果信息数据来源不规约,即使存在较少的数据也可通过挖掘方法对不同数据信息进行计算,但计算时间相对较长,这时可通过数据规约对数据来源进行约束,以此提升挖掘数据信息的效率,为小容量数据的数据规约奠定扎实基础[3]。

2.4 数据整理

由于数据信息库中会存在属性值与表达方式不同的数据信息,需要对其进行加工处理。因此,必须利用合适的处理方式来填补丢失的数据信息,并对存在噪音的数据信息进行处理,确保数据信息的完整性和一致性。

2.5 数据变换

交换数据即是通过科学统计和数学方式,对参与分析的全部数据进行分析,然后转变成与数据挖掘符合的数据模式。

2.6 数据挖掘

在分析数据过程中,应选取合理的数据分析工具,通过神经网络技术、模糊集、决策树、规则推理和统计方法等数据信息处理技术,对数据信息库中的全部信息数据进行处理,从而获得准确的数据信息。

2.7 模式评估

为了确保获得的数据信息准确,必须在评估基础上对已经挖掘的数据结果进行反复提取,从而获得有效的信息数据。

2.8 成果表示

成果表示需要通过专业化储存、传递、输出等方式,实时共享数据信息挖掘的成果[4]。

3 水利工程管理数据挖掘系统模型建立

由于水利工程管理相对比较繁杂,在挖掘数据过程中需要工作人员从科学多方面出发,利用专业人员的隐性知识分析挖掘数据信息准确性,以此查找有价值的数据知识。因此,在水利工程管理数据挖掘过程中,建立人机对话的半自动化层次型系统模型对数据进行挖掘已经成为必经途径。该数据系统模型的建立主要由以下几个层次组成:

1)用户界面层。主要是通过用户实现人机对话,以此挖掘查询和结构,并将输出结果显示出来。

2)OLAP/OLAM层。该层设置功能即是将多维数据库和数据仓库的全部数据集中到OLAP/OLAM中,并对其进行分析,是数据信息挖掘潜在的、有价值的知识核心。

3)数据储存层。作为构建水利工程数据仓库基础,除了储存数据信息外,还负责对数据信息进行集成、过滤机清理。

4)多维数据库和数据仓库层。数据信息在经过数据储存处理后,对需要的数据来源进行分析[5]。

4 基于数据挖掘技术的水利工程管理要点分析

4.1 空间数据仓库应用

空间数据仓库的建立是一项具有挑战性的工作,而空间数据仓库的运用主要是为了收集来自不同数据源与系统空间的数据,达到快速、灵活联机分析处理的目的。在水利工程建设与管理决策中,影响数据信息来源的因素主要包括水旱灾情数据库、气象数据库、雨情与水情数据库及蓄滞洪区空间分布式社会经济数据库,主要存在异构环境中,来自不同数据格式和数据系统,加之数据格式和特定的结构息息相关,例如矢量格式、光栅格式和特定供应商有关,为了能够分析处理空间数据,需要先清洗、变换和集成存在的异构数据信息库,在数据信息库中存储格式相同的数据信息,然后借用相同的数据挖掘算法查找有用的知识,对异构信息数据进行过滤、综合,以此完善采集水情工程信息、工情信息和防汛抗旱信息接收处理的自动化功能,实时分析汛情、旱情,对灾情进行评估。

4.2 数据挖掘系统结合水利工程GIS系统

4.2.1 嵌入式

在空间信息挖掘过程中,GIS系统具有较强的分析处理能力,能有效结合数据挖掘技术,组成一个完整的系统。而嵌入式耦合的运用,能够通过GIS系统对空间不完整信息进行处理,减少数据挖掘过程中的工作量和处理数据的难度。其缺点是数据挖掘技术运用必须在规定的GIS系统中进行,不能移植到其他的GIS系统,而这种方式会因为用户需求,导致另一部分用户的需求受到限制,给系统功能开发带来影响[6]。

4.2.2 松散耦合式

基于数据挖掘技术,数据挖掘系统与GIS系统的建立实际上是两个不相连的系统,对于GIS中空间数据与属性数据来说,数据挖掘系统主要是借助清晰、变换与过滤方式对已经储存在数据信息库和数据仓库汇总的信息数据进行挖掘。而松散耦合式的运用不需要使用特殊GIS系统,能够单独使用空间数据对数据信息进行挖掘;但是也具有其自身缺陷,即是在数据挖掘系统中需要结合较为复杂的空间数据进行处理,其系统开发难度较大。例如在某水文模型构建上,运用松散耦合式在每个水文单元或者是子流域上设置物理概念模型对净雨进行计算,将分布式输入模块连接在GIS系统与RS接口中,为子流域水文过程之间的模拟提供空间输入数据,然后在每一段河道上建立河流模型,并设置模型建立的参数信息,按照单元水文模型、不同水文过程模拟模块及河网汇流模型对流域产流进行计算以此演算河网汇流,最后获得出口断面流量。

4.2.3 紧密耦合式

紧密耦合式的运用,是嵌入式和松散耦合式的结合,不仅能够充分利用已有的GIS处理空间数据的作用,降低系统开发难度,而且不受GIS系统已有用户需求的影响,具有较强的灵活性,为水利工程管理提供单独的数据挖掘功能。但由于受已有系统影响,开发数据挖掘系统对GIS系统依赖性较大[7]。例如在某水利工程管理过程中,由于管理内容主要包括水库、水闸、堤防、引水工程和灌溉工程等方面管理,挖掘有关数据能够获得庞大的、有价值数据信息,相关管理部门与员工在掌握空间数据后,有利于提升水利工程管理能力与决策水平。但是如果只是单独挖掘该水利工程管理数据信息,那么其挖掘数据信息结果和目前数据挖掘理论系统基本构想不符。因此,必须在利用已有的水利工程管理成果条件上,按照该水利工程管理的基本情况,灵活运用紧密耦合式数据挖掘系统,借助GIS系统对地形地质和水文环境进行处理,从而开发出该水利工程独有的管理数据挖掘系统。

5 结 语

综上,在水利工程管理过程中,运用数据挖掘技术对水利工程数据信息分析时,必须采取适当的检测方法,按照具体操作步骤,建立水利工程管理数据挖掘系统模型,充分利用空间数据仓库及水利工程GIS系统,找出有价值的、潜在的数据信息,从而提升数据信息准确性为决策者提供有效管理决策,让水利工程充分发挥应有作用,防洪防涝,确保国家、人们的生命财产安全,更好的服务于人民。

[1]戴元将,祁智,陈爱鑫.数据挖掘技术在水利工程管理中的应用研究[J].经营管理者,2014(13):76-79.

[2]王东坡.基于数据挖掘技术的水利工程管理[J].吉林水利,2014(06):38-40.

[3]刘德峰,许腾飞.探究水利工程管理数据挖掘模型[J].价值工程,2015(20):38-40.

[4]叶华.数据挖掘技术在水利工程管理中的实施要点[J].科技资讯,2015,13(12):118.

[5]付晓旭.数据挖掘技术在水利工程管理中的应用[J].建材与装饰,2015(52):287-288.

[6]阿不都日衣木·提力瓦地.水利工程管理中数据挖掘技术的应用探析[J].建筑工程技术与设计,2016(04):894.

[7]丁云球.简析数据挖掘技术在水利工程管理中的实施要点[J].决策与信息:下旬刊,2014(12):182.

1007-7596(2017)01-0172-03

2016-12-20

张丽娟(1966-),女,辽宁抚顺人,高级工程师,从事水利工程管理工作。

TP

B

猜你喜欢

数据仓库数据挖掘水利工程
探讨人工智能与数据挖掘发展趋势
基于数据仓库的数据倾斜解决方案研究
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
水利工程存在的安全隐患及对策
重大水利工程复工风采
营改增对水利工程造价的影响
基于数据仓库的住房城乡建设信息系统整合研究
探析电力系统调度中数据仓库技术的应用
一种基于Hadoop的大数据挖掘云服务及应用
基于数据仓库的数据分析探索与实践