APP下载

数据整合技术在水利设计中的重要性

2018-12-21张勇

中国新技术新产品 2018年20期
关键词:应用

张勇

摘 要:水利设计过程,需要重视数据整合技术,要通过有效数据整合技术模式,提高水利设计效率,也进一步保证水利设计质量,本文基于此方面内容,对其进行具体分析。

关键词:水利工程设计;数据整合技术模式;应用

中图分类号:TN957 文献标志码:A

0 引言

数据整合技术的运用,提高了人们生活质量,对于水利设计工作来说,更是能够有助于设计水平的提高,为此,作为相关设计人员,在进行合理的设计过程中,要重视该技术的运用,要在明确其重要性的同时,深入进行研究,以实现数据整合技术的合理应用。

1 数据整合技术

数据整合主要指将来自多方数据源的数据资料进行收集、整理,然后处理加工成一个新的数据源,为相关的数据使用人员提供数据支持的数据集成过程。此种技术在水利设计中被广泛应用,水利设计可通过该技术提供的数据参考,结合自身水利项目的诸多需求,将工程中的基础设施及各项资源进行有效的调整与优化,与此同时,此类数据还能反映出水利工程中多种因素对于其整体发展的影响程度,有效提高工程设计的实用性。

2 数据资源的主要组成部分

在进行水利工程设计的数据整合时,首先要明确工程中数据来源的主体部分,然后将其延伸的周边数据进行搜集整理,这样一来,可以规避数据的损坏及丢失现象,大大提高数据整合工作的效率。水利工程所涉及的数据资源内容主要包括其市场信息资料、图片档案信息、水利工程具体内容以及项目内工作人员资料等。水利工程的市场信息是其设计中的重点参考数据,通过该数据可及时地反映出我国水利市场中的实时变化,设计人员可结合数据将设计进行调整。对于项目中图片档案的管理可以保障信息数据的完整性,优化数据整合工作。对于水利工程具体内容及工作人员的资料整合可明确项目中的工作流程及权责划分,帮助设计人员掌握项目的实施进度。

3 数据整合技术在水利设计中的重要性

3.1 数据分析

数据分析是水利工程数据整合过程中的重要数据处理步骤,其作用是提高数据整合技术的应用效率。由于工程中的数据来自于多种不同的数据源,因此数据质量参差不齐,在进行数据分析时,要根据数据分析系统中的核查标准来进行筛选,将各个数据来源中不符合要求的数据进行清除。经过分析之后,可保证水利工程的数据精准有效,为设计人员提供可靠的数据支持。

3.2 设计实施

设计实施在水利工程的数据整合过程中是最为重要的步骤,在此过程中,设计人员需要花费大量的时间与精力来制定数据整合工作的执行流程与方案规则。为了方便数据的调取与整合,首先需要编制一个专门的数据整合系统,提前设置其中的函数算法与映射的关系等,为后续需要处理的数据建立一个固定的处理准则,以确保输出使用的数据处于统一标准,并具备有效的参考价值。

3.3 数据校验

在为水利工程提供数据支持的时候,必须要保证数据的准确性,因此在水利数据整合系统中,要设置相应的数据校验程序,在使用之前对重要数据资料进行核查。在水利工程的设计领域中,数据资料的整合具备固定的标准,因此整合系统要严格遵守其相关標准进行校验。系统中的数据校验形式主要分为两种,一种是数据的采取,一种是数据条数。数据的采取主要指将项目资料中的表格数据进行定向定量的采集,然后将采集后的数据与系统中的转换数据源进行对比,用以校验其精准度。数据条数是指对于数据表格中资料数量的统计,该步骤通常在数据源转化完成之前进行,工作人员要将数据中的资料条数进行有效核算,待数据源转化成功之后还要进行二次复查,以保证数据条数的准确性。

3.4 系统应用

系统应用是水利工程数据整合工作的收尾程序,该步骤处于数据资料分析、水利设计的实施及校验数据等工作流程之后,在此阶段,项目的数据整合系统已经处于正常的运行当中,此时,项目管理及设计人员即可顺利操作系统中的各项应用,图1为水利工程数据整合流程。

3.5 数据整合的实现方式

绝大多数的水利工程的单位在进行数据整合时都会使用SQL Server数据库管理系统,该种系统能够保证数据的安全性和可靠性,可以帮助水利系统构建和管理多种数据应用程序。水利工程设计中的数据整合实现方式通常分为两种,一种是数据库开发技术,一种是数据仓库技术,也被称之为ETL技术。

3.5.1 数据库开发技术

数据库开发技术在水利数据整合工作中主要是通过对SQL存储、DBLINK以及触发器等系统功能来进行工作,在此过程中完成数据的搜索、整理,输送到有需求的信息系统中。

该种技术所具备的特征主要有以下几种:(1)可在同种类型的数据处理库中实现数据的整合集成;(2)无需投入过多成本费用,在使用过程中只需付出少许的开发费;(3)在数据拓展性方面表现欠佳,由于该种技术是源自于人为编程,因而面临水利工程的数据应用需求发生变动时,需要额外支付人工费用来对编码进行修改;(4)该种技术能够处理的数据承载量是有限的,随着系统中数据内容的不断增加,其处理数据的负荷也不断加重,因此很难保证系统工作的持续高效性。

3.5.2 ETL技术

ETL技术即为俗称的数据仓库技术,其在工作中可将各种数据源中的数据资料经过抽取、转换等步骤,最后根据实际需求转载至新的数据库,实现数据整合,以供人们使用。

该种数据技术具备以下几种特征:

(1)工作效率较高,其在进行数据转换、抽取等步骤时速度较快,可以同时处理大量数据,并能保证输出资料的准确性;(2)能够提高各种数据源中的数据质量。该技术在进行目标数据的处理时,可自动提出系统中的垃圾数据;(3)此种技术通过系统中的管理界面对数据的处理方式进行调整;(4)能够适应多种数据类型以及数据来源,实现不同版本之间的数据抽取;(5)拥有不同类型的数据处理控件,能够完成难度较高的数据转换。

3.6 数据整合的实施

在水利工程的数据整合中,其实施过程主要分为4个阶段,分别为信息系统原始数据分析阶段、设计实施阶段、数据校验阶段以及系统上线阶段。

在原始数据的分析阶段,主要是确定数据采集的结构及数据表格的设计,明确收集到的数据信息格式,对不同种类的数据库信息进行初步处理。为了不改变数据库中原始数据源的格式以及保障数据的安全性,接下来要进入项目设计的实施阶段,在此阶段中,主要是设置数据整合的具体细则及实施计划。数据的校验阶段则是为了在系统正式投入使用之前,排除清晰相关的违规垃圾数据,保证系统数据的真实标准性,在实施工作进入系统上线阶段时,主要工作内容则是进行实时监督,以保证数据的整合顺利实施下去。

结语

数据整合将改变原有的以部门和项目为中心的信息孤岛局面,从而能够实现整个水利设计单位的数据整合。原有的部门级、以项目为中心的运作方式,将可能使得各个项目的使用技术不尽相同,也使得项目的进度依赖于开发人员的编码效率,从而使得整个水利设计单位的效率低下。进行整个单位的数据整合之后,就能够在水利设计单位内部统一技术架构和标准,充分发挥团队协作的效率。通过由数据整合进行的数据移植、数据仓库等,将能够使得水利设计单位的数据整合成本大大下降。

参考文献

[1]蒋鑫,丁建彬,马一鸣.水利工程设计中数据整合技术模式的应用解析[J].科技展望,2015,25(10):93.

[2]崔仰彬.水利设计环节中数据整合技术研究[J].黑龙江科技信息,2014(32):215.

猜你喜欢

应用
多媒体技术在小学语文教学中的应用研究
微课的翻转课堂在英语教学中的应用研究