APP下载

基于FME的水系设施数据转换模型方法研究

2021-04-04柴新宇王伟

现代信息科技 2021年18期
关键词:水系

柴新宇 王伟

摘  要:利用FME中的语义转换技术,DWG数据可以与GIS SHP数据共享。实验以DWG水系设施数据为例,构建数字化DWG格式数据与GIS格式数据的映射关系表,并在此关系表的基础上,在FME workbench模型平台上构建水系DWG数据到GIS数据的转换模型。该模型实现了从DWG水系数据到GIS数据属性的无损转换,并对转换后的数据进行拓扑检查和属性数据整理。通过脚本程序对数据进行批处理,在很大程度上提高了数据入库的数据正确性、共享和转换效率。

关键词:FME Workbench;水系;ArcGIS

中图分类号:TP39;P283.5    文献标识码:A 文章编号:2096-4706(2021)18-0028-04

Abstract: Using the semantic transformation technology in FME, DWG data can be shared with GIS SHP data. Taking the DWG river system facility data as an example, the mapping relationship table between digitization DWG format data and GIS format data is constructed. Based on this relationship table, the conversion model from river system DWG data to GIS data is constructed on the FME workbench model platform. The model realizes the lossless transformation from DWG river system data to GIS data attributes, and carries out topology inspection and attribute data sorting on the transformed data. Batch processing of data through script program greatly improves the data correctness, sharing and conversion efficiency of data warehousing.

Keywords: FME Workbench; river system; ArcGIS

0  引  言

FME專注于解决数据交互的瓶颈,致力于让不同的数据自由流动,让数据使用更自由,让信息不被禁锢在某个系统或者软件里,让宝贵的时间和精力用在做决策上,而不是处理数据[1]。对于FME软件按照功能描述属于数据转换与处理的软件,按照操作模式描述属于面向数据的可视化编程的一种语言,是一种可以无缝连接多平台的空间数据互操作工具。支持超过400种的数据格式和数据转换,包括CAD数据、GIS数据、Raster数据、BIM数据、GML数据、点云数据等多行业的不同应用源数据。

近些年的学者在进行研究数据转换时,通常将FME Workbench作为制作数据处理流程的应用程序。根据其提供的图形化操作界面,通过拖拽的方式完成模块的组合,零代码的定义数据处理的流程。把FME Workbench定义的数据处理流程叫做“FME模板”或“FME工作空间”。FME的不同模块可以完成数据的读取、目标数据集的写出,要素类的描述和记录、要素的转换等。黄志伟阐述了GIS和CAD数据之间无损转换的方法以及注意事项。周浩等探讨了针对CAD数据和GIS数据的转换问题,CAD数据的图层对应关系、块转换、注记转换、扩展属性转换以及面转换5个关键技术,为实现CAD和GIS数据的转换提供了技术思路和指导。通过CAD和GIS两种图形文件的空间数据模型进行分析,范占永等提出了一种具体的基于.net框架和C#面向对象技术编写转换程序的转换模型,实行了两种数据的无损转换,为其他类型的数据转换提供了有益参考。

FME广泛应用于数据格式转换、图属挂接空间拓扑分析、数据质量检查、数据入库与更新、多源数据融合、坐标转换等方面。FME Desktop有不同的版本,对于本次实验中主要用到了FME Esri Edition中增加的对ArcGIS SDE写出的能力[2]。

实验主要应用FME作为多转换器,即数据处理和转换的工具,在转换的过程中对于DWG格式水系设施源数据不仅仅是格式到格式的转换,还进行了属性数据的重新计算、空间数据的一些拓扑分析处理,通过对原始数据的计算和变换后得到GIS水系设施数据库目标数据。使用FME进行数据变换实现了可视化、零代码编程,数据的转换过程可以选用FME中自带的模块和函数完成,简单的连线即可,不需要进行代码编写即可完成水系设施DWG数据到GIS数据的无损转换。数据转换任务的模型编写好后,将建立好的模型可以进行封装处理,之后进行同样数据处理任务时可以实现任务处理自动化、批量化,不需要再重复之前的模型建立过程,只需要把编写好的流程直接使用即可,可以自动化处理,还可以按照计划任务自动运行程序模型。

1  DWG水系数据转换模型构建

1.1  CASS中水系设施正确性检查

对水系设施(对应CASS中SXSS图层)进行正确性检查时,首先进行DWG数据的图层检查,SXSS图层数据是一个数据集,一个数据可以包含很多层,每个图层可存储多个几何类型的数据,数据的几何类型复杂。检查入库时除了删除伪结点和重复实体外还需进行图形实体检查,包括编码正确性、属性完整性、图层正确性、符号线型线宽、面状地物封闭性、复合线重复点等检查。检查后对于有错误的实体可先进行批量修改和逐个修改。修改完成继续进行入库检查后修改,反复进行直至无误。

1.2  FME Workbench数据转换

对于CASS入库前检查的数据,在转换到数据库前,需要使用FME Workbench进行数据的转换前检查。FME Workbench是FME主要的工作流程设计平台图形界面,利用这个界面设计可重复使用水系设施的数据处理流程。也可以利用400多个FME转换器,在多个数据格式间自由转换和组合,最终完成数据处理的流程和实现。将CASS处理后的DWG水系设施数据用FME Datalnspector进行数据预览、检查、分析,对水系设施数据进行设计处理数据流程,并对处理前后以及过程中的数据进行分析、检查和验证[3]。FME Datalnspector与FME Workbench紧密联系,在Workbench中可以直接发送水系设施数据到Inspector检查任意节点的数据,在解析数据过程中可以赋予解析过程的数据信息格式属性,将源DWG格式转换为GIS数据库格式。进行数据变换时,包括水系设施结构变换和内容变换,结构变换是对数据的数据的结构进行改变,内容变换是对数据的几何形状和属性内容进行改变,包括属性添加,如图1所示。

在使用FME进行水系设施DWG数据到GIS数据转换时,首先读取数据格式属性,需要过滤水系图层,将水系中的中线和边线区分开,然后分離水系中线和边线,接着进行属性整理,将需要的属性信息进行整理计算,最后输出水系设施GIS数据。由于DWG水系统设施数据的复杂组成,数据在DWG数据中主要显示为点和线。在实际应用的数据转换过程中,需要通过构建的FME模型将这些数据转换成GIS数据库。因此,需要数据检查合格后构建水系模型[4]。

数据检查模型主要检查图层正确性、空间关系、属性信息等,根据已构建的转换对应表“DWG_GDB数据结构转换对应表”规则来检查SXSS图层、编码、几何类型、字体大小、GIS分类等是否错误;根据数据检查模型到出的“FAILED”图层文件(不同地物地物编码、水系闭合性、地物的几何类型、GIS分类、字体大小,水流方向等),图层对比原图检查错误原因,并在原图上进行修正,最终得到正确的水系设施图层如图2所示。

1.3  DWG水系设施数据模型转换

水系设施地物名称主要包括一般双线沟渠、无坎池塘、有坎池塘、有栏杆的直立式防洪直立式防洪墙横线、直立式防洪墙、直立式防洪墙边线、垅、常年河水涯线、依比例水井、一般单线沟渠、高水界等。点:水井、流向、落潮。转换之前河流需要构面,并且根据河流边线需根据河流名称分别构面,河流名称注记整体化(河流名称注记放入河流多边形内)。

转换模型能够实现在GIS图层中的自动添加名称、类型、结构;水系(点、线、面)自动添加符号代码、要素代码等(可根据代码进行符号化处理)。模型自动构环多边形(但内部多边形仍保留,需要在GIS下编辑删除);根据河流面自动构中心线(适合长条形,需要在GIS下再编辑),但池塘等也提取了中心线,需要GIS下删除(可通过代码筛选出河流单独提取中心线);模型转换时可以自动赋予河流要素代码、名称等。对于不同图幅边界的河流边线自动连接线(模糊距离为0)如图3所示。

将定义好的ACCESS数据库属性数据结构赋给FME中输出的GDB数据属性结构,按属性过滤地物(如:按沟渠要素代码属性,将沟渠从水系设施中过滤出来单独处理)。方法:源数据水系设施添加要素代码属性—添加函数AttributeFilter—Import沟渠要素代码—输出。使用GeometryFilter函数按几何类型过滤地物(如:按点、线、面,将水井、流向、落潮等地物从水系图层中过滤出来单独处理);水系等附属物(无实体属性不重要的地物)单独划分图层,单独转换(块打散,原封不动进行转换),GIS中不需要重新符号化。二维展点、点构线函数:2DPointReplacer PointConnector。湖泊等多边形自动附属性(湖泊面自动赋予湖泊名称属性,同时计算湖泊面积等属性信息);还需过滤出水系中的名称注记,做点-面叠置分析,输出AREA(新建autocad_text_string)为多边形类型。

使用转换工具操作数据,创建面要素并且给面要素一个对应的MS Access数据库中添加相应的水系属性。转换工具是用于操作数据的图形和属性的工具,被有序地连接起来,数据从源数据流向目标数据,每一步都要用到转换工具,一系列的转换工具连接起来就如同一条管道[5]。水系转换模型如图4所示,本模型同时还完成了一个重要功能:读取不同水系的数据属性写入数据库,为以后建立三维模型打下基础。辅助线(要刷代码)、不转连接线);界址线、面和注记自动赋予。水系需要构面转换,并提取中心线转换;池塘等要构面并自动标注属性“塘”。内图廓内图幅号和名称需要自动赋予,单独转换层。

2  结  论

水系设施模型很好地完成了DWG数据到GIS数据的转换,通过转换对应表将Cass属性与ArcGIS属性代码完美对应,各种地物属性没有丢失,在ArcGIS中处理空间数据更加方便。该模型要解决的问题是,可以提取多边形的质心并赋予名称属性,有些注释对图形有偏见。该模型解决了地物名称与编码的自动关联问题,解决了GIS中矢量数据的线连接、线结构和曲面合并问题。FME的优势在于它可以支持不同类型的数据交换和集成,同时在不同的应用平台上加载和实时传输、更新和反馈。

参考文献:

[1] 秦其明,曹五丰,陈杉,等.ArcView地理信息系统实用教程 [M].北京:北京大学出版社,2001.

[2] 陈影,程耀东,闫浩文.利用FME进行GIS数据的无损转换 [J].测绘科学,2007(2):75-77+179.

[3] 陈晓辉,马丽霞.基于FME的DWG居民地数据转换方法研究 [J].价值工程,2013,32(25):177-178.

[4] 李瑞霞,杨敏,邓喀中.基于FME的GIS到CAD数据“无损”转换 [J].测绘通报,2009(5):55-59.

[5] 陈晓辉,马丽霞,李丹丹.基于ArcGIS for Desktop的DWG数据三维可视化应用 [J].常州工学院学报,2014,27(2):24-26.

作者简介:柴新宇(1984—)男,汉族,黑龙江哈尔滨人,注册测绘师,二级建造师,本科,主要研究方向:工程测量、GIS;王伟(1987—)男,汉族,甘肃平凉人,工程师,本科,主要研究方向:工程测量、地理信息技术。

猜你喜欢

水系
鄱阳湖水系之潦河
花博园水系整治工程中信息安全技术的应用
水系魔法之止水术
西藏主要水系重金属污染研究
关于风景园林快题中水系设计的分析探究
达坂城区湟渠水系改造工程探究