APP下载

省级地灾预警平台的数据质量控制

2014-01-27何政伟张文江薛东剑

地理空间信息 2014年2期
关键词:图层入库数据处理

马 莲,何政伟,张文江,薛东剑

(1.成都理工大学 地质灾害防治与地质环境保护国家重点实验室,四川 成都 610059)

省级地灾预警平台的数据质量控制

马 莲1,何政伟1,张文江1,薛东剑1

(1.成都理工大学 地质灾害防治与地质环境保护国家重点实验室,四川 成都 610059)

总结了贵州省地质灾害监测预警与决策支持平台数据处理过程中质量控制流程,将数据处理过程的质量控制分为原始数据质量控制阶段、数字化及数据转换质量控制阶段、数据分层质量控制阶段和入库前质量控制阶段,并阐述了各流程数据质量控制的内容及方法。

GIS;地质灾害;数据处理;质量控制

为了减少地质灾害对国民经济和人民群众生命财产的损害,贵州省国土资源厅组织实施“贵州省地质灾害监测预警与决策支持平台”的研究。该平台涉及的数据具有海量且多源性的特点。为满足系统的要求需对数据进行一系列的处理,为保证数据的正确,需将数据质量控制贯穿于整个处理过程中,为系统高效、正确地分析和预警提供基础。

1 数据质量控制及其技术

空间数据质量控制的方法主要包括传统的手工方法和地理相关法等。

1)传统的手工方法。将数字化的数据与数据源进行比较,图形部分的检查包括目视方法、绘制到透明图上与原图叠加比较,属性部分的检查采用与原属性逐个比对或其他比较方法[1,2]。

2)地理相关法。用空间数据的地理特征要素自身的相关性来分析数据的质量。在实际的空间数据处理过程中,根据数据的具体特征选择相适应的方法。本系统采用人机互动方式、手工方式与地理相关法等多种方式综合的数据质量控制技术[2]。

2 贵州地灾预警平台数据处理中的质量控制

2.1 误差来源

本项目数据由第三方提供,数据格式包含MapGIS格式、CAD格式、地形图图片等。根据项目标准,入库数据应统一地理基础,数据格式统一为ArcGIS的Geodatabase,所以原始数据需进行投影变换、格式转换以及矢量化等操作,在此过程中易产生误差。另外,由于该数据库采用了贵州全省和3个示范县等数据,在与主控数据层匹配过程中也会出现误差。同时,在进行数据可视化表达的过程中同样存在一定误差,为避免过多的误差积累,数据的质量控制应贯穿于整个数据处理过程中。

2.2 数据处理过程中的质量控制

2.2.1 质量控制主要内容

数据质量控制主要包括数据的位置精度、数据的情况说明、时间精度、属性精度、数据的完整性、数据的逻辑一致性等内容。结合本项目的实际情况,将数据质量控制内容分为4个阶段(如表1所示),每个阶段制定重点检查及控制内容。

表1 数据检查与控制内容表

2.2.2 数据处理及质量控制流程

数据处理及质量控制流程如图1所示。

2.2.3 数据质量控制的具体实施

1)原始数据质量控制阶段。本系统的数据分为88县详查数据、线划数据和航片等栅格数据3个部分。

对原始数据进行粗查后发现,该详查数据存在大量同类型的错误(如图2),如在“发生时间分1”列里存在误添的数据。如果人工逐一检查不但浪费大量人力和时间,而且不能最大限度地保证数据的准确性,所以采用人机交互的方式解决该问题。先将数据入库(测试数据库),入库后数据与原数据库进行对比(主要对比入库的数据条数),利用Oracle数据库系统主键约束功能就能发现灾害编号是否有逻辑错误(将“灾害编号”设置为主键),同时利用简单的SQL语句批量更正数据的逻辑错误(如图3),最后再将数据从测试数据库移植到系统数据库。

数据提供方提供的数据包含MapGIS格式的线划数据、CAD格式的线划数据和地形图的照片。对于这部分原始数据需对其位置精度、属性精度、逻辑一致性和数据完整性进行检查,尤其要对地形图照片的清晰程度、地形图有无损坏、褶皱等现象进行检查。此阶段可以利用MapGIS软件、CAD软件进行人工检查,发现问题及时与数据提供方沟通解决。

航拍影像以及其他栅格数据主要检查其分辨率是否符合要求、与线划数据集成后的位置精度以及时间精度是否符合要求。此阶段采用多源数据叠加的方式,将正确的线划数据与栅格数据进行比较,以发现问题。

2)数字化及数据转换质量控制阶段。投影变换及格式转换等操作,造成了大量的拓扑错误,如表2所示。采用人机互动的方式,利用ArcGIS自带的拓扑检查工具发现错误后手动修改。

?

格式转换后会出现图层属性丢失的情况,破坏了数据完整性。在进行格式转换后,尤其是由CAD格式转换为ArcGIS格式后,要对图层行进行逐一检查。

数字化后,采用与原始数据叠加的方法,一一对比以保证位置精度。为满足地理位置精度以及地理位置的一致性,在数据处理过程中以全省数据图层作为主控图层,示范县以及其他灾点的线划数据均以该图层为准。

3)数据分层质量控制阶段。按照规范所有线划数据要进行分层保存,如国道、省道、乡村路等需保存成不同的图层。为了保证位置精度,需在分层之前对新建的图层按标准设置统一的坐标系及空间参考,在分层的过程中要保证符合图层的命名规范,满足分层的合理性、一致性等。分层结束后要将多个图层叠加以发现逻辑及位置错误,同时要检查各个图层的属性有无遗漏。

4)入库前质量控制阶段。所有数据处理完毕后进行入库前检查,主要包括数据结构是否符合规范、所有图层坐标系和空间参考是否满足规范、图层的命名是否符合要求等。

3 结 语

本文结合项目标准提出了数据处理过程中数据质量控制流程,并制定了每个阶段质量控制的内容和方法,使数据处理过程更加高效、准确。特别是利用人机交互的方式对详查数据进行统改,既保证了数据的质量又极大减轻了工作量。经过数据处理过程中质量控制的层层把关,贵州省地质灾害监测预警与决策支持平台所需数据已全部入库,并以极高的满意度通过了数据质量评审。

[1] 汤国安,刘学军,闾国年,等.地理信息系统教程[M]. 北京:高等教育出版社,2007

[2] 崔铁军.地理空间数据库原理[M].北京:科学出版社,2007

[3] 范海生,杜新,周长雯,等. 1∶10 000 DLG生产的质量控制探讨[J]. 地理空间信息,2011,9(3):61-64

[4] 陈春华,余红举,高淑芬,等.GIS数据质量控制技术在地籍数据库建设中的应用[J]. 地理空间信息,2009,7(1):31-33

[5] 张印铎.基础地理信息数据库数据的质量控制[J]. 地理空间信息,2007,5(5):6-7

[6] Angwin G T. Quality Control of Digital Map Generation[J].Proceedings GIS/LIS,1991(2):715-723

[7] 范玉茹,马莉.分层法在DLG产品质量控制中的应用[J].测绘与空间地理信息,2012,35(8):16-18

Spatial Data Quality Control of Provincial Geological Hazards Warning System

byMA Lian

This paper summarized the quality control process of Guizhou Province Geological Disaster Monitoring and Early Warning and Decision Support System. The quality control of data processing was divided into the original data stage digitization and data conversion stage, layer extracting stage and the stage of before importing. At last,this paper described the content and the methods of each process.

GIS,geological hazards,data processing,quality control

P208

B

1672-4623(2014)02-0004-02

10.11709/j.issn.1672-4623.2014.02.002

2013-08-13。

项目来源:国家 863计划重点资助项目(2007AA120306);贵州省地质灾害监测预警与决策支持平台研究——地质灾害综合信息系统研发及其基础数据维护资助项目。

book=8,ebook=108

马莲,硕士,主要从事生态地理信息系统研究。

猜你喜欢

图层入库数据处理
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
重磅!广东省“三旧”改造标图入库标准正式发布!
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
中国食品品牌库入库企业信息公示②
中国食品品牌库入库企业信息公示①
解密照片合成利器图层混合模式
巧用混合图层 制作抽象动感森林
身临其境探究竟 主动思考完任务——《仓储与配送实务》入库作业之“入库订单处理”教学案例
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
跟我学添加真实的光照效果