APP下载

地质勘查遥感试运行系统研建技术与实现

2015-12-19汪大明方洪宾胡玉新林精敦

地质力学学报 2015年2期
关键词:数据处理勘查光谱

温 静,汪大明,方洪宾,胡玉新,许 宁,5,林精敦

(1.中国国土资源航空物探遥感中心,北京100083;2.中国地质调查局油气资源调查中心,北京100029;3.中国科学院空间信息处理与应用系统技术重点实验室,北京100190;4.中国科学院电子学研究所,北京100190;5.中国科学院大学,北京100049)

0 引言

随着高光谱成像和载荷技术的成熟和发展,高光谱遥感作为最有效的对地观测手段之一,越来越多地应用到地质调查领域,国际上已经建立了较为成熟的矿产资源调查高光谱遥感系统。近年来,我国研制了多台高光谱成像仪,并进行了高光谱数据预处理与应用处理等地质勘查遥感系统关键技术研究,然而目前仪器的有效载荷指标设置和数据处理技术水平尚不能满足矿产资源调查等应用需求,如何实现星-空-地多源海量数据的快速处理以及面向地质调查的应用处理,是高光谱数据应用亟需解决的关键技术问题。

为此,中国地质调查局在“十二五”期间安排了“地质勘查遥感系统集成与综合应用示范”工作项目。本项目在已有技术方法研究的基础之上,结合目前及未来地质勘查遥感发展的急需,基于国产高光谱小卫星地质应用系统和EnMAP高光谱卫星地面系统、航空高光谱 (含引进)、地面光谱测量仪、岩芯扫描仪等,集成星-空-地一体化的地质勘查遥感系统,并开展矿产和能源勘查应用示范,提升依靠自主卫星地质资源和环境调查评价的效益和水平[1],提高遥感地质的定量化应用水平。

1 系统设计

1.1 系统建设目标

地质勘查遥感系统的建设目标是:根据“十一五”期间开展的星载高光谱数据地质应用系统建设成果和经验,开展机载高光谱数据处理关键技术攻关和系统建设,进一步完善高光谱遥感数据处理与分析、海量遥感数据存储和访问、高光谱数据并行处理等关键技术,并最终完成星载、机载以及地面光谱数据管理及处理系统的集成,形成星-空-地一体化的地质勘查遥感试运行系统,为我国国土资源高光谱载荷的研制和应用做好前期的技术积累,通过研究和应用推动国土资源领域高光谱技术发展及其应用。

1.2 系统架构方案

根据系统的建设目标和地质应用业务需求,地质勘查遥感系统建设首先在编码规范、集成模式、接口关系等方面进行了规范化设计,并以此为基础设计了系统的体系架构。

1.2.1 组件化设计

地质勘查遥感系统的建设模式是构建一套先进的地质勘查遥感试运行系统平台,集成各类业务处理软件,满足地质勘查遥感应用的需求。软件系统包括多个功能单元,考虑到本系统的建设是在使用过程中不断扩展和完善,因此采用了组件化的设计,使该系统具备强大且灵活的可扩展性和可集成性。

1.2.2 开放性和可扩展性

地质勘查遥感系统在建设之初就遵循较好的开放性和可扩展性设计,便于今后根据接入数据的特点和功能变化进行扩充和改造,这种开放性和可扩展性设计不仅体现在软件架构上,也体现在硬件架构的设计上。当硬件设备进行调整时,只需进行相应的系统配置,即可进行任意的扩充或拆解;而软件架构设计由于运行和应用方式的不同,可以从系统紧耦合插件设计和松散耦合处理软件进行扩展。

1.2.3 灵活的集成方式

地质勘查遥感系统是集成性平台,功能软件插件的集成采取灵活的集成方式:对于需要进行流程化、业务化、自动化运行的功能,以软件插件的方式进行集成;对于矿物填图、油气探测、光谱管理等应用软件,采取“松耦合”的方式进行集成。不同的集成方式使各功能软件之间保持相对独立,而在应用的整理层面上又同时具有一体化效果。

1.2.4 系统总体架构

根据上述设计思想,地质勘查遥感系统架构方案划分为发布层、应用层、数据层和支撑层 (见图1),体系架构如图2所示。系统由数据接入单元、高速缓存单元、管理控制单元、作业执行单元以及地质应用单元组成,集成了星载、机载以及地面光谱数据处理功能。

1.3 数据流程设计

地质勘查遥感试运行系统的数据流程如图3所示。根据需要,高光谱遥感数据处理分系统从外部数据接入系统获取数据源,并对数据进行相关处理,生成的产品和产品元数据信息进入数据及数据库管理分系统进行存档;而存储的经过处理的数据根据需要可以进入地质应用分系统进行进一步加工处理,生成专题数据;这些地质应用产品数据将返回到数据管理分系统再进入发布分系统进行数据分发,或者不用根据用户的需求直接进入用户服务与信息发布分系统进行数据分发。在此过程中,数据与数据库管理分系统中的高光谱遥感数据根据需要可以在计算机平台中进行可视化以得到数据处理人员的确认,数据分发分系统中的数据可以通过网络直接与用户进行交互。

图1 地质勘查遥感试运行系统架构图Fig.1 The figure of system framework for remote sensing trial processing system for geological exploration

图2 地质勘查遥感试运行系统体系结构Fig.2 System frameworks for remote sensing trial processing system for geological exploration

另外,系统还产生产品处理状态信息数据,软硬件资源监控信息数据,业务运行管理信息数据等,这些数据流只在相关分系统间传递。如:处理分系统的产品处理状态信息数据会进入业务运行管理分系统进而通过可视化显示给工作人员,而软硬件资源监控信息数据,业务运行管理信息数据会在业务运行管理分系统和计算机平台间交互进行显示。

1.4 基础软硬件环境

地质勘查遥感试运行系统部署在航遥中心机房,除充分利用已有的基础网络存储架构外,再部署2台IBM服务器 (Linux RedHat 5.4操作系统)和3台机房客户端PC。Linux系统中通过光纤与一个盘阵相连,存储空间用于存储遥感数据;服务器通过网络与客户端PC互连。地质勘查遥感试运行系统部署的硬件拓扑如图4所示。

图3 地质勘查遥感试运行系统的数据流和控制流Fig.3 Data flow and control flow of remote sensing trial processing system for geological exploration

图4 系统部署硬件方案Fig.4 Hardware plan of system

2 系统实现

地质勘查遥感试运行系统组成框图见图5。其中高光谱数据接入主要完成星载/机载高光谱数据的接入 (回放)功能,把外部数据 (外来存储介质)接入到系统中;系统管理控制功能主要从传感器建模 (按型号将传感器参数入库,方便系统后续处理调用)、流程配置和管理、系统监视等方面实现系统的管理和控制;系统执行功能主要完成不同的作业或产品生产,主要包括数据0~2级产品生产、高光谱反射率反演、数据噪声估计与去除;地质应用单元主要实现矿物填图、油气异常信息提取等面向地质应用的功能。

地质勘查遥感试运行系统通过一个主控制台程序实现对各个系统单元的控制和交互处理,主控制台程序可以调用试运行系统中需要进行参数设置和人机交互的系统软件界面程序(见图6),包括传感器建模、数据回访、数据编目等功能软件。

图6 主控制台程序界面Fig.6 The interface of main control desk program

2.1 数据接入单元

地质勘查遥感试运行系统的数据接入单元将星载高光谱载荷、航空高光谱成像仪传感器设备获得的数据传输至系统的集中数据存储设备。各种遥感设备的数据记录媒介包括RAID盘阵、固态硬盘或者自定义设备;接口方式包括SCSI、SATA、网络、USB等接口;接入的数据包括从地面接收站传送过来的星载高光谱原始数据,机载设备的记录媒介中存储的未经处理的原始数据、惯性导航辅助数据等。数据接收或者回放结束后,完成数据的编目归档,并进行后续数据处理任务的调度管理 (见图7)。

地质勘查遥感试运行系统接入单元的软件部分包括高光谱数据接入软件和数据编目软件。高光谱数据接入软件根据高光谱数据收集、处理标准和入库的要求,对高光谱遥感数据进行数据解析、格式整理 (见图8);编目处理软件根据数据库的数据结构设计和数据组织模式,对接入的遥感数据进行编目和存储,完成编目后启动原始数据归档和地面数据处理流程。

图7 高光谱数据接入单元组成Fig.7 The composition of receiving hyperspectral image unit

图8 高光谱数据回放软件Fig.8 Back play software of hyperspectral image

2.2 高速缓存单元

高速缓存单元为地质勘查遥感试运行系统接收的外部数据、内部处理过程的各类中间数据和对外输出数据提供高速缓存,其强大的数据吞吐性能,可保证地质勘查遥感试运行系统的时效性,满足数据实时快速处理的需求。高速缓存单元由高速数据缓存设备和数据缓存服务软件组成。

根据实际需求,高速数据缓存设备分为高速内存缓存、大容量磁盘缓存等多种不同的形式。数据缓存服务软件统一管理所有高速数据缓存设备,形成逻辑上统一的整体[2],向作业执行单元提供高效文件访问服务。高速缓存单元对外提供多种标准协议和接口。

2.3 管理控制单元

管理控制单元承担着地质勘查遥感试运行系统业务管理和运行控制的重要职责,其设计是否合理是整个系统能否稳定、高效运行的关键。管理控制单元有流程驱动软件、流程建模与配置软件、流程监控与任务统计软件、系统监控软件4个核心组成部分 (见图9)。

流程驱动软件是整个地质勘查遥感试运行系统的引擎,实现系统运行过程中流程控制。流程建模与配置软件 (见图10)实现地质勘查遥感试运行系统的业务流程定制,可满足多种数据、多种处理方式的处理需求。流程监控与任务统计软件是用户查看系统中的流程信息与任务信息、监控流程和任务执行状态、了解系统资源负载状况以及对流程进行各种控制操作的集中交互平台。系统监视软件定时收集各类软、硬件执行单元的状态信息,并将其解包更新至监控数据库的相应表项中,定时上报各类软硬件执行单元的状态信息。

2.4 作业执行单元

图9 管理控制单元组成Fig.9 The composition of management and domination unit

图10 流程建模与配置软件界面Fig.10 The interface of process modeling and software

作业执行单元负责具体遥感数据产品的生产,为星载、机载传感器的预处理软件以及其他作业执行软件提供必需的计算环境。一般情况下,作业执行单元包括多个处理节点,各处理节点由交换网络连接形成一个数据处理集群[3],集群中的各个节点在管理控制单元的调度下完成各种数据预处理任务 (见图11)。作业执行单元由计算资源管理和调度服务软件、数据预处理插件以及其他数据处理模块组成。

计算资源管理和调度软件对系统内各类资源进行监控和统计,根据系统预定义的资源调度策略,资源调度模块将向处理任务分配合理的处理资源。通常情况下,作业执行单元的各个节点还部署系统监控代理软件和高速缓存客户端软件。系统监控代理软件用于为整个系统监控提供接口,方便收集地质勘查遥感试运行系统中各种资源的运行状态信息,对系统中各种资源的状态信息,系统监控代理软件会以一定的界面、数据的形式反映给用户。

数据预处理插件是针对OMIS数据开发的0~2级处理插件,能实现OMIS机载高光谱测试数据辐射校正、系统级几何校正处理的功能。

其他数据处理模块指高光谱数据处理软件,包括高光谱数据反射率反演软件 (见图12)和高光谱数据噪声估计和去除软件。这些处理模块采用松散耦合方式集成。

2.5 地质应用单元

地质应用软件包括矿物信息提取软件、高光谱油气异常提取软件及岩心高光谱数据管理和分析软件 (见图13),软件界面见图14—16。地质应用单元所集成的软件均面向用户操作,具有独立的操作界面,需要专家知识参与,因此地质应用单元的处理软件均采用松散耦合集成方式。

图11 作业执行单元组成Fig.11 The composition of execution unit

图12 地质勘查遥感原型系统反射率反演软件图示Fig.12 The reflectance retrieval software of remote sensing trial processing system for geological exploration

图13 地质应用单元组成Fig.13 The composition of geological application unit

图14 地质勘查遥感原型系统蚀变矿物信息提取软件图示Fig.14 The information extraction software of remote sensing trial processing system for geological exploration

图15 高光谱遥感油气异常提取软件图示Fig.15 The software of extraction of abnormal oil-gas information by hyperspectral image

图16 岩心管理软件界面Fig.16 The interface of core management software

3 关键技术

3.1 基于工作流的数据预处理流程建模和统一调度技术

地质勘查遥感试运行系统使用流程定义语言对数据处理流程进行规范化描述,提供可视化的算法插件注册和流程建模,保证系统能够灵活地对处理流程进行动态扩展和管理;在流程执行时,原型系统根据流程定义调用处理算法插件模块和处理参数,实现各类传感器数据处理和多级标准数据产品输出。

3.2 基于分布式资源池管理的计算资源调度

地质勘查遥感试运行系统的计算资源由多个处理节点组成,为了提高可扩展性和可靠性,原型系统根据任务执行的资源需求,动态统筹分配系统的计算资源和存储资源[4],实现智能化的调度执行。

3.3 地质勘查遥感试运行系统总体集成技术

地质勘查遥感试运行系统设计和实现了多源遥感数据预处理平台,该平台可靠性高、扩展性强、开放性好,具有先进的软硬件体系结构,能够方便地集成各种数据处理算法插件。

4 试运行应用效果分析

目前地质勘查遥感试运行系统已经部署在中国国土资源航空物探遥感中心,并先后在新疆东天山地区、西藏驱龙地区进行了矿产资源调查,在榆林地区开展了油气异常信息提取等典型应用示范,取得了良好的应用效果。

4.1 矿产资源应用示范

2011年和2013年,项目组分别对新疆东天山金铜矿 (见图17)、西藏驱龙—甲玛铜矿进行了矿产资源应用示范。利用地质勘查遥感试运行系统,对高光谱数据进行了数据处理,对绿泥石、白云母、矽卡岩化、高岭土等开展了矿物蚀变信息提取,并对提取结果进行了野外验证。结果表明,经野外验证,系统矿物识别精度较高,可以作为成矿预测的依据。

图17 新疆东天山研究区HyMap数据光谱角度填图结果Fig.17 The result of spectral angle mapping by using HyMap in east Tianshan,Xinjiang

4.2 油气探测应用示范

2012年,项目组对榆林油气田进行了油气资源应用示范。利用地质勘查遥感试运行系统,对高光谱数据进行了数据处理和油气异常信息提取 (见图18),经野外验证结果表明,系统对油气异常信息提取的结果基本准确。

应用示范的结果表明,地质勘查遥感试运行系统基本实现了高光谱遥感数据在矿产资源、油气资源调查评价中的定量化分析。

图18 榆林地区蚀变信息提取图Fig.18 The image of extraction of alteration information in Yulin

5 结论

地质勘查遥感试运行系统是针对国土资源领域矿产和能源需求,依托现有的基础软硬件环境,以海量高光谱数据存储为基础研发的集数据接入、数据管理、数据处理、信息共享、地质应用于一体的系统,实现了海量数据的存储和使用等功能。地质勘查遥感试运行系统的研建可以充分发挥其信息功能,为我国高光谱数据在矿产资源调查、油气资源探测等领域提供了有效平台。目前该系统已经部署到中国国土资源航空物探遥感中心,并在不同的试验区开展了针对矿产、能源的应用示范,并取得了良好的应用示范效果。

[1] 彭齐鸣.资源卫星在国土资源领域应用及发展建议[J].国土资源遥感,2009,21(1):1~2.PENG Qi-ming.Application and development proposals of resource satellite in the field of land and resources[J].Remote Sensing for Land and Resources,2009,21(1):1~2.

[2] 杜晓,晋佩东,郭大海,等.遥感影像快速入库和元数据提取系统的研究[J].国土资源遥感,2006,18(3):80~84.DU Xiao,JIN Pei-dong,GUO Da-hai,et al.Researches on the rapid importing of remote sensing images and metadata acquiring system [J].Remote Sensing for Land and Resources,2006,18(3):80~84.

[3] 周伟,黄炜,王彦佐.资源一号02C卫星数据管理与服务系统研建[J].国土资源遥感,2014,26(1):179~185.ZHOU Wei,HUANG Wei,WANGYan-zuo,et al.Tentative construction of satellite data management and service system for ZY-102C [J].Remote Sensing for Land and Resources,2014,26(1):179~185.

[4] 钟广锐.基于ArcGIS Flex API的WebGIS设计 [J].测绘科学,2012,37(3):147~149.ZHONG Guang-rui.The design of WebGIS based on ArcGIS Flex API[J].Science of Surveying and Mapping,2012,37(3):147~149.

猜你喜欢

数据处理勘查光谱
基于三维Saab变换的高光谱图像压缩方法
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
《林业勘查设计》简介
《林业勘查设计》征稿简则
《林业勘查设计》征稿简则
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
地球物理勘查技术在地热资源勘查中的应用
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
星载近红外高光谱CO2遥感进展
Matlab在密立根油滴实验数据处理中的应用