APP下载

湖北省级国土调查数据库优化与关键技术研究

2022-06-06李俭康刘中秋

地理空间信息 2022年5期
关键词:海量异构国土

尹 峰,李俭康,刘中秋

(1. 湖北省空间规划研究院,湖北 武汉 430070;2. 武汉吉威空间信息技术研究院有限公司,湖北 武汉 430014)

2009 年湖北省土地调查数据库管理系统建设完成,首次实现了对TB 级全省土地调查成果数据的集中管理。2018 年自然资源部“两统一”和“多规合一”职责的确立,以及随之而来的第三次国土调查、实景三维中国的建设目标,从数据库管理内容、海量数据存储管理、高性能访问与决策支持应用、二三维一体化展示等方面对湖北省级土地调查数据库提出了更高要求。因此,如何在充分继承和挖掘现有数据成果的基础上,对现有湖北省级土地调查数据库进行升级与优化,以满足新形势下湖北省自然资源管理事业的现实需求,成为当前湖北省级国土调查数据库建设中亟待解决的难题。

针对不同专题、不同结构下多时态国土调查成果数据的高效管理和应用问题,相关学者从软件平台选型、国土调查时空数据库更新方法和应用模式等方面展开了研究,如在软件选型方面,相关研究分别探索了 基 于 Oracle Spatial[1]、ArcGIS[2]、MapGIS[3]和 Geoway Forland[4]等不同软件平台的国土调查数据建库方案;解蕾[5]、钟星[6]、何大金[7]、戴海伦[8]和方川[9]等则先后研究了土地调查时空数据库的更新策略。从数据库管理系统的空间尺度来看,现有研究主要集中在省级[10-13]和县级[2,5-6,14]国土调查数据库的研究。近年来,随着倾斜摄影测量和实景三维技术的发展,面向自然资源三维立体时空数据库的研究也开始得到关注[15-16]。

总体上看,现有的关于国土调查数据库在软件选型、建库更新和决策应用方面的研究为新形势下湖北省级国土调查数据库建设提供了重要研究基础和参考;而湖北省级国土调查数据建库与优化升级在海量时空数据高效管理与更新、二三维场景数据一体化可视化和开放环境下土地大数据决策支持技术等方面依然亟待研究。因此,本文在对建库、管理和应用需求分析的基础上,设计了湖北省级国土调查数据库的优化升级技术路线,并对国土调查海量数据高性能存储管理、基于国土调查时空大数据的分析决策支持和国土调查成果数据二三维场景一体化显示等关键技术进行了研究。研究成果预期将服务于湖北省第三次国土调查成果数据库的优化升级。

1 湖北省级国土调查数据库

自2009年第二次土地调查以来,历经9次年度土地变更调查,目前湖北省级国土调查数据的总容量已达到6 TB。随着第三次国土调查成果数据、高分辨率遥感图像、无人机航测影像和三维数据模型的入库,湖北省级国土调查数据库的存储对象和容量将呈指数级增长。湖北省级国土调查数据库已无法满足新形势下自然资源管理事业对海量多源异构自然资源时空数据的高效存储管理、国土调查成果数据的二三维一体化显示、自然资源大数据智能化分析决策等需求。

1)国土调查海量成果数据的高效存储与管理。湖北省级国土调查数据库面临着存储空间不足、时空数据关联分析欠缺、功能扩展难和管理与访问效率低等问题,难以满足新形势下国家、省、市、县的4 级联动与更新和自然资源管理业务的扩展需求。

2)国土调查成果数据的二三维场景一体可视化。由于影像切片数据集个数较多,三维平台的启动时间较长,且矢量数据无法加载到三维平台上进行浏览。现有数据库管理系统无法实现从“地块—村—乡镇—县—市—省”多尺度对自然资源管理业务中产生的多类型基础数据进行高效查询与可视化。

3)自然资源大数据智能化分析决策。为了有效挖掘数据与利用数据价值,迫切需要改造当前以图层为管理和应用的模式,建立国土调查数据对象级的完整的时空序列对应关系,按照“大数据、大分析”的思想,实现基于对象的时空分析,进行一体化管理、应用与分析,以应对日益增长的自然资源管理业务决策支持需求。

针对湖北省级国土调查数据库当前运行维护所面临的压力以及自然资源管理决策支持的需求,新形势下湖北省级国土调查数据库优化升级的总体目标和任务包括:①改造数据库系统结构,使之在数据存储、兼容性和可扩展性等方面的能力得到增强;②优化系统性能,提高数据查询、浏览、统计、分发的响应时间与效率;③拓展决策支持功能,通过数据结构与性能的提升,丰富数据库系统基于国土调查时空大数据服务于自然资源管理决策支持的能力;④提升国土调查海量基础数据二三维动态渲染与服务发布能力,实现国土资源基础数据的多样化、个性化和高效可视化。

2 优化升级技术路线

根据湖北省级国土调查数据库的优化升级目标,湖北省级国土调查数据库管理系统的优化升级主要包括数据库存储模型与结构改造、数据库兼容性扩展、数据库分析决策功能提升、基础技术平台升级和数据库性能优化5个方面的内容,总体技术路线如图1所示。

图1 湖北省级国土调查数据库升级优化技术路线

1)数据库存储模型与结构改造。构建时态数据模型和增量更新数据模型,在当前以国土调查数据为主的基础上,整合地理国情、林草水湿等多源异构自然资源管理数据;形成集关系型、NoSQL、影像编目库等于一体的多维多粒度分布式数据存储模型,提升平台对海量多源异构时空数据的存储与管理能力。

2)数据库兼容性扩展。为满足“大数据、大分析”的发展需求以及提供更快速、便捷和优质的国土调查数据服务,对系统接口进行兼容性扩展,通过服务接口、共用工具衔接、数据双向调用、数据编目与元数据等手段,实现与土地基础数据集成管理系统和业务平台的数据调用。

3)数据库分析决策功能提升。基于改造后的国土调查海量数据存储时空数据模型,全面提升自然资源时空大数据服务于自然资源管理决策的能力。在对数据库现有查询、统计等基础功能进行优化的基础上,集成基于时空数据挖掘方法的土地利用时空变化模拟和多情景优化决策模型。

4)基础技术平台升级。为发挥新技术、新方法在海量时空数据存储管理方面的优势,对现有数据管理平台的基础软件进行升级,以支持系统数据存储能力和访问性能的提升。

5)数据库性能优化。数据库的数据访问与查询性能直接关系到数据库中基础数据成果的应用效率。本文基于虚拟化环境,综合利用并行运算、数据库集群和数据切片技术,对数据存储管理效率、查询浏览效率、统计分析效率、数据分发效率和迁移部署效率进行组织管理优化、应用分析优化和快速服务优化,以提高国土调查管理系统性能,实现快速高效的数据管理、应用、分析和服务。

3 优化升级的关键技术

3.1 多源异构国土调查数据存储技术

针对高效存储管理国土调查、地理国情、林草水湿等来源、类型、数据结构不同的海量国土调查相关成果数据的需求,本文采用混合存储架构,分别利用数据库、文件存储系统进行海量多源异构数据的高效安全存储。其中,属性数据、矢量数据、遥感图像、矢量瓦片、影像切片等利用Oracle 数据进行集中管理,并存放于Oracle RAC(Real Application Cluster)集群上,以应对海量数据高检索、高并发和高IO的需求;其他大型文件采用共享文件存储和分布式文件存储。针对不同类型的数据,根据其数据量、数据结构、数据应用场景等选择最优的存储方式。总体存储架构如图2所示。

图2 多源异构国土调查大数据存储策略

3.2 国土时空大数据高性能分析技术

为应对湖北省级国土调查数据库高效服务于分析决策的实际需求,采用开放环境的土地基础大数据处理分析技术,将国土调查、地理国情、林草水湿等多专题数据纳入到数据库中进行集中管理。湖北省级国土调查数据库的土地大数据分析技术总体架构如图3所示,主要包括设施层、存储层、计算层、模型层等,其中设施层为计算资源与存储资源,针对不同的数据类型,采用不同的数据存储方式,实现数据的块存储、文件存储和对象存储,针对不同的应用场景,划分出高性能计算集群、分布式计算集群和GPU计算集群;存储层根据不同的数据类型和应用场景,采用空间数据库、共享文件系统、非关系型数据库与分布文件系统对各类基础数据进行存储;计算层通过耦合高性能计算、分布式计算和内存计算等计算框架,自适应选取计算策略,并动态分配系统计算资源,为上层应用提供鲁棒、高效的应用分析服务;模型层以模块化思想提供数据模型、算法模型和应用模型,可利用可视化方法快速搭建空间分析算法工作流。

图3 土地大数据分析技术总体架构

3.3 二三维海量数据可视化技术

在统一的数据库平台和场景下,从“地块—村—乡镇—县—市—省”多个尺度实现不同类型、多源异构数据的高效二三维一体化展示,是湖北省级国土调查数据库优化升级的重要目标和难点问题。针对湖北省级国土调查数据库中存储的各类数据的特点和应用需求,本文提出了虚拟金字塔技术(图4)。

图4 面向国土调查海量二三维数据一体化显示的虚拟金字塔模型

如图4 所示,模型通过耦合矢量瓦片标准、Arc⁃GIS 标准、影像切片标准创建瓦片和数据服务,从而实现对不同类型数据成果的高效一体化可视化。上述异构金字塔都有各自的分级标准,全球瓦片格网划分起算点、瓦片编码和属性规则,空间范围,编码规则和属性信息。湖北省级国土调查数据库管理系统的三维展示引擎采用虚拟金字塔技术,对各类异构金字塔数据进行组织与管理,逻辑上抽象成虚拟金字塔,三维场景中展示时通过虚拟金字塔进行相应异构数据的调用和渲染。

为实现不同类型数据在统一平台上的高效集成可视化,本文基于虚拟金字塔模型,采取图层数据分离和逻辑耦合技术,实现了各类数据成果分别基于Arc⁃GIS Server、矢量瓦片服务、影像切片服务的混合接入和集成展示,如图5所示。

图5 基于虚拟金字塔模型的二三维数据一体化组织

4 系统性能测试结果

为测试湖北省级国土调查数据库的关键技术性能,本文搭建了小型计算集群,硬件配置为:①数据库服务器3 台,硬件参数为64 核主频2.1GHz 的CPU、128 G内存、9 TB存储;②测试客户机两台,硬件参数为4核主频3.33 GHz的CPU、内存16 G,硬盘2 TB。在数据存储方面,数据库的核心文件数据采用NAS存储设备进行存储,可满足局域网内PB级的数据存储、扩容。NAS存储服务器与数据库服务器和客户机之间通过万兆光纤交换机进行高速互联,实现局域网内数据的高速共享与互访。在测试数据方面,选取全省2019年的土地利用变更调查数据进行验证,其中矢量要素1 086万个,数据量为14 GB;栅格数据约为1.39 TB。

从数据查询、空间分析与服务分发性能测试等方面来看,优化升级后的湖北省级国土调查数据库对省级矢量要素的查询与统计耗时在5 s以内,县级尺度矢量要素的任意空间范围、多个图层、跨区县的查询统计耗时可控制在3 s以内,省级尺度的空间叠加分析耗时可控制在1 min以内。在国土调查栅格和矢量数据分发性能测试中,按任意范围跨武汉市、宜昌市两个市分发5个县的栅格数据(数据量为69.1 GB),平均每个县约耗时5 min,矢量数据分发平均每个县耗时仅20 s。

在全省尺度的国土调查成果数据可视化性能测试方面,通过虚拟金字塔技术的应用,实现了多源异构国土调查数据成果的二三维一体化场景展示(图6)。其中,在海量矢量数据的高效可视化方面,实现了GB 级别的矢量数据秒开,无缝漫游效率视觉无延迟;单节点支持200+并发访问,响应时间在1 s以内。

图6 全省尺度国土调查成果数据可视化效果

5 结 语

本文主要针对湖北省级国土调查数据库优化升级中面临的主要问题和挑战展开了研究工作。针对“两统一”新形势下自然资源管理的应用决策支持需求和国土调查成果数据的基本特点,分别提出了多源异构国土调查数据存储技术、国土时空大数据高性能分析技术和二三维海量国土调查数据可视化技术。结果表明,优化升级后的湖北省级国土调查数据库管理系统在海量多源异构国土调查成果数据高效存储、高性能分析与二三维一体化展示方面的性能与功能基本达到了预定的设计目标。研究成果预期将服务于湖北省第三次国土调查和年度变更调查成果数据的管理与应用。

猜你喜欢

海量异构国土
ETC拓展应用场景下的多源异构交易系统
一种傅里叶域海量数据高速谱聚类方法
试论同课异构之“同”与“异”
新时期国土空间规划编制的思考
鲜花盛开的国土
海量快递垃圾正在“围城”——“绿色快递”势在必行
多源异构数据整合系统在医疗大数据中的研究
守望国土的藏族姐妹花
守望国土的藏族姐妹花
吴健:多元异构的数字敦煌