兰志武

(福州市勘测院,福建福州 350003)

城市空间资源数据库同步技术研究

兰志武∗

(福州市勘测院,福建福州 350003)

城市空间资源数据库实时同步问题,是当前城市空间信息资源开发与应用亟待解决的问题,它对于提高地理空间信息现势性与应用水平具有重要的理论和实践意义。通过分析空间信息资源同步技术需求和现有技术的不足,提出了基于空间匹配分类更新模式的同步技术方案,重点探讨了“空间要素快速匹配技术”、“基于WCF信息快速传输技术”、“ArcSDE版本管理”、“原子钟授时同步控制技术”等关键技术的开发与应用。技术方案在ArcEngine10.1+ VS.NET 2010平台上实现,并经过福州市勘测院生产实践的检验,证明其可行性实用性。

空间信息同步;要素匹配;信息传输

1 引 言

目前,反映地理空间环境的城市空间资源数据库处于不断变化之中,单一空间资源数据库系统难以同时满足生产与应用双重要求,给日常应用带来很大压力。为此大多数城市勘测院采用空间信息“生产库”与空间信息“应用库”相互分离的模式[1]。此外、目前政府部门大多也是采用“应用库”(即生产库副本)模式共享空间信息资源。

如何将“生产库”中的变化信息及时反映到“应用库”中,即所谓空间资源数据库同步问题。由于技术上的原因,目前解决同步问题主要依靠简单替代法,也就是用“生产库”中某区域的数据直接替换“应用库”中同区域的数据。这种方法虽然简单实用,但需要人工操作完成,不仅影响“应用库”的更新效率,造成“应用库”现势性的严重滞后,而且严重损害空间信息变化的真实性,应用上造成非空间信息失去空间关联。

可见,在空间信息快速获取能力足以保障空间数据生产实时响应地理环境变化的情况下,如何为“应用空间数据库”实时分发变化信息,解决“生产库”与“应用库”之间同步问题,是当前城市空间资源数据库维护更新亟待解决的问题。

1.1 城市空间资源数据库同步技术需求分析

通过对福州市空间资源数据库实例的深入分析,可概括为如下三类同步问题:

(1)适应城市空间环境的快速变化

福州市勘测院在2009年建立覆盖全市800 km2的基础空间数据库生产系统之后,利用竣工测量、规划修测任务、航空遥感等对1∶500数据进行不间断的修测,这些任务虽然范围不大,但数目众多,几乎每天有数十件,基本上只能采用离线作业方式(因外业特点或所用技术的关系)。而离线作业产生的变化信息需要及时合并到生产数据库中,才能保证前台售图业务(带有政府职能性质)满足用户要求。

(2)适应城市空间信息更新区域化

随着福州市勘测院业务的拓展,先后组建了平潭、福清、长乐、闽侯、永泰等分院,以满足空间生产更新区域化需要。这些区域子库的变化信息需要尽快同步到总院中心数据库。

(3)解决应用库现势性滞后的问题

目前福州市规划局、国土局等单位采用“应用库”形式共享福州市空间资源数据库的信息,勘测院采用定期(通常一个月)区域简单替代方法对各应用库进行更新,这种方法虽然简单易行,但人工管理工作量大,更新周期长,而且严重损害了空间数据库变化的真实性,应用上造成非空间信息失去空间关联。客观上迫切需要解决这类问题的新技术新方法。

1.2 现有空间数据库同步技术分析

为解决数据维护更新的同步问题,GIS业界做出了许多尝试,总体来说,可归纳为两类更新模式:“区域整体更新”模式、“区域增量更新”模式[1],增量更新模式可细分为:基于全球GloblID模式、基于时间轴模式、空间匹配分类三类。下面就其优缺点分别进行分析:

(1)区域整体更新模式分析

区域整体更新就是将空间数据库中某区域的数据全部替换,这种方法简单实用,对于更新周期为2年～3年甚至更长的情况是合适的,它是大多数空间数据库常用方法。主要问题是:

①必须有清晰的区域边界;

②没有顾及空间信息数据库变化的真实性;

③非空间信息将全部失去空间关联。

(2)基于GloblID增量更新模式分析:

ArcGIS 9.2版本后,提供了基于【GloblID】同步复制功能,包括三种方式[2]:

签入签出方式:数据check out为gdb格式,离线编辑完成后,再check in,实质上是使用ArcSDE版本管理功能。

One Way:两个SDE数据库之间建立单向同步复制关系。

Two Way:两个SDE数据库之间建立双向同步复制关系。

ArcGIS三种方式局限性在于:

①每一个数据集必须支持【GloblID】字段,以标识每条记录在该gdb内或gdb之间的唯一性。数据编辑处理强烈依赖ArcGIS软件,否则将造成GloblID混乱。但目前大多单位都采用国产地理信息编辑处理软件。

②只适合同构SDE数据库,对于异构空间数据库更新则不适用。

③每种方式对操作人员的要求很高。

(3)基于时间轴的增量更新模式分析

清华三维EPS 2008软件推出了基于时间轴的数据库离线更新方式,支持【修改时间】字段等表述要素更新时间的信息,以此判断哪些信息被修改,哪些信息被删除等等。该技术主要局限在于:

①数据生产软件必须严格支持时间特性,即对任何要素的修改变化,添加,删除等都能够准确记录发生的时间。除EPS软件外,尚未发现其他软件支持这种时间特性。

②此外、如果计算机的时钟收到某种干扰,时间发生紊乱,数据变化信息将出现严重混乱。EPS软件为解决此问题加密狗配备了专用授时的原子钟。

(4)空间匹配分类更新模式分析

上述模式还存在相同缺陷:它们仅从“数据编辑”的角度考察空间信息的变化,信息变化真实性依赖操作员的作业习惯。例如,一个空间目标几何形态发生少许变化,如果采取删除原来、创建新目标的方式,则事物变化的真实性被破坏。

武汉大学遥感信息工程学院,吴建华,傅仲良在《数据更新中要素变化检测与匹配方法》一文中,提出在要素类之间缺乏同名实体关联关系的情况下,基于权重的空间要素相似性计算模型,并基于该模型对复杂空间关系下的要素进行了匹配[3],取得一定效果,尚处于理论研究阶段,实用性不强。

2 总体技术路线

2.1 技术目标与要求

(1)准实时、可定制

考虑到将来应用库越来越多,应用库现势性要求各不相同,可考虑5个等级同步周期,最快每天同步一次,同步时间安排在晚上12点,基本上不影响信息的使用。

应用库同步更新周期表 表1

(2)无人值守,全自动控制;

(3)支持多对一同步更新模式,即多个区域“生产库”更新一个“中心库”;一对多分发模式,一个“生产库”服务多个“应用库”;

(4)采用空间匹配分类更新模式,不依赖任何特定软件,避免非空间信息关联失效;

(5)安全、可靠、快速。

2.2 系统结构与工作原理

(1)系统结构

系统采用“3+1”系统结构(如图1所示),由3个子系统(“信息提取子系统”、“数据更新子系统”、“信息传输子系统”),和一个“管理网站”4个部分组成。

图1 系统结构示意图

(2)系统工作原理

系统采用“推拉式”工作方式协同工作,即:“信息提取子系统”定时提取生产库中变化信息,并上传至“Web服务器”,称为“推”;“数据更新子系统”定时查看Web服务器是否存在最新更新信息,如果存在,则下载更新信息并更新应用数据库,称为“拉”。

以上过程由原子钟触发(同时支持人工触发,以解决特殊需要),触发时间根据更新周期要求在管理网站中配置;“信息传输子系统”提供信息传输的通道,“管理网站”提供配置管理和信息发布功能。

2.3 子系统设计

(1)信息提取子系统

部署在生产服务器端,包括以下3个模块,采用Oracle 10g+ArcEngine 10.1+Visual Studio 2010开发。

①数据提取模块;

②数据打包模块;

③调度控制模块(原子钟同步控制,信息上传,过程监视)。

(2)数据更新子系统

部署在应用服务器端,包括以下5个模块,采用Oracle 10g+ArcEngine 10.1+Visual Studio 2010开发。

①调度控制模块(原子钟同步控制,信息下载接口,过程监视);

②信息校验模块(完成解密、一致性检查);

③信息匹配模块(图形匹配、属性匹配);

④信息更新模块(版本管理、信息更新);

⑤异常处理模块(异常捕获、异常记录、异常处理操作)。

(3)信息传输子系统与管理网站

部署在Web服务器端,提供信息中转服务(接收信息提取子系统上传信息,响应信息更新子系统的下载请求)。“信息传输子系统”采用寄宿方式(在IIS中)与“管理网站”相互集成,共包括以下4个模块:

①信息传输模块:采用WCF+Visual Studio 2010开发;

②信息中转服务模块:采用SQL Server 2008+Visual Studio 2010开发;

③权限管理模块:采用Website+Visual Studio 2010开发;

④信息管理模块(信息查询,统计等):采用Website+Visual Studio 2010开发。

3 主要关键技术

系统涉及的主要关键技术有:

①空间目标快速匹配技术;

②基于WCF信息快速传输技术;

③原子钟授时同步控制技术;

④ArcSDE版本管理技术。

3.1 空间目标快速匹配技术

地理要素匹配其本质是通过分析两个数据集(新旧版本)中空间目标的差异与相似性,识别出不同数据集中表达现实世界同一地理要素的空间目标,目的是使计算机具备确定同名地物是否发生变化的人机智能[1]。

(1)现有匹配技术的不足

就明确定义的点、线、面要素而言,国内外学者进行了深入的探讨与研究,提出了许多方法(Hausdorff, Fourier,夹角链码法等)[4,5],主要涉及形状相似度。不足之处在于:

①形状相似度匹配可能与事实相背离,在空间数据库更新过程中,不相似的地物未必不匹配。例如:一些人工地物的修改后(例如:建筑物的改建扩建,道路延伸,土地地块用途的改变等)和原来的形状可能完全不相似。

②属性变化作用被忽视。在空间数据库更新过程中关键属性的变化可能起到决定性作用,一些很相似的地物未必匹配,例如:在原址上建筑物重建(平房变为高楼),新旧地物空间相似度可能很高,但和原来的地物已经没有关系。

③计算效率太低失去实用性。有些算法理论上严密,但计算太复杂,例如Walter&Fritsch概率统计的匹配法[6]。

(2)渐进式匹配模型

针对空间数据库更新的特点,系统采用兼顾匹配准确率和匹配效率的渐进式匹配模型,如图2所示:

图2 渐进式匹配流程示意图

①先采用以重叠度计算为依据的简化识别模型[7],新旧要素重叠度大于85%识别为同名要素,新旧要素重叠度小于50%识别为不同名要素,在50%～85%之间为待定。实验表明:简化模型可解决80%以上识别问题。

②对剩余15%待定空间目标进行第二次匹配。采用两种策略,对于自然变迁要素数据层采用Fourier描述子进行相似匹配,分别将新旧地物轮廓线进行Fourier数值积分变换,利用Fourier变换能量集中的性质,将前20阶系数进行比对,得出形状相似度。

对于人工地物数据层,采用“最大基因组比对法”(GeneCompare)进行相似匹配,将新旧地物轮廓线分解为一系列等长线段,看作生物基因链,通过平移旋转操作使新旧地物尽量对齐,然后根据对齐后相互重叠的最大基因组数,计算形状相似度。

③在空间匹配计算不能判定之后进行“语义相似度”计算,作为最后决策的参考。计算未变化字段与总属性字段的数量比例,剔除大于85%(标记为匹配)和小于50%(标记为不匹配)情况。对剩余情形,先采用基于分词的中文文本相似度计算法(对文本型字段),或采用差异距离法(对数值型字段)计算单个字段相似度,再将所有字段相似度进行综合求得整体语义相似度。

3.2 基于WCF信息传输技术

由于空间要素信息大,往往达到几百兆甚至很多(几个G);要求信息传输可支撑大数据量的访问负荷,传输速度要求快,传输安全级别高,稳定性要求高。

(1)高压缩比压缩算法

压缩技术是有效减少网络信息传输量的关键技术,系统采用LZMA算法将ArcSDE导出的gdb数据进行压缩,然后再送入传输通道。经试验研究表明:比Zip压缩的数据量小30%～70%,极大减少信息传输流量。

(2)WCF信息传输通道

WCF(Windows Communication Foundation)是Microsoft为构建面向服务的应用程序而提供的统一信息传输编程模型[8]。WCF采用最基本的SOAP通信机制保证了信息传输的高效率,在一般网络条件下可达到20-100兆/秒,与其他技术相比传输速度更快。同时具有CIA特性(机密性、完整性、可验证性),极大地强化了安全控制。

WCF以契约(Contract)来定义双方通信的协议,契约必须以接口的方式来体现,本文采用C#面向对象语言实现。契约通过绑定机制(Binding)连接到具体通信地址(Address),可以采用编程方式和配置方式,本系统采用配置方式实现,以提供更好灵活性。

由于WCF集合了几乎由.NET Framework所提供的通信方法,因此驾驭曲线非常陡峭。为获得安全快速的传输效果,本系统最终决定采用技术先进但开发难度很大的WCF技术。

3.3 ArcSDE版本管理技术

ArSDE版本管理技术使得一个GeoDatabase能够有很多Version,用户可以创建一个临时GeoDatabase版本进行编辑操作。本系统为确保应用数据更新安全,更新时先利用ArcSDE版本管理建立“缓冲版本”进行更新操作,不直接修改数据库;待更新过程成功后再提交给最终版本[9]。

(1)建立缓冲版本(长事务);

(2)根据更新信息,采用匹配算法提取变化信息;

(3)编辑修改缓冲版本中的要素;

(4)版本提交(更新数据库)。

3.4 同步控制技术

(1)时间同步器

受到不明原因的干扰致使计算机时间错乱的现象常有发生。因此,为避免计算机自带时钟稳定性问题可能导致的更新信息和操作顺序的紊乱,在各服务器端部署基于“外部时间源”的时间同步器接管服务器时钟控制器:“外部时间源”采用不受软件干扰的原子钟。主要作用是:为服务器提供高精度、高稳定性的时间计数,提供时间参数配置、时间校准等。

(2)调度控制器

调度控制器设计为连续运行的Windows Service程序,部署在生产服务器(调度提取子系统)或应用服务器(控制更新子系统),如图3所示:其工作过程如下:

图3 调度控制器工作原理示意图

①定期激活更新任务(提取上传或下载更新);

②将“更新任务”按先后顺序放入“任务队列”排队等候执行;

③执行应用程序;

④监控应用程序;

⑤异常处理。

4 结论与展望

本文技术方案采用ArcGIS Engine 10.1+Visual C#开发实现,系统完成后在福州市勘测院1∶500资源空间数据库进行更新试验,试验结果表明:本文提出设计开发的同步技术,针对性强,运算速度快,目前已成为福州市空间资源数据库重要组成部分。

主要结论可归纳如下:

(1)同步技术的使用,极大提高空间信息自动化和智能化水平,省去了许多麻烦的人工操作工作量并保证工作质量。

(2)系统采用空间匹配分类模型,做到不管数据生产方式如何,作业员的作业习惯如何,都可准确判别要素的变化类型,对于维护空间信息数据库变化的真实性(最大限度保障非空间信息不失去关联)提供了技术保障。

(3)研究成果应用于“应用空间数据库”的实时分发,有利于提高“数字城市”空间数据框架现势性,契合当代智慧城市发展的迫切需要,研究成果可为同类型城市空间数据库更新维护、应用分发等借鉴和参考。

[1] 白立舜.空数据库更新模式、技术与方法[J].城市勘测, 2012(6).

[2] 吴建华,傅仲良.数据更新中要素变化检测与匹配方法[J].计算机应用,2008(6).

[3] 肖建平,程琦.基于ArcGIS的数据库分发机制的数据库同步及更新[J].2011.

[4] 王涛,刘文印,孙家广等.傅立叶描述子识别物体的形状[J].计算机研究与发展,2002,13(12):1715～1718.

[5] 赵宇,陈雁秋.曲线描述的一种方法:夹角链码[J].软件学报,2004(2).

[6] Kieler B,Sester M,Wang H,etal.Semantic Data Integration: Data ofSimilarandDifferentScales.Photogrammetrie Femerkundung Geoinformation[J].2007(6):447～457.

[7] 陈杰.矢量地图信息定量度量方法研究[D].中南大学, 2009.

[8] 严商.基于WCF的分布式程序的研究与实现[D].武汉理工大学,2008.

[9] 李进强.基于时态的城市空间数据库多用户并发更新系统的研究与实现[J].福建建筑,2008(3).

Research on Synchronization Technology of Urban Spatial Resource Database

Lan Zhiwu
(Fuzhou Investigation and Surveying Institute,Fuzhou 350003,China)

Urban spatial resource database real-time synchronization problems,is the current development and application of urban spatial information resource problems,it has important theoretical and practical significance to improve the currency of geospatial information and application level.This paper analyzes the spatial information resources deeply synchronization technology needs and the deficiency of existing technology.puts forward a synchronization scheme based on spatial matching classification update mode,focusing on the“spatial feature fast matching technology”,“fast information transmission technology based on WCF”,“ArcSDE version management”,“atomic clock timing synchronous control technology”and soon on key technology development and application.Technical proposal on“ArcEngine10.1+2010 VS.NET”platform implementation,by the production test of Fuzhou Survey&Mapping Institute has proved it’feasibility& Practicability.Research results can provide reference for the same type urban to spatial database update maintenance.

spatial Information synchronous;feature matching;information transmission

1672-8262(2014)06-40-05

P208.1

A

2014—06—22

兰志武(1967—),男,高级工程师,主要从事测绘生产与技术管理工作。