APP下载

电力建设时空大数据融合可视化智能地图

2021-03-07季彤天陈树藩唐易民黄敏洧

电脑知识与技术 2021年36期
关键词:数据库信息建设

季彤天 陈树藩 唐易民 黄敏洧

摘要:电力建设的过程中包含大量的实时和历史数据,采集、融合大量异构数据,基于地图进行可视化,构建电力建设项目相关的可视化地理大数据系统,实现对海量的电力建设大数据甄别、提取、分析,完成决策。同时,利用历史项目数据,完成在建项目分析与预测,帮助管理人员及时发现问题做出预判。在电力建设工程中使用大数据顺应时代发展潮流,进行可视化符合人们习惯,有效解决电力建设中存在的各类问题。

关键词:电力建设;数据融合;可视化;地图

中图分类号:TP311.1      文獻标识码:A

文章编号:1009-3044(2021)36-0014-06

开放科学(资源服务)标识码(OSID):

当前,城市高速发展的经济建设,民生的感受日趋受到重视,对电力建设工程项目开展的时间、空间上提出了严格的要求,建设投资的管理部门的管理方式逐步从粗放向精细转变,对建设项目从精准投资、项目推进、施工窗口、风险把控等方面都提出了更高的要求。

在目前的实际电力建设工作中,伴随着管理工作的进一步细化,随之而来的是大量信息数据的产生,管理人员每天面对海量的信息要从中做出甄别、提取、分析、决策,其工作强度极高并承担着遗漏缺失的决策风险。构建电力建设时空大数据智能地图,对电力建设过程中产生的大数据进行提炼,建立信息彼此间关联进而获得知识库,并对其高度概括的数据进行存储及可视化,既能在宏观上纵览全局,又能追踪某个电力建设项目的具体情况,帮助项目管理者选择正确的策略并做出决策,促进建设项目管理水平的提高。

1 系统简述

电力工程建设是个复杂的过程,从前期到施工再到最后竣工规划验收存在多个环节,需要遵守多个规范。从前期路线规划、拆迁赔偿、建设对周边影响评估;建设过程工期安排、监督评价;再到竣工期资料收集、规划验收。电力工程建设中无时无刻不在产生大量的数据,利用这些数据。因此电力建设时空大数据地图将多源多结构的数据更多地与地理信息一起融入地图,以研究电力建设中的数据应用。

电力建设大数据智能地图是一种全新的数据承载和表达形式,通过对多源异构数据进行收集整理,将电力规划、业务、建设、政策以及社会影响等数据与地理信息数据融合,为多源数据增加地理属性,以表达数据信息的物理分布、联系以及时间上的发展变化特征,提供面向不同电力建设需求的数据研究与应用。

通过对最为先进的地图应用的研究,可以发现智能地图的技术发展趋势主要表现为:

1)地理数据多维化,通过多个维度(空间三维化、室内细节化、时间序列化)的空间数据的支撑,让地理信息的表达更多样、更翔实;

2)用户对象个性化,智能地图通过对数据的筛选过滤,贴合用户使用习惯及需求,推送个性化的应用信息,提升用户体验,让决策变得更高效;

3)用户专业数据与地理数据的关联:利用数据挖掘的知识提取技术,找到内在的关联,帮助用户找到最佳策略;

4)利用机器学习、深度学习等人工智能的方法处理海量的多源数据,并在智能地图中图形化地表达出来。

综合电力工程建设特点和智能地图技术的发展趋势,设计大数据智能化地图的明确需求,以长三角地区为例:

1)辅助长三角地区整体的电力建设统筹规划,融合记录全区域包括已建成的、设计阶段的以及在建阶段的电力工程情况,展示电力建设布局及发展情况,信息共享,为长三角地区电网发展设计提供全局参照;

2)保留历史数据,建立历史案例数据库,通过机器学习的方式优化决策者可获得的推荐信息;

3)针对在设计阶段以及在建阶段的电力工程,智能化地图承载的数据应覆盖工程建设全程,在各阶段提供相应的数据服务,以下逐阶段进行阐述;

4)在电力工程的前期设计阶段,大数据智能化地图通过地理信息检索工程相关地区政策法规数据、根据工程基础数据匹配相似历史工程案例、收集近期相关社会新闻,以提供数据保证工程设计的合规性与可行性,预测工程涉及拆迁赔偿费用,从而优化设计决策;

5)在电力工程的施工前期,大数据智能化地图通过与工程属性与历史案例学习、周边工程的联系、气候数据、社会性事件的收集等要素,为施工工期预估与安排提供参考数据,将规避雨期、既定社会事件或周边工程影响可能会造成的停工等要素展现出来,为施工做好准备;

6)在电力工程的施工过程中,大数据智能化地图收集相似历史案例、实时天气、社会性新闻、施工人员上传信息等提供施工记录与提醒,如施工日志的记录与极端天气、突发事件等的预警。另一方面支持使用者利用地图分享建设信息,展示输入信息,形成电子白板;

7)在电力工程的竣工规划验收阶段,大数据智能化地图通过对历史案例、当前工程特性、竣工验收条例等信息的综合分析,提供针对工程的竣工验收办理步骤参考,提高竣工规划验收申请效率。

以上即为电力建设时空大数据地图在应用中的明确需求,除了以明确功能辅助电力建设生产外,智能化地图在实际应用中不断研究数据与建设之间的关系,以拓展更多的数据标签,进一步探索电力建设中大数据的融合和应用方法。

2 数据融合框架

2.1 电力建设大数据来源

我国国土面积大,同时人口密度也很大,因此在电力运输线路与相关的电力设备建设情况相对复杂。整理电力建设需求,对电力建设要素信息进行如下列举:

以上数据可以分为三类:

1)勘测数据,此类数据是通过实地勘测、无人机航拍、遥感图像、前期设计等手段获得的带有明显地理特征的工程基础地理信息数据。获得的数据格式有:dwg(CAD文件)、tiff(影像数据)、xlsx(坐标点位)、docx(说明文档)等。

2)专业数据,此类数据是带有电力领域专业性质,如管线、变电站、架空线路等电力建设专业要素的属性和标准,可从电力专业部门处获得结构标准、分类明确的电力工程专业数据。专业数据提供了电力工程建设最基本的专业要素和规则参考。而专业实体则常与勘测数据绑定,形成完整的电力建设工程设计图纸,提高地图主体功能的检索效率。借助SuperMap提供的SDK来为地理信息添加检索频率较高的专业属性,构建数据集,完成工程建设数据的基础融合。以图2的点数据集为例,每一条记录中以Sm开头的七个字段记录了工程中某一点的地理信息,其余字段则为与该点相关的工程专业数据,如该点塔基编号、属性等。

3)建设数据,这类包括法律法规、社会热点信息、气温天气、工程BIM数据、工程签章、周边类似历史工程数据等多种多样,没有统一的结构和获取途径,且具有一定时效性的工程决策分析支撑数据。与勘测数据和专业数据拥有一套完整成熟的获取和录入方法不同,建设数据涉及面广,输入方式多,应利用数据挖掘和语义识别技术,从繁杂的数据和接口中抽取有效信息,成为数据获取的一种手段。

由于建设工程的不断积累与建设数据的实时性要求,这三类数据形成了一系列连续、具有时空属性的电力建设大数据。最终需要将各渠道获取的数据进行有效融合,针对电力工程建设构造决策分析模型,将所有影响规划的因素集中体现在电力建设智能地图中。

2.2 多模态大数据抽取

大数据的重要技术优势之一就是多样性,这就意味着数据来源极其广泛,数据类型极为繁杂。这种复杂的数据环境给大数据的处理带来很大的挑战。由上一节可知,对电力建设数据需要进行抽取与集成。在本节阐述针对建设类数据所采取的多模态大数据要素抽取方法。

由于建设类数据来源众多,将数据进行分类,对数据进行逐类分析,建立各自专属关键字、处理方式、目标网站等对数据进行爬取。

想要采集数据,首先需要明确采集目标。以电力建设法律法规数据为例,该类需求需要采集与电力建设有关的法律法规。那么哪些法律法规会涉及这方面?该怎么获取要采集的关键字?是切入的要点。

首先通过电力建设法规指南人工录入一个数据库,将获取的法规数据放入list做词频统计,其统计原理是将获取的数据转化为字符串,再对其做拆分处理,拆分之后做词频的统计,存入字典当中,分别是拆分后的词和其出现的频率,再对其按照频率从大到小排序,筛选出需要的采集关键词。

选定合适的目标网站后对页面进行分析,优化爬取页面机制,对数据进行采集,基本的采集原理流程图如图4。

在进行完数据清洗后,为数据处理与入库做好准备。

2.3 关系型与非关系型耦合数据库

关系型数据库与非关系型数据库是目前应用最为广泛的数据库。关系型数据库是指采用了关系模型来组织数据的数据库,其优点在于容易理解、易于维护、通用的SQL语言使得操作关系型数据库非常方便,适用于规格统一的数据。但关系型数据库强调对磁盘上数据的查询和检索,在网站使用中,读写请求的高并发性和海量数据的查询访问导致关系型数据库效率出现瓶颈。非关系型数据库则可应对海量的结构不确定的数据,如杂志论文、法律法规、社会新闻、多媒体信息等非规范性的互联网信息。但非关系型数据库数据结构相对复杂,对于数据的查询和计算支持不够。

总结以上两种数据库的特点可知,勘测数据、专业数据以及一部分较为规范的建设数据由于其统一的數据结构与复杂的计算需求,适合用关系型数据库进行管理。而建设类数据来源众多,分类复杂,长度不一的文字信息、多媒体信息都包括在内,在需求方面有着频繁的读写需求但无与地理信息相同的计算要求,因此适合用无须经过SQL层解析,读写性能高的非关系型数据库进行管理。

电力建设时空大数据地图设计了一种关系型与非关系型耦合的数据库。由于大数据地图带有强烈的地理信息属性,需要一款GIS数据库作为大数据智能化地图的数据基础,PostgreSQL是开源空间数据库,构建在其上的空间对象扩展模块PostGIS使其成为一个真正的大型空间数据库[1]。SuperMap 中的SDX+ for PostGIS 引擎,可以直接访问 PostgreSQL 空间数据库,充分利用空间信息服务数据库的能力,如空间对象、空间索引、空间操作函数和空间操作符等[2],实现高效的管理和访问空间数据,因此选择被SuperMap支持的PostgreSQL关系型数据为系统基础。同时整合主流的MongoDB和Redis非关系型数据库,利用MongoDB和Redis对半结构化数据。非结构化数据的表示和检索能力,组成电力建设时空大数据地图的数据库支撑结构。速度上与传统数据库相比有大幅提升,更能适应大地图读写访问与计算要求,同时又保证了数据的一致性,供使用者做决策参考的信息量也得以增加。

在电力建设时空大数据地图中,通过上述数据库结构,为各类数据增加地理属性,当应用于某项工程中时,以地理信息为线索检索特定区域范围内的数据信息,通过对检索信息的挖掘分析得到目标效果。传统的关系型数据库系统,当遭遇大量的查询操作时,会因繁复的IO操作而花费大量时间,本系统中将最常访问,且无复杂计算需求的建设数据和实时数据(热数据),如气候、安全热点、城市事件、办事流程等,通过非关系型数据库存放,在后台查询时便可有效避免直接从关系型数据库进行查询,当热数据发生改变时,则进行重新加载。另一方面利用MongoDB的文档处理优势,保证法律法规、VR图像、实地视频等文档类数据的存储和查看。勘测数据和建设数据的读写则通过直接操作关系型数据库进行,由于其IO频率不高,在首次加载工程时将该类数据读出存放在缓存中,以供基础信息标定。

3 可视化框架

3.1 时空大数据地图

可视化地图是一种图形化的数据资产管理工具,汇聚多种来源的有关电力建设的数据信息,通过深度认知、元数据管理、数据语义关联、数据集成等手段[3],动态紧密地融合各类型数据,建立数据之间的关联,实现在语义一致、时空一致环境下的电力建设业务对象信息的一体化和表达,提供语义网络内的业务数据信息组织、查询、浏览服务,提供关于电力建设对象的全方位、多角度的智能信息传递服务,并根据电力建设业务相关信息的特征立体化、智能化地表达以及数据信息的物理分布与相互联系,动态表达该电力对象过去、现在的总结以及将来发展的可能方向。

地图即将获得的各类数据以电力建筑或建设项目为中心表现在电子地图上,展现数据的空间位置关系和时空变迁的规律和趋势。通过图形、图像、多元素关联图表等可视化方法来展示数据的分析结果,既能够一目了然地展示结果,又能展示数据中间复杂的信息[4],是一种有效简洁的大数据展示方式。这种可视化的展示方法不仅仅是能够利用图样简单易懂地显示复杂的关系,还能够对数据做出详细的细节展示。通过交互的方式,直观地揭示出各类型数据之间的关联和特点,充分挖掘数据的价值。

地图作为一种最直观的数据关系可视化方案,可以展示从宏观到微观的视图效果,多维度的方式来展示工程数据及其所包含的信息,实现不同尺度间的自由切换。通过将数据与不同的尺度进行关联,可以实现对纷繁复杂的数据进行过滤展示,同一级别的数据与信息在同一尺度上可视,避免数据的堆积而造成认知的阻碍[4]。

对带有时间和空间分布特征的电力建设数据而言,地图可视化的方法能够十分容易地显示其区域分布状态以及时空变迁记录,可以便捷地了解和探查相应电力工程的建设历史、发展规律和分布特征。智能地图通过图示的形式和方法,为使用者建立感官直觉,帮助其得到易控有效的决策依据。 基于地图可视化分析的信息提取模式,使用数据过滤、同化、整合等各种手段,分类、聚合、回归、关联等多种方法,从大量的数据中挖掘出与工程建设相关的信息。

另一方面,智能地图提供常见的电子地图编辑与测量功能。在二维层面,地图提供系统支持的各类信息修改,常见的各类地图测量操作;在三维层面,通过webGL技术与倾斜三维mesh模型数据的融合,实现了矢量、栅格、模型等多种类型数据的无缝叠加。为高速、航道、高压线路跨越三维测量提供了基础数据支撑。项目最终将融合后的数据,通过符号化的形式,表达在了智能地图上。通过控制筛选尺度,以地图上的位置信息表现电力建设工程决策所需各类参考,并提供检索功能,帮助用户解答工程过程中的所遇到的难题,为电力建设决策提供了使用便捷、可靠有效的信息辅助,提高工程建设大数据的管理能力、服务效率,真正体现大数据的应用价值。

3.2 基于语义的数据符号化

根据地图符号的认知语义原理,以地图符号语素为关联纽带,可构建语义、图形相统一的地图符号结构化描述模型[5]。

电力建设项目的内容繁多,为了清晰表达建设项目的地理位置,本文对建设要素进行概括性的表达,主要表示了输配电项目中的站址位置及输电线路等主要内容,按照点、线面的形式予以展现。

3.3 多层级栅格影像数据表达

航拍影像几乎包含了地表全部的可视内容,项目收集了上海全域2米分辨率的卫星遥感数据,同时在关注的电力建设的局部区域收集了无人机航拍数据,分辨率高达到2厘米,数据总量高达500GB以上,为了实现数据的无缝融合,采用坐标框架法对获取的数据进行了坐标统一化处理,然后采用LOD方式,对其划分了23个层级的瓦片化处理,前18级采用卫星遥感数据,后5级使用航拍数据并进行了图面比例等级的显示控制,可以极大地降低服务器和网络带宽的负担,并提升地图浏览的速度,满足了Web端快速加载的需求。

在瓦片化处理过程中,为了提高切图效率,合理利用计算机系统资源,电力建设时空大数据地图采用多机多任务的切图方式。多任務切图的原理是根据地图的比例尺和地理范围等预先将切图任务拆分成多个子任务,然后将拆分后的任务部署在共享目录中,以实现多个进程、多台机器同时在共享目录中获取子任务,从而实现多任务并行切图[2]。多任务切图方式能充分利用机器的硬件资源,综合利用多个节点并行切图,极大地提升切图的效率。

3.4 基于中文语义的问答检索

针对目前电力建设业务中所涉及的知识面广、知识点分布零散等相关问题,充分运用语义互联网络中的大数据信息关联关系,实现了基于语义的互联网大数据信息智能化检索技术的研究,提高了信息检索的精度、准确性与效率。

用户提交简短问句来进行数据查询和事件咨询,问句通过设计的语义匹配算法转化为查询语言在电力建设业务大数据语义关联网络中进行查询推理,匹配问答库,最后将检索到的答案展示给使用者。

面向上海市电力建设项目这一特定领域收集资料并标注语料数据,建立领域知识库,设计并实现基于BERT模型的中文短文本序列标注算法,探究引入不同的语料标注策略对序列标注结果的影响,设计并实现一个面向上海市工程建设,尤其是电力行业的中文短文本语义识别方案。

1)使用Python和Tensorflow来构建中文短文本的序列标注算法模型。首先使用一些已标注的中文短文本语料数据进行算法的测试。随后使用自行标注的语料数据训练出本方案需要使用的模型。这些语料都将使用BIO方式标记,非实体用O表示;实体的开头使用B,其余部分使用I表示。原数据集按行存储,每行一个中文单字和对应的实体序列标注。

2)标注语料库。从中文献资料中提取信息,使用基于简单数据增强的语料库标注方法对其进行标注,如同义词替换(Synonym Replacement, SR)、随机插入(Random Insertion, RI)、随机交换(Random Swap, RS)、随机删除(Random Deletion, RD),这部分使用脚本自动实现。

3)构建领域知识库。收集所涉及领域的数据,构建知识库,此部分主要由人力构建。这种描述方式与上文的序列标签标注方式契合,即通过工程审批阶段、规定类型和两个实体,可直接在知识数据库中匹配相应分类,得知所得信息可用于解决何种问题。

4)封装上述模型和领域知识库,为系统提供相应服务。

至此电力建设时空大数据地图的可视化使用部分搭建完毕。

4 实现效果

4.1 实现待建和在建项目的空间数据的平台统一

设计了电力建设数据的地图语义环境设计,让建设工程数据统一了表现样式,图面清晰可读;通过对电力建设项目在基础地理框架下的标准化、符号化,叠加项目建设大数据聚合而成的建设信息,让管理人员在统一的平台下共享项目状态,掌握工程进展,展示设计方案,了解建设项目与高速、高铁、轨道交通、航道重要设施的交汇情况、协同建设项目信息。

4.2 提供项目管控的决策依据

通过对建设大数据及其他可能造成影响关联数据的研究、构建影响因子权重算法模型;基于电力建设的生命周期设计,实现有效地复用优化建设工程关联数据的信息,利用网络自动化技术定期动态更新相关消息;通过对电力建设大数据的挖掘梳理,利用获得的知识库,并且融合政策法规、规划控制、环境保护、交通控制等信息,为建设项目提供管理策略,管理人员以提取概括的信息为依据做出项目决策。

智能地图提供常见的电子地图编辑与测量功能。并且在二维层面,地图提供系统支持的各类信息修改,常见的各类地图测量操作。在三维层面,通过webGL技术与倾斜三维mesh模型数据的融合,实现了矢量、栅格、模型等多种类型数据的无缝叠加。为高速、航道、高压线路跨越三维测量提供了基础数据支撑。

5 总结与展望

5.1 项目总结

论文实现了建设项目与其他地表地物、其他建设工程等的相互位置关系,能完成地图前端的实时编辑更新工作,使得工程信息的变化得以快速反映在地图上,同时叠加相关大数据信息,为使用者、工程的决策人员提供参照和意见。

论文还实现了建设工程地图数据的格式统一,使得在工程中各参与方之间的信息沟通得以数字化实现,是一种更加有效的沟通合作方式,减轻了参与者之间的合作难度,降低了工作人员工作门槛,帮助人员提升了办公效率,为电力建设的全过程智能决策下一步工作研究奠定了基础。

5.2 项目展望

研究工作可基于政策法规、规划控制、环境交通、建筑施工规范、设计规范、BIM模型、土地利用、征地赔偿、估算概算等历史或现有的数据进行数据挖掘,提取出建设数据的知识库,结合构建好的地理信息库、项目专项数据库,形成工程项目事务推演、讨论、指挥决策的平台。

参考文献:

[1] 曾侃.基于开源数据库PostgreSQL的地理空间数据管理方法研究[D].杭州:浙江大学,2007.

[2] 北京超图软件股份有限公司.SuperMap iDesktop 10i(2020)联机帮助[EB/OL]. [2021-04-06].http://support.supermap.com.cn/DataWarehouse/WebDocHelp/iDesktop/SuperMap_iDesktop_10i.htm.

[3] 王惠峰,白立飞,张峰,等.多源异构大數据地图设计与实现技术研究[J].电视技术,2019,43(Z1):67-70.

[4] 刘三女牙,周东波,李浩,等.基于地图的教育大数据可视分析方法探讨[J].电化教育研究,2018,39(7):49-56.

[5] 田江鹏,游雄,贾奋励,等.地图符号的认知语义分析与动态生成[J].测绘学报,2017,46(7):928-938.

【通联编辑:谢媛媛】

猜你喜欢

数据库信息建设
自贸区建设再出发
基于IUV的4G承载网的模拟建设
《人大建设》伴我成长
保障房建设更快了
健康信息
健康信息(九则)