杨允志 陈佳 胡志亮 万祥虎

摘要：以实现电力数据的全景可视化为目标，以数据基础信息采集与资源目录构建为主线，从业务资源目录、数据资源目录、技术资源目录、管理资源目录等4个方面开展，并按照业务流程、系统功能、数据库和表之间的映射关系，构建企业级全景视图，帮助用户全面掌握公司数据资源及其映射关系。

关键词：业数关系;资源目录;映射关系

1、资源目录构建方法

按照数据资产管理中各个要素和属性，全面拆分全景视图构成要素，从业务资源目录、数据资源目录、技术资源目录、管理资源目录等4个方面设计目录体系。

1.1业务资源目录

业务资源目录是从业务角度对信息资源进行描述，主要包括业务系统、功能模块、页面菜单、业务宽表、业务标题等资源类型，通过遍历业务系统前端页面功能布局、理清各业务资源要素间层级关系，面向业务人员构建业务资源目录。

1.2数据资源目录

数据资源目录是从数据角度对信息资源进行描述，主要包括数据库、表空间、数据表、数据字段、主外键等资源类型，可通过元数据抽取方式自动获取数据资源要素及相互间层级关系，面向开发人员构建数据资源目录。

1.3技术资源目录

技术资源目录是从数据链路角度对信息资源的分布流转情况进行描述，主要包括数据接口、数据表映射关系、数据字段映射关系等资源类型，通过梳理各系统间、各系统与数据中台间数据集成关系，建立数据产生、存储、流转、使用关系清单目录。

1.4管理资源目录

管理资源目录是从数据管理角度对信息资源进行描述，主要包括共享清单、负面清单、数据责任清单、开放清单等资源类型的在线共享流程管理，通过管理资源与组织、人员等资源目录匹配，进一步丰富和完善信息资源管理属性。

2、基础数据准备

基础数据是全景视图构建的前提，依据数据来源不同，可采用集成已有数据、使用网络爬虫及其他专用工具、人工梳理及验证等不同途径获取数据。

2.1通过数据接口获取

目前电力公司信息化程度较高，部分基础数据在公司各个管理系统中已有存储，例如业务系统、数据库表等，可采用数据集成方式直接获取并保持同步。

2.2应用爬虫工具获取

业务系统页面菜单、业务宽表、业务标题等基础数据可通过爬虫工具定期采集，并结合人工抽查验证等方式不断完善数据采集方案。

2.3使用解析工具采集

业务资源目录与数据资源目录间映射关系信息采集工作量大，但同时也存在一定规律性，结合系统页面解析、SQL语句、页面计算、模型計算等多种技术实现两者映射关系的自动构建。如在业务系统前端，通过页面解析和一系列AI算法将页面文本解析为结构化的、机器可读的信息，自动建立本领域内的信息（两个实体都在业务领域内）联系，跨领域与底层数据无法建立联系的，预留标记，让人工参与。在业务系统后端，通过数据字典、厂家提供的技术文档等提取出实体、属性以及本领域内实体之间的关系，跨领域的之间的关系预留标记。

3、业务和数据的映射构建

将业务和数据抽象为不同的领域（包含一系列相关的语义实体和意图的场景），在上层领域为业务包含业务系统名称、菜单名称，页面功能、数据宽表等业务实体，而底层的数据领域为数据库、表，主外键，SQL视图、接口等数据实体、无论业务实体还是数据实体、统一抽象为（语义实体，通过技术手段转换为（实体）-[关系]-（实体），（实体）-[关系]-（值）等一系列条目（或者称作知识），把大量的这种条目汇聚起来提供双向检索、逻辑推理，打通业务人员不懂数据库，开发人员不懂业务的双向壁垒。

4、结束语

打造数据全景视图的关键是建立四类信息资源目录，构建各目录要素间映射关系。本文通过系统页面解析、SQL语句、页面计算、模型计算等多种技术实现前端系统与后端数据库、前端业务表单与后端数据库表、前端表单标题与后端数据表字段间映射，在一定程度上能实现公司级数据全景视图的快速构建，实现数据资产管理的可视化管理。