申文

1.体系及架构

1.1体系框架

全面的工业数据治理体系包含四个方面：战略、机制、专题和实现。

●战略指企业愿景和规划及决定企业工业数据治理的目标和原则，不同的企业愿景需要不同侧重的数据治理;

●机制包括数据管理的组织和人员、流程和制度：

组织和人员构成了数据治理的各个相关方及其对信息的相关职责;

流程贯穿信息相关的各个项目或举措的生命周期：从规划到实施到维护到监控;

制度是对规范组织结构和职责、技术应用、流程的官方化文件;

●专题：指数据治理各项内容，包括数据标准、数据质量、元数据管理等;

●实现：使用技术实现数据治理规范制度、流程、各项治理内容的方法和手段;

数据管理的体系框架如下图所示：

1.2总体系统架构

风电场数据治理系统实现了对各个业务系统包括大数据平台中的元数据进行管理，制定数据质量标准和规则，根据数据质量标准对数据质量进行剖析，将最终剖析的结果通过评分卡的模式进行分析、打分，实现对整个风电场数据质量的管理。

为了满足这些需求，风电数据治理系统需要实现对源数据层、数据导入层（ETL）过程、大数据存储服务层、以及中间服务层中的数据进行管理。从数据治理的角度分析各个系统、软件及对应存储都属于数据治理的源数据，通过适合不同数据库或软件的桥接器连接各个源数据，将采集的数据先存储在缓存区，再通过系统的内部的数据处理逻辑分别按照业务元数据或技术元数据进行管理。

数据治理平台的对外访问以及报表分析都通过风电的统一认证体系进行管理，数据治理系统的用户权限需要与风电系统单点登录服务器进行集成。

整个数据治理系统与外部系统的关系如下图所示：

总体架构图主要显示了风电场数据治理相关系统（数据标准管理系统、元数据管理系统、数据质量管理系统）在风电场现有技术架构中的位置及与各外围源系统的关系，从图中可以看出数据治理平台与风电场生产环境的业务系统、大数据平台、分析系统、BI工具和用户都有数据交互。数据标准管理系统作为数据标准的维护系统，主要实现了对数据标准的管理流程，通过数据质量管理系统和数据外围系统进行交互;元数据管理系统与外围源系统的交互通过接口层实现数据交互;数据质量管理系统可以直接在需要监控的系统数据库上直接运行监控语句，将运行结果返回，也可以将监控数据采集到缓存区域进行监控，并记录监控结果;数据质量管理系统与外围系统的交互通过内置的ETL工具或直连方式实现。下图为数据治理系统逻辑架构展示：

交付层：信息交付层实现了数据治理成果对外发布的功能，主要满足业务人员对元数据信息、数据标准和数据质量查询需求。信息交付通过两部分实现，对于数据标准查询、元数据查询、血缘分析、数据质量全景图等数据质量信息和监控结果类的数据可以直接通过产品进行查询和分析;而数据质量评估成果信息通过报表平台进行查询访问。

接口层：在接口层产品提供了对外接口，满足了元数据管理系统二次开发的需求。

系统管理层：系统管理层主要由产品中的元数据管理软件、数据质量管理软件、数据标准管理软件为用户提供基本功能完善的元数据存储管理平台，并支持基于平台的应用服务定制。丰富的调用接口和强大的二次开发指南，保障产品良好的适用性。系统整体在功能上，划分为存储层、基本功能层。在存储层主要实现了存放咨询成果的产物，例如元数据分类框架、元模型、数据质量标准、数据质量规则等信息，在基本功能层实现对元数据的分类、元模型的创建、元数据的采集、数据质量监控、数据质量评估等功能。

数据获取层：在数据治理系统中需要采集元数据、需要监控的数据和需要评估的数据，这些数据的采集工作的执行周期按照风电场的数据管理需求确定，实现时可根据需要进行配置，采集作业的调度由数据治理系统进行调度。对数据的监控规则可直接运行在源系统的数据库中，不需要将数据抽取存放在数据治理平台的数据库中，减少流程环节;对于需要统计分析的数据，可直接从大数据平台抽取进行分析，具体方法在数据质量评估功能数据流章节中详细描述。

源数据层：主要描述数据治理体系的数据源信息，包括数据标准的业务元数据;数据库;ETL系统技术元数据信息;大数据平台相关技术元数据信息;模型设计文件元数据和其他标准元数据文件成果。

1.3物理系统架构

风电场数据治理系统一共由三台服务器组成，分别是两台应用服务器和一台数据库服务器组成，数据库服务器中的服务及数据存储都在外挂存储上，应用安装在两台服务器上，由F5服务实现负载均衡。整个架构如下图所示：

2.数据标准管理平台

2.1系统功能框架

数据标准管理系统前台主要提供数据标准查询浏览、业务需求应用、系统设计应用、系统设计评审、数据标准新增及与变更的申请和审批流程支持。

数据标准管理系统后台主要负责相关数据标准的存储、历史版本管理以及与其他数据治理系統和业务需求系统彼此对接互相提供支持等功能。数据标准系统以主题域，业务对象大类，业务对象子类，业务对象，信息项的逻辑结构对风电场数据标准进行存储与展示。

系统采用业务前台和业务后台逻辑分离的方式，用户通过浏览器操作业务前台并得到所需的结果信息。业务前台模块调用业务后台模块为用户提供数据服务。业务后台与其他系统进行数据交换。

数据标准管理系统用户端使用浏览器并通过统一登录平台统一安全认证后操作业务前台的业务功能。用户端可以在办公网络环境下使用，也可以通过安全控制在互联网环境下使用，比如互联网环境下不允许标准下载操作。

数据标准管理系统业务后台与元数据管理系统、数据质量系统、风电大数据平台可以进行数据交换。

3.数据质量管理平台

数据质量管理系统通过对KPI指标信息进行采集，对监控规则进行设置，对异常信息进行告警，出具数据质量报告等功能，可以满足风电集控平台对指标进行监控的需求。

对于数据质量管理来说，对规则的灵活设置，对任务的及时反馈，对结果的剖析，以及和第三方工具紧密集合是一个产品成败的关键。对于数据质量流程，一般框架如下：

●存储管理

数据质量管理系统定义了支撑数据质量监控功能并符合风电场平台标准的元模型结构，包括监控对象、采集项、采集规则以及监控规则等。其中所涉及的元数据信息如监控对象信息，需要从元数据管理系统获取。质量管理人员也可以创建新的元数据，来满足质量监控的需要。相关的质量信息存储在数据质量数据库中。

●采集管理

数据质量采集模块由采集服务器和采集代理组成，采集代理支持分布式部署，采集服务器对采集代理进行集中管理，支持的功能如下所示：

代理启动时向服务器注册请求，注册信息包含代理的IP地址、通讯端口、进程ID，启动时间;

代理每个一段时间要向服务器发送心跳检测信号，心跳间隔时间可配置;

代理在允许结束时向服务器发送注销请求;

代理可以支持服务器对代理运行状态的查询;

代理在与服务器中断连接后可以保留已运行完毕检查报告和未运行完的任务状态;

代理负责采集数据，将采集的格式化成质量平台的数据格式，关联相应的监控对象;

服务器集中保管所有的采集配置数据，代理自动从服务器获取相关的采集信息。

●规则监控管理

数据质量管理系统的规则包括数据采集规则、监控规则以及告警规则等，因采集规则和告警规则相对较简单。

为了实现监控规则的灵活调度及与业务分析过程相结合，规则调度部分支持时间触发调度和规则依赖调度两种方式，具体说明如下。

时间触发方式，即按照定时触发、循环触发及间隔触发的方式对规则进行调度。

规则依赖调度，即某规则是否执行调度需要判断它的前置条件是否满足，或某规则执行之后，根据其执行的结果，来决定另一个节点是否执行。此调度方式可支持数据质量问题的逐步探查式分析。

●告警管理

数据质量采集和检查过程中发现数据质量问题时，系统会提示某些数据或者规则超过了指定阀值，系统就对这些数据做告警处理。告警流程，可以通过数据接口的方式，嵌入到数据质量管理流程中，便于后续做进一步的处理。

在告警时，客户需分析查明告警原因，需要具体的明细数据，系统提供界面查询的接口，也提供后端文件的接口，便于后续的检查，也可以用于外部前端接口更深入的分析，或者检查历史趋势。

●质量报告

数据管理系统提供数据质量日常管理各种报告，包括数据质量问题相关的各种明细及汇总报告。质量报告模块集成了内置的图形引擎，支持多种图形的动态展示，如柱状图、饼图、折线图等，可输出数据表格与图形动态联动的各种数据质量式样，也可通过提供外部数据接口的方式，输出复杂的质量报告。

4.元数据管理平台

元数据接口采用高内聚、低耦合的组件式产品架构，丰富功能组件，为客户搭建功能强大的元数据管理平台。向用户全面开放元数据功能调用接口，并提供整套实施方法论。使用户在完成元数据管理、维护等基础功能的同时，方便实现二次开发，满足风电集控云平台应用的针对性需求。

●元数据存储库

基于关系数据库的元数据存储库，用于实现元数据的物理存储。

●基础应用分析

元数据的基本维护管理功能

●高级应用分析

通过元数据接口，调用元数据及相应功能，针对风电集控云平台需求开发的应用。

4.1功能特性

产品理念，是为用户提供基本功能完善的元数据存储管理平台，并支持基于平台的应用服务定制。

●元数据存储层

包含元数据存储库，负责承载不同领域的元模型以及相关的元数据。

●元数据基本功能层

实现系统对元数据的基本功能，针对元数据自身的维护和管理。包括元数据的维护管理、元模型维护管理，影响分析、差异分析等图形展现功能，元数据版本管理、权限管理、日志管理、质量管理等。

4.2元数据管理系统范围

涵盖系统数据处理流程各个环节，各个环节中数据源所能提供的数据类型、结构都需要相对应的元数据获取方法。元数据管理系统提供统一的数据源管理平台，平台中集成了针对不同数据类型的元数据获取功能插件，可以将包括源系统信息、ETL过程、数据库结构、数据模型、业务应用、前端展示和门户管理等数据源进行统一管理，实现元数据的自动获取。

4.3数据模型

元数据管理系统具有独立的元模型管理，实现元模型的建立、关系的维护等功能。元模型架构支持用户按需完全定制，从而保障用户随着时间推移对更多种类元数据的管理需要，以及完善现有元数据定义的需要，能满足公司中长期发展的需求，提高数据管控效率。

4.4产品特性

●易操作性

系统的操作功能应具备界面友好、操作简易的特征，体现在系统提供从元模型设计、元数据的变更管理、元数据的自动获取，提供全套图形化界面支持。对分析功能，例如元数据血统分析、影响分析、指标差异分析、一致性分析等分析功能，提供图形分析界面，帮助客户直观理解元数据。

●实用性

系统应以参数驱动配置而非撰写程序的方式工作，以使系统能够灵活修改以适应风电自身内部需求变更的需要。元模型结构决定元数据的存储，系统提供图形化的元模型定义界面，用户可以定义风电需求的元数据存储模型，以去驱动风电的元数据需求建设。另外，提供用户、安全、等基础参数，驱动整个平台。

●扩展性

通过定义过滤规则，可以对要抽取的对象进行过滤或转换。通过规则的设置到达对数据源抽取、过滤、转换的控制。在任务调度功能中进行设置，可以对抽取任务的运行时间、周期等执行情况进行控制。MIB提供元模型额辅助校验功能，可对作业过程和入库后的元模型进行校验，并向用户提供校验结果。系统应能提供业务脚本编写功能，减少相关业务需求实现对技术开发的依赖性，提高业务响应效率。

●可定制

根据风电集控云元数据管理模板、风险管理相关元数据模板，在元数据管理系统定制元数据模型，包括各类数据对象自身的元数据模型以及各数据对象与CWM元模型之间的各类关系。

需要定制元模型的数據对象包括：业务术语、业务指标、数据元素、基础编码。以上四类数据对象属于业务元数据，元数据管理系统提供基础模型，将根据风电集控云平台实际需要进行调整。

5.系统外部连接设计

5.1输入接口

数据质量监控系统与外部系统的数据交互方式有两种，一种是通过SQL查询数据库方式从数据库表中把需要的数据采集上来，进行规则校验;另一种是通过检查代理的方式进行数据的采集。

所谓的数据质量检查代理（Agent）由多个模块组成，可完成数据质量监控流程中的数据采集、检查、报告等功能，是获取运行状态信息数据数的主要方式。

检查代理分散在数据仓库系统的各个环节上，定时或者实时将运行状态数据通过基于RMI远程调用方式传给数据质量处理服务器。

5.2 输出接口

数据质量监控系统对第三方提供了全面开放式的接口调用。中包括告警查询、规则管理、任务管理等主要业务功能的丰富的第三方接口调用。