惠州供电局信息系统数据质量研究与应用

2011-10-08李广

中国新技术新产品 2011年24期

李广

（惠州供电局，广东惠州 516000）

1 研究背景

惠州供电局（以下简称：惠州局）通过长期信息化建设，构建了完善的业务应用系统，高效地支持安全、生产、经营等工作。

2010年，根据广东电网公司推进信息系统深化应用要求，结合惠州局业务应用系统应用现状，为解决现在存在的数据质量问题，有必要建立一套规范合理的评估和解决方案体系，对业务应用系统各项指标进行合理的分析；根据分析结果，制定相应的管理办法，采取相应的技术措施，采用对比评估、量化考虑等手段来提高应用系统的实用化程度，更好的发挥应用系统的作用，加快核心信息系统信息化建设进程和深化应用，提高各部门协作关系，最终使惠州供电局的业务应用系统实用化迈上一个新的台阶。

2 数据质量管理体系建设思路

根据惠州局信息系统的实际应用情况及数据质量状况，在数据质量管理体系建设方面，以下思路进行建设：数据分析、数据任责体系、组织架构、数据治理和系统建设等方面进行，首先进行数据质量状况的分析，了解数据质量的当前状况，以及相应的任责体系，再根据组织架构确定错误数据来源与相应组织机构，设计相应的数据质量管理体系（制度），最终建设完成一个数据质量管理及分析系统，为提升惠州局的整体数据质量服务。

整个数据质量管理体系的建设思路如下图所示：

2.1 数据分析。数据分析主要从错误数据本身出发，针对错误数据进行分析，分析的结果包括：错误类型、错误数据来源、错误的现象和错误的影响等。

错误类型是分析错误数据产生的原因或类型。根据实际工作情况，错误数据产生有几种类型：人员操作错误、信息系统内部处理错误、信息系统间数据交互错误。人员操作错误主要是通过信息系统操作界面产生的，信息系统内部处理错误属系统内部的潜在缺陷，而信息系统间数据交互错误是与不同信息系统的运行环境相关，特别是网络环境、数据服务器（含数据库服务器和数据交互服务器等）环境等。在上述三种错误类型中，前两种可以通过加强信息系统自身能力或要求进行改善，如增加界面上的必填字段、设定特定字段的数据格式要求等，这些方法可以在一定程度上改善数据质量情况。

2.2 数据任责体系。数据任责体系将主要采用U-C矩阵进行分析。U-C矩阵是数据任责体系分析的重要工具之一，它将建立不同信息系统间相同数据（基础数据或通用数据）的使用（Use，U）和创建（Create，C）矩阵来定位业务数据来源，以期在出现错误数据时能够找到来源。

数据任责体系主要用于存在大量信息系统，且信息系统间存在大量交互的情况。在一般情况下，创建了数据中心并在数据中心基础上存在大量应用的单位在提高数据质量时可考虑使用U-C矩阵进行分析，以迅速定位数据来源、提高整体的数据质量水平。

2.3 组织架构。组织架构是所有信息系统运行的重要基础信息，每个信息系统都建立有相应的组织架构。如果需要明确在组织机构层面的错误数据来源，就必须建立统一的组织机构。但由于各信息系统建设的时间不同、各种基础应用环境不同，故各信息系统内的组织架构的结构与数据存在一定的差异，如对于一些早期开发建设的信息系统，在建设时还没有具备通用的组织架构信息，故可能采用自行建立相应架构的机制进行开发建设；而在具备通用的组织架构信息后投入建设的信息系统则可能直接采用统一的组织信息为系统内的组织信息。2.4数据治理。数据治理是在出现错误数据后，对已有的错误数据进行治理（修改、重同步等）。数据治理在方法上，主要包括体系治理和系统治理等两方面。

从体系上看，数据治理工作主要包括建立相应的管理制度和系统数据规范，并对相关业务部门的工作人员进行培训，以提高人员在系统使用过程中的技能或水平，从根源上解决系统操作过程中产生错误数据的原因。

从系统上看，数据治理工作将主要根据前面的数据分析结果，在信息系统本身和信息系统运行环境上，以技术的方式进行治理。技术方式主要采用改善系统功能及操作规范性，以及改善信息系统运行环境（如网络环境、服务器环境等）。

3 数据质量管理平台功能简介

在数据任责体系下，建立数据质量管理平台，对信息系统数据进行分析与评价，它结合管理制度和组织机构信息，完成对信息系统数据质量的评价、分析、错误处理等一系列工作。

整个数据质量管理平台的操作流程及功能如下图所示：

3.1 评价对象管理。评价对象管理用于管理本系统进行数据质量评价的所有对象，包括信息系统、数据对象和数据字段等信息。

信息系统管理用于建立本系统进行数据质量评价的所有信息系统，实现对这些信息系统基本信息的管理，为后续对信息系统的数据抽取提供基础信息。

数据对象是建立于信息系统基础之上、位于信息系统与数据字段之间的一种分类信息，用于设定数据类型和范围，以便于用户进行理解与归类。

数据字段是评价对象中最小的评价内容，也是评价工作中最重要的信息。它将根据实际要求定义不同的评价规则，包括完备性、合规性和一致性，以及其他可以定义的不同维度的规则，并实现相应的数据质量评价规则。

3.2 评价规则管理。评价规则管理用于管理所有评价维度和评价规则，每个评价维度下可以针对不同的信息系统定义不同的评价规则，以满足不同信息系统的特殊化要求。

评价维度管理用于建立数据质量评价所使用到的所有维度，并根据实际工作需求定义新的评价维度，以利于系统在未来的拓展。

评价规则管理是建立在评价维度和数据字段基础之上的，用于定义每个数据字段的每个评价维度下的规则信息，这些规则信息将最终应用于对信息系统数据质量的评价工作中。根据数据质量评价规则和对这些规则的分析，评价规则实现了以下业务要求：（完备性）单个字段非空、多个字段一个非空、根据其他字段的内容判定特定字段是否可为空、（合规性）合法值范围限定、合法性、数据长度范围限定、（一致性）单个信息系统内的数据一致性、多个信息系统间的数据一致性等等。规则将根据实际业务需要做出不同形式的定义，以确保系统的可拓展性。评价管理

评价管理功能是整个系统中最核心的功能，专用于对各信息系统的数据质量进行评价，并对评价结果进行初步分析。

数据质量评价

数据质量评价是系统最核心功能，它将利用所有基础数据信息（信息系统、数据对象、数据字段、评价维度和评价规则等），对各信息系统的数据质量进行评价。

数据质量评价包括自动评价和手工评价两种方式。

手工评价由操作人员手动设置信息系统、时间条件等，并执行数据质量评价；系统将记录下相关的评价结果。

3.3.2 评价结果分析

评价结果分析是对评价结果进行各种分析，如按信息系统对各业务部门评价成绩进行比较、按业务部门的评价成绩进行分析/比较、按部门下班组/子部门对特定信息系统/数据对象的评价成绩比较、在指定时间范围内各信息系统评价成绩变化情况等。

评价结果分析的目标在于定位出数据质量较低的部门或班组，并为后期的数据质量提高提供准确信息。

3.4 错误数据管理

错误数据管理主要用于对评价结果中的错误数据信息进行分析与管理，包括错误数据查询与统计分析、错误数据处理工单等主要功能。

错误数据处理工单用于对错误数据进行处理的工作安排，将考虑以工作流的形式进行设计。考虑到目前条件尚未成熟，暂时采用导出EXCEL文件并分发的形式进行错误数据处理，未来条件成熟时再考虑在系统内实现错误数据处理工单，以提高系统的自动化程度。