APP下载

信息时代企业数据治理途径探析

2018-11-07周慧宁权少亭商欢

电脑知识与技术 2018年21期
关键词:数据治理数据治理

周慧宁 权少亭 商欢

摘要:数据是企业的核心资产,数据治理能够大幅提高企业数据资产的质量。面对形形色色的业务数据,企业该从何处入手,该怎样出击,才能及时准确的发现问题数据,避免出现由数据错误导致的决策失误。通过对数据治理理论、框架的研究,提出企业开展数据治理工作的一般过程,对相应部分在执行过程中的任务和关注点做了详细说明。通过执行标准的数据治理过程,可以实现数据全生命周期内的有效控制,将数据错误减少到最低程度。

关键词:数据;数据治理;框架;治理;企业数据

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2018)21-0025-03

1 引言

随着信息技术的飞速发展,各种计算设备和信息系统已逐步应用到企业各个业务领域,企业业务数字化程度不断提高,企业员工,无论是管理人员,还是设计人员,数字化手段都为他们的工作带来了更大的便利和更高的效率,与此同时,企业对各类信息的需求也达到了前所未有的程度。通过利用数据资产,可以更加敏锐地感知周边的变化,更加精准的优化产品设计,提高产品研制水平和管理能力[1]。

然而,面对每天都会产生和更新的大量数据,如何为企业提供符合各业务部门需求的高质量信息,确保数据的准确和及时,是企业开展协同研制和决策分析等业务的基本要求。数据治理通过明确信息的创建者和消费者以及他们的职责和权限,规范各类数据创建、存储、更改、使用、销毁的全生命过程,避免出现错误、不完善的问题数据,及时准确地将数据提供给需要它们的人员。由此可见,数据治理工作已逐步成为众多数据相关工作的核心,需要依据企业的数据管控政策,业务、IT等相关组织人员相互协作,利用流程和数据技术,共同生产出高质量的数据资产。

2 数据治理定义和框架

DAMA(The Data Management Association,数据管理协会)给出的数据治理定义是:对数据资产管理行使权利和控制的活动集合(规划、监控和执行)[2],是在高层次上执行数据管理制度。数据治理的标志是共同决策。数据治理推动了选择决策的职责分担。

DGI给出的定义是:针对信息相关过程的决策权和职责体系就是数据治理[3]。IT部门和业务部门中接触到数据的人员只是使用和处理数据,而数据定义、规则定义、决策、控制等工作是由专业的数据治理组织来完成。数据治理包含一系列的业务和IT活动。

简单地说,数据治理就是通过制定正确的政策、操作规程,确保以正确的方式对数据和信息进行管理和使用。

数据治理框架用于描述数据治理领域所包含的组件,以及组件之间的逻辑关系。

DAMA认为:数据治理、数据架构管理、数据开发、数据操作管理、数據安全管理、数据质量管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理等十项职能组成了企业的数据管理工作[3],其中,数据管理框架的核心职能是数据治理,用于指导其他管理职能如何执行。

DGI总结数据治理的十大关键要素,内容涉及组织和人员、规则和协同工作规范以及过程三个层面[5],DGI数据治理框架对数据治理过程中核心的Why-what-who-how-when这几个问题进行了解答,即为什么进行数据治理,数据治理能实现什么,谁在工作中解决问题,具备什么责任,如何一起工作为企业提供价值,什么时候该进行什么工作。

综上所述,数据治理框架可以被理解为,建立合理的组织,制订并依据适当的规则,针对企业一定范围内的数据,开展评估和改善数据质量的过程。

3数据治理途径

企业数据规模以及数据质量的情况不同,决定了开展数据治理的需求就不同,数据治理的途径也有所不同。图1给出了适用于大多数企业开展数据治理工作的一般步骤。

3.1数据治理需求和目标

首先需明确需求,通过需求分析,明确数据治理的关注点、范围和治理方式等,规划项目蓝图,确定治理目标。

数据治理需求通常有两种情况,一种情况是企业需要一种获取各类信息的途径,用以开展多维数据分析,进行业务决策。此种数据治理的关注点在于跨职能部门的业务如何使用数据,优先考虑哪些相关数据做出正确的决策。治理目标是:获取业务部门的信息需求,构建统一的数据环境,确保进行数据研究和分析,便于决策。

另一种情况是,企业已明确信息需求,已构建统一的数据环境,数据质量已达到一定水平,他们的挑战在于个人和部门不要制造错误数据。数据治理的关注点是在权限和职责,焦点活动是执行策略、数据控制、制订主数据和元数据标准、冗余数据检查等。目标主要是通过开展数据评估、监控,避免出现数据质量问题。

3.2 组织机构

通过创建组织机构,确定责任机制。明确数据的所有权和管理者,承担数据维护/监控/改进的责任;数据维护流程中的各个环节应落实具体的岗责,保障流程的运作和有效性。

确定数据治理组织机构大小和层级依赖于需要完成的数据治理工作范围,是否包括数据分析、数据定义、标准编制、元数据管理等,有多少数据质量(实施、监控、报告等)方面的工作。通常数据治理组织机构分为两级(图4),数据治理委员会负有数据治理工作的决策权和领导权,数据治理工作组由数据治理业务组和数据治理技术组构成,负责具体业务和技术的执行,组织内涵盖所有与项目数据治理相关的管理和技术人员代表。

3.3数据治理范围

数据治理的范围依据数据所处的阶段可划分为数据创建、获取、使用和维护四个阶段,表1列出了每个阶段所涉及的重点工作

3.4数据治理内容

1) 数据规则

数据治理的最重要的工作之一是相关的数据规则制定,包括:数据采集、数据创建、数据定义、数据更正、优先级、监控以及其他和数据相关的规则,形式可能有:标准、指南、要求、指导原则、业务规则、数据质量规则、数据使用规则、数据访问规则。

关注点是制定数据规则。治理的主要工作包括新数据规则的创建、数据规则优先级、缺失和重复的数据规则、数据规则发布等。

2) 主数据管理

主数据管理是通过制定相关的规程,运用计算机集成技术和数据库管理技术,对企业中需要各个应用系统共享的数据进行统一管理和分发,以确保各系统能够获取到一致的、完整的、准确的数据。治理的关注点是如何确定和定义主数据。

3) 业务数据管理

业务数据是指在企业运营过程中产生的数据。关注点是业务数据规划。

业务数据规划过程是:开展企业业务梳理,对涉及的相关数据进行分析,形成数据地图,依据业务需求、主题进行数据规划,例如生产、物资、制造、设计、人资、财务等。治理的先后可依据数据地图,按照数据的关注程度和重要性等条件进行。

4) 元数据管理

元数据是定义数据的数据,负责记录管理业务系统中所有数据的定义、规则、规范和流程.。关注点是数据字典和数据模型定义。

数据字典描述了数据项、结构、存储、处理逻辑、数据流、外部实体等数据相关信息。

数据模型主要用于表达数据的静态属性、数据之间的关系以及相关约束条件。

5) 数据标准

数据标准主要用于不同系统间形成信息的一致理解和统一的参数信息,是信息汇集、交换以及应用的基础。主要数据标准包括:

数据分类与编码,制定数据的分类、编码规则。

数据模型标准,制定数据的属性。

流程标准,制定数据的新增、变更、废除过程标准流程。

集成标准,制定数据的接口规范、数据交换格式,明确集成流向。

3.5决策权和职责

数据治理过程中企业需要对决策事务和决策权做出详细的规定,规定哪些类型的决策由哪些人负责,什么时候决策,决策依据是什么,哪些数据将被结构化、被组织、被定义、被约束、被传输和创建等。此外,也要充分考虑决策是否需要持续进行,决策过程中需要咨询或通知谁,需要在什么时候召集业务部门共同决策等问题。

数据治理组织分配清晰和可完成的职责,为每个参与者定义角色和职责。通常,企业中出现的许多数据问题都是因在数据流中的某个环节职责不清导致的。为数据管理、元数据管理以及其他与数据相关的活动分配合适的职责是数据治理的重要工作之一。

3.6数据质量控制

所有的数据都有风险;有被不当使用的风险,有被破坏的风险,有不准确或不完整的风险。 面对这些问题,要管理好数据,阻止上述事情的发生。如果确认不能阻止,至少应能够发现他们,从而可以纠正问题。

企业的数据风险管理策略是通过数据质量控制来运作的。一是不让其发生(防控,例如防火墙阻止入侵),一种是已经发生(发现/改正控制,例如病毒查杀)的问题该如何处理。

数据质量控制可以采用自动、手动或其他可能的技术手段。可以在多个层面进行数据质量控制,例如在用户流程、应用、数据库或数据环境的其他部分等层面进行数据质量控制,常用的方式有数据更改控制、签审流程以及将数据质量核查嵌入应用中。

通过了解数据管理人员在制定、设计、实施或执行数据相关的控制方面所做的工作,有助于将现有的控制(策略、培训,流程,项目管理等)修改成用于支撑治理目标的新的控制途径。

合理完善的流程是减少数据质量问题的关键,这些流程包括数据质量问题判断、协调和改进,主动验证和维护关键业务数据,质量问题清理等。

3.7安全策略

数据安全策略的目标是基于数据安全分级标准和数据使用者的工作职责权限制定的数据使用授权流程,以保证数据安全性和合规性。

数据安全策略要满足业务经营和监管需求,关注点是策略的制定、数据安全分级、数据访问安全控制和评估。

制定数据安全策略:根据现有法律法规、国际标准、行业标准以及企业信息安全策略,制定数据安全相关的标准、规范和操作流程。

数据安全分级:定义和维护数据的安全等级,并进行标识。

数据访问安全控制:定义用户安全等级,识别访问需求,并制定相关的审批管理流程,在从数据应用的规划到最终用户的数据访问过程中进行安全控制。

数据安全评估和考核:对数据安全管理工作进行评价,识别数据安全各个方面的风险和差距,促进有效的数据安全管控。

3.8数据质量评估

数据质量评估的目标是运用什么方法、采取什么控制措施,及时准确地发现数据质量问题。通过进行数据质量评估,可以达到提升数据的可用性和利用价值的目的。数据质量评估的内容包括:制定评估指标,选择分析工具,质量问题的评估标准,编写评估报告的时间和内容。

评估指标包括库表/文件中的字段检查(字段的填充率、数据类型、长度、唯一值、出现率分布、格式、取值范围等)、库表/文件中跨字段检查(主键、字段间依赖关系等)、跨库表/文件中的检查(跨表的重复数值、外键关系等)。

通过组织协调会议评估数据质量问题,形成数据质量评估报告。

3.9问题解决

问题解决的目标是解决数据质量问题。关注点包括两部分,首先是制定数据质量检查方案,并依据检查方案开发运行脚本,用于检查和发现数据质量问题,最终形成数据质量检查报告。第二是验收和跟踪数据质量改进情况,形成数据质量改进结果报告。

4结论

随着企业信息化程度的日益增强,数据作为企业的核心资产之一,在企业运营过程中的地位越发显得重要。本文在数据治理模式和治理领域的研究基础上,结合数据治理工作实践,提出了数据治理工作的方法和工作内容,对企业开展确定目标、组建组织、制定策略、应用工具等相关数据治理工作具有很好的参考价值。

数据治理目前在我国应用的还不是很广泛,但它在提高企业数据应用水平,提升企业决策能力方面确实具有无可替代的作用,因而,结合企业实际情况,开展企业数据治理研究,保障企业在运营过程中获取高质量的数据,是企业今后寻求发展和提高的一个有效途径。

参考文献:

[1] 郑大庆.大数据治理的概念与要素探析[J].科技管理研究,2017(15):200-205.

[2] DAMA International.The DAMA Guide in The Data Management Body of Knowledge[M]. New York:Technics Publications,2011.

[3] Data Governance Institute.The DGI data governance framework[R].USA:DGI,2009.

[4] 王宇德.企业大数据治理研究[J].互联网天地,2014(1):20-24.

[5] 杨琳.大数据环境下的数据治理框架研究与应用[J].计算机应用与软件,2017(4):65-69.

[6] 曾凱.大数据治理框架体系研究[J].信息化系统工程,2016(11):130-131.

[7] 张一鸣.数据治理过程浅析[J].中国信息界,2012(9):15-17.

[8] 张绍华,潘蓉,宗宇伟.大数据治理与服务[M].上海:上海科学技术出版社,2016.

[9] 秦炯聪.大数据背景下的数据治理模式[J].信息与电脑,2016(16):155-156.

【通联编辑:王力】

猜你喜欢

数据治理数据治理
浅析网络舆情治理
浅谈计量自动化系统实现预购电管理应用
大数据治理模型与治理成熟度评估研究
大数据时代城市治理:数据异化与数据治理