APP下载

数据治理解决方案的思考

2021-10-12肖胜笔

广东通信技术 2021年9期
关键词:数据服务数据管理数据安全

[肖胜笔]

1 引言

随着大数据技术的飞速发展,大数据已经融入到了各行各业。从国家战略“中国制造2025”到贵阳大数据交易所成立,从IT(信息技术)到DT(数据技术)时代,都离不开一个关键词——数据。数据与业务相伴相生,业务的数据化和数据的业务化,是当前各行业、各领域数据服务和应用的重点和趋势。如何从沉淀的海量数据中发现、预警问题,并使用数据解决问题、创造价值,是当前国内外研究的热点。

在习近平总书记提出的推动实施国家大数据战略,加快建设数字中国背景下,2019 年11 月,党的十九届四中全会在《中共中央关于坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化若干重大问题的决定》中首次明确数据作为生产要素参与社会分配。2020年3 月发布的《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》中提出,加快培育数据要素市场,推进政府数据开放共享,提升社会数据资源价值,加强数据资源整合和安全保护。2020 年5 月发布的《中共中央国务院关于新时代加快完善社会主义市场经济体制的意见》中提出,要加快培育发展数据要素市场,建立数据资源清单管理机制,完善数据权属界定、开放共享、交易流通等标准和措施,发挥社会数据资源价值。推进数字政府建设,加强数据有序共享,依法保护个人信息。

发展以数据为关键生产要素的数字经济,全面培育数据要素市场,不仅依赖于数据技术进步、数据产业发展、数据应用创新,更需要发挥社会多元主体作用,通过多样化治理手段构建覆盖社会各层面的数据治理体系,充分释放数据价值发挥的驱动力、打破数据价值释放壁垒[1]。

2 数据治理体系

在数字经济时代,数据成为可以变现交易的资产,即组织合法拥有和控制的,能够独立计量,产生效益和价值的数据资源。但数据资产不同于传统的财务资产,数据的可拷贝、可重用以及数据的搜集、存储、使用都有其特殊性,数据还涉及到个人隐私、运行的安全;当万物互联时,为便于交换,还需要数据的标准化,这些都是数据治理要解决的问题。那么,到底什么是数据治理呢?

2.1 数据治理定义

针对数据治理的定义,国际国内有关机构都给出了具体描述。国际数据管理协会(DAMA)指出:数据治理是对数据资产管理行使权力和控制的活动集合[2]。国标《信息技术服务 治理 第5 部分:数据治理规范》指出:数据治理是数据资源及其应用过程中相关管控活动、绩效和风险管理的集合[3]。

也就是说,数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT 与业务部门的知识和意见,通过将流程、策略、标准和组织的有效组合,对信息化建设进行全方位的监管。数据治理需要组织领导的授权和业务部门与IT 部门的密切协作,其目标是保证数据的有效性、可访问性、高质量、一致性、可审计和安全性。

2.2 数据治理价值

随着数据成为数字经济发展的关键生产要素,数据要素市场得以不断发展。在信通院发布的《数据价值化与数据要素市场发展报告(2021 年)》中,将数据要素的价值化分为数据资源化、数据资产化和数据资本化三个发展阶段[4]。目前全球尚处于数据资源化的初级阶段,数据采集、数据标注有望成为撬动产业规模发展的新引擎。

数据资源化就是通过数据采集、整理、聚合、分析等,使无序、混乱的原始数据形成可采、可见、标准、互通、可信的有序、有使用价值的高质量数据资源。其本质是提升数据质量、形成使用价值的过程。主要包括数据采集和数据标注两部分。目前我国在数据采集、数据标注环节初步形成了产业体系,数据管理和数据应用能力不断提升。

数据资产化是数据通过市场流通交易给使用者或所有者带来经济利益的过程。数据资产化阶段,数据在市场上进行流通交易,推动数据商品变现,创造经济利益,实现数据价值化。其本质是形成数据交换价值、初步实现数据价值的过程。主要包括数据确权、数据定价和数据交易三个部分。目前我国数据确权处于政策萌芽期,地方通过出台相关文件、建立相关平台来探索数据确权,但整体尚处于起步阶段。

数据资本化阶段,数据被打包成金融产品进入资本市场。数据资本化主要有两种类型,数据信贷融资与数据证券化。其本质是实现数据要素的社会化配置的过程。目前,全球已有部分大型企业对数据产品的资本化进行了点状探索,但尚未形成实践及理论体系。

2.3 数据治理框架

国标《信息技术服务 治理 第5 部分:数据治理规范》提出:数据治理框架包括顶层设计、数据治理环境、数据治理域和数据治理过程四大部分[1]。总体框架如图1 所示。

图1 数据治理总体框架

顶层设计包含数据相关的战略规划,组织构建和架构设计,是数据治理实施的基础。

数据治理环境包含内外部环境及促成因素,是数据治理实施的保障。

数据治理域包含数据管理体系和数据价值体系,是数据治理实施的对象。

数据治理过程包含统筹和规划、构建和运行、监控和评价以及改进和优化,是数据治理实施的方法。

3 数据治理解决方案

根据数据治理域的内容,统筹考虑数据管理体系与价值体系相关活动,按数据产生、修改、组织、使用、发现、提升、归档的全生命周期管理进行活动划分,设计数据治理的逻辑架构(如图2 所示),提出通用解决方案。

图2 数据治理逻辑架构

在组织提供的软硬件基础设施与网络环境条件下,对不同来源渠道的结构化和非结构化数据进行数据治理,主要包括数据洞察、数据采集汇聚、数据管理、数据服务、数据安全管理和数据标准管理等治理环节。

3.1 数据洞察

如图3,数据洞察是组织从业务视角和用户视角,对拥有的数据及其内在规律进行探索分析,以了解数据的基本内容、结构、分布等信息,识别不同数据集的关联,挖掘数据价值,盘点数据资产。

图3 数据资产盘点方式

数据洞察的过程就是对组织数据资产进行盘点清查的过程。在实际操作中,通过对暗数据的发现整理,对数据进行有效分类,才能避免一刀切的控制方式,对数据进行更精细的安全管理,使数据在共享使用和安全使用之间获得平衡。

3.2 数据采集汇聚

数据采集汇聚是通过对不同来源的结构化数据和非结构化数据进行系统数据抽取和人工数据采集,经过清洗转换、重构聚集、交换共享等,实现对数据的定时或实时汇聚整合。通过数据的采集汇聚,可实现多种数据源的数据采集,如常用的关系型数据库、大数据平台等,保证数据源与目标端的数据一致性,达到数据同步;通过灵活地进行数据转换规则设计,实现不同部门的数据协同与交换;将经过清洗转换后变为统一格式的正确数据,存储到数据中心或者数据仓库,用于提供数据共享、数据分析等服务。

3.3 数据管理

通过对采集汇聚后的数据进行管理,包括元数据管理、主数据管理、数据建模、数据融合分析、数据质量管理和数据资产管理等,对组织的数据资源进行全面掌控,有效支撑各种数据服务。

元数据是“关于数据的数据”,元数据标注、描述或者刻画其他数据,使检索、解读或使用信息更容易。对数据上下文背景、历史和起源进行完整的记录并管理,建立元数据标准,提升战略信息(如数据仓库、客户关系管理CRM 等)的价值,帮助分析人员作出更有效的决策。组织应明确元数据管理的范围和优先级,建立元数据管理的策略和流程,开展元数据创建、存储、整合与控制等,并持续改进和优化,如图4 所示。

图4 元数据管理方法

主数据(Master Data)是描述核心业务实体的数据,如IT、业务、应用、资产等,这些数据变化相对缓慢,并且通常跨业务重复使用。主数据管理的关键在于“管理”,包括工作流管理、任务管理、服务管理等。主数据管理不会创建新的数据或新的数据纵向结构。相反,它提供了一种方法,使组织能够有效地管理存储在分布式系统中的数据。主数据管理使用现有的系统,并从这些系统中获取最新信息,通过先进的技术和流程,自动、准确、及时地分发和分析整个组织中的数据,并对数据进行验证和归档,如图5 所示。

图5 主数据管理体系

数据建模是指建立数据模型解决现实问题的过程,即通过对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等,直至转化成现实的数据库,这个过程是周期性循环的。数据治理体系下探讨的数据建模主要是指建立数据仓库模型。数据仓库模型是数据模型中针对特定数据仓库应用系统的一种特定数据模型。一般分为业务模型、领域模型、逻辑模型、物理模型四个层次。对应地,数据建模过程可分为如图6 所示的四个过程。

图6 数据建模过程划分

数据分析与挖掘是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息,形成结论,对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。数据分析可帮助组织作出更准确的决策判断,以便采取适当行动。

数据质量管理目标是建立数据质量管理体系及实施机制、优化数据质量并持续改进,满足数据应用的需求。

数据资产管理是组织规划、控制和提供数据及信息资产的一组业务职能,主要包括数据资产识别、数据权属认定、资产价值评估和资产流通等环节。组织可依赖数据资产深入理解客户,创新产品和服务,降低成本和控制风险,做出更有效的决策,提高运营效率。组织应识别数据资产,明确数据权属,定义数据开放共享、交换和交易等流通方式,保证数据流通过程的合法合规、数据安全和隐私。

3.4 数据服务

组织通过明确数据服务的内涵,形成数据服务目录,不断改进和优化数据的服务能力。数据查询、业务专题分析和决策支持等数据服务,可为数据使用者开展数据统计分析、挖掘数据规律、辅助领导决策等提供支撑。数据交易服务能有效促进数据在全行业的流通,充分发挥数据作为生产要素的价值。数据智能应用通过对数据价值的深入挖掘,为生产生活提供更智能的便利服务。数据服务评价为数据使用及价值发挥的有效性进行评估,有效促进数据服务能力的提升及创新。

3.5 数据安全管理

组织通过制定数据安全的管理目标、方针和策略,建立数据安全体系,实施数据安全管控,持续改进数据安全管理能力。主要可从用户管理、访问控制、数据保护和数据监控等方面进行管理,如图7 所示。

图7 数据安全管理体系

3.6 数据标准管理

组织通过明确数据标准的内涵和范围,建立数据标准体系及其管理机制,以支撑数据的标准化建设,保障数据在应用过程中的一致性。数据的标准管理主要分为技术标准、数据标准和管理制度三大类,如图8 所示。

4 结束语

在数据治理各业务环节中,数据采集汇聚、元数据管理、主数据管理、数据分析与挖掘、数据质量管理、数据服务和数据安全管理等主要依赖于对应软硬件产品的能力来开展工作。而数据洞察、数据建模、数据资产管理和数据标准管理的工作开展更多依赖于对组织业务数据与业务流程的深度分析与解读,偏向数据实体关系分析与模型设计等技术服务能力的要求。因此,组织在开展数据治理活动时,应根据自身业务特点规划数据治理各环节实施策略,有针对性地选择对应软硬件产品及服务开展工作。

图8 数据标准管理体系

本文在国家推动实施大数据战略,全面培育数据要素市场的发展背景下,基于现有数据治理体系理论的研究成果,围绕数据洞察、数据采集汇聚、数据管理、数据服务、数据安全管理和数据标准管理六个方面提出一个通用的数据治理解决方案,旨在为政务部门或公司企业等组织开展数据治理活动提供解决思路的指导与参考。

猜你喜欢

数据服务数据管理数据安全
地理空间大数据服务自然资源调查监测的方向分析
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
CTCS-2级报文数据管理需求分析和实现
云计算中基于用户隐私的数据安全保护方法
建立激励相容机制保护数据安全
大数据云计算环境下的数据安全
如何运用税收大数据服务供给侧结构性改革
基于频繁子图挖掘的数据服务Mashup推荐