APP下载

数据治理在合肥市政府大数据平台中的应用和实践

2019-05-22林海

电脑知识与技术 2019年10期
关键词:数据整合数据治理

林海

摘要: 以合肥市大数据平台项目为实例分析和探讨了数据治理在市级政府大数据系统中的应用,以及合肥市在政府大数据整合、治理、共享方面所做的探索。

关键词: 政府大数据;数据治理;数据整合

中图分类号:TP393 文献标识码:A

文章编号:1009-3044(2019)10-0281-03

开放科学(资源服务)标识码(OSID):

我国十三五规划指出:要实施国家大数据战略,把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。合肥市作为中部快速发展的省会城市,积极响应国家大数据战略部署,2017年组建市数据资源局,全面统筹全市信息化、电子政务、智慧城市、大数据、“互联网+”等工作职能,加快推进政务、民生、产业领域各类数据资源的深度开发利用与开放共享,力争全面提升合肥市的政府治理和公共服务能力,支撑城市实现新一轮跨越发展。并正式启动建设合肥市大数据平台项目,以数据集中和共享为途径,充分应用数据治理的方法和工具,建设市级一体化的大数据中心,推进技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。

1 项目背景

近年来,合肥市大力推进信息化建设,信息系统建设与应用能力显著增强。目前市级各委办局业务系统种类较多,通过各类信息系统的应用推广,极大提升了政府工作效能。特别是市数据资源局的成立,对各单位电子政务业务系统建设实行统筹管理,极大推进了信息化建设。但是随着系统的增多,各类系统间数据管理问题也不可避免的暴露出来:

1)数据多样化,缺少统一标准,横向集成不足

各单位系统之间数据管理规范不统一。各业务系统之间数据不统一,无法从全局的角度了解数据情况,造成业务人员和技术人员对业务数据的理解存在歧义。

2)部分基础数据存在多头管理问题

信息系统数据管理的职责分散,权责不明确。组织机构各部门关注数据的角度不一样,缺少一个组织从全局的视角对数据进行管理,导致无法建立统一的数据管理规程、标准等,相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立,无法保障数据管理标准和规程的有效执行。

3)数据管理流程缺乏规范化

由于数据接入大数据平台之前分散在各个系统,各应用系统数据由各组织部门分离管理,数据质量参差不齐,缺乏清晰的跨局跨部门的数据质量管控规范与标准,数据的自动采集尚未全面实现,处理过程存在人为干预问题,很多部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题;缺乏完善的数据质量管控流程和系统支撑能力。

4)数据全生命周期管理不完整

目前,各单位数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善,不能确定过期和无效数据的识别条件,且非结构化数据未纳入数据生命周期的管理范畴;无信息化工具支撑数据生命周期状态的查询,未有效利用元数据管理。

2 数据治理概述

2.1 概念

数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。

数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。

2.2 治理目的

数据治理的目标是提高数据的质量(准确性和完整性),保证数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升组织的整体信息化水平,充分发挥信息化作用。

1)提升执行能力

运用大数据减少政策执行外部环境的制约,有效防止政策执行过程中的“中梗阻”“低效率”“脱型走样”“观望症”现象,建立政策执行监督机制,防止政策执行过程中出现的随意性和作假行为。

2)提升决策能力

用大数据建立科学决策机制,防止个别领导“拍脑袋”决策现象,提供政策决策的精准性、科学性和预见性。运用大数据来建立畅通的心意反馈渠道,通过大量收集反馈数据进行舆情分析和预测。

3)提升管理能力

运用大数据建立部门之间的数据共享平台,打破数据孤岛现象,整合数据资源,实现数据共享。运用大数据来实现把执法权力关进“数据铁笼”,让权力运行处处留痕,规范干部权力运行机制,让失信市场行为无处遁形。

4)提升服务能力

运用大数据来转变政府职能,通过快速、精准、高效的电子信息化办公流程和政務服务模式,运用大数据构筑起政府对企业和民众的精准到位的服务体系。

2.3 数据治理体系

数据治理体系包含两个方面:一是数据质量核心领域,二是数据质量保障机制。

3 合肥市大数据平台中数据治理方法的应用和实践

合肥市大数据平台项目于2017年2月启动建设,建立了全市政务数据资源库和资源目录,建成了全市政府数据共享交换体系和交换技术规范。2018年7月份,率先完成合肥市级政务信息资源共享门户与省级、国家级联调工作,打通了合肥市与安徽省、国家资源共享的通道。合肥市各单位可通过合肥市政务信息资源共享门户申请省平台和国家平台的资源,实现与省、国家级平台资源共享与交换。截至2018年底,已经接入了全市69家单位的121个业务系统,入库数据超过120亿条,1872张数据表,数据总量约60TB。在合肥市大数据平台项目的建设过程中,充分应用了数据治理的理论和方法,专门建设了具有数据质量管理、数据规整管理、数据建模、数据安全管理、资源共享管理等核心功能的数据治理子平台,在数据入库的同时,同步实施数据质量监控和治理,取得了良好的效果。

3.1 治理工作目標

在合肥市大数据平台中实施的数据治理实现了以下目标:

1)有效地解决项目前期汇集的数据标准不统一的问题,提升数据资源的管理水平。

在合肥市大数据平台上开展数据治理工作,依据国家、省、市级标准规范,对大数据平台中的数据进行标准化管理,数据标准统一管理,使得各大基础信息库的管理维护与对外服务规范化,从而便于各部门与社会查询、获取和利用数据。

2)有效地提升市级政大数据库的数据质量问题,解决制约新型智慧城市建设的瓶颈问题。

合肥市大数据平台汇聚了各业务部门的数据,并且共享给各业务部门使用,在合肥市大数据平台上开展数据治理工作,能够提升大数据平台汇聚的数据质量,为各业务部门提供准确的数据服务,在城市治理、民生服务及生态宜居等领域发挥重要支撑作用。

3)能够大幅度提升城市对于海量、异构数据资源的管理和开发利用能力。

城市是由不同政府部门管理下的不同行业组成的综合体,因此城市的治理与发展是一个复杂的、综合性的课题。在市级大数据中心之上,通过打破部门职能与行业间的数据壁垒,对不同来源的海量、异构数据进行统一数据治理,实现跨部门、跨行业的数据管理与开发利用,为城市综合治理提供强大的数据处理能力支撑。

3.2 治理子系统业务功能

合肥市大数据平台中的数据治理子系统具有以下功能:

1)数据质量评估功能:数据质量评估系统通过对数据源的分析,结合参考数据和自动数据关联探索技术,设计数据规则,基于规则完成质量评估。

2)数据标准管理功能:数据标准管理是数据质量好坏的评价度量指示器,它从元信息、数据标准、数据质量规则等角度形成数据模型、数据操作规范、数据质量要求以及数据改进提升的数据治理核心功能和业务应用,可以自动生成数据质量稽查报告。

3)数据比对功能:在数据治理中,需要对新增数据进行与数据资源中心已有数据进行比对,从多个数据源验证的角度发现数据存在的质量问题,进而反应业务当中可能出现问题。

4)数据质量管理功能:及时发现了问题数据后,包括残缺数据、错误数据、重复数据等,同时,为了能够及时来修复这些数据,以数据问题工单的形式,讲问题数据返回给数据提供部门,由数据提供部门对问题数据进行处理更新后重新上传到大数据平台,完成数据质量提升。

5)数据清洗融合功能:数据清洗融合是基于大数据平台数据管控体系和相关的标准规范,针对基础库数据中存在的问题,进行数据的修复及质量清洗,实现大数据平台基础数据的去伪存真、纠错补全、统一规范、合理关联、持续优化。

3.3 治理实施流程

数据治理要素体系中的处理流程把数据资源的规划、问题探查、模型设计、清洗融合、信息资源库建设、资源管理、数据质量监测、数据安全管控以及数据服务支撑等阶段有机地结合起来。

从相对的顺序上来看,政务数据融合与数据治理包含7个过程(P1-P7),以及2个贯穿始终的步骤过程(P0)。

设计数据治理体系中的处理流程应该灵活运用领先实践中的成功经验,构建一个行之有效的、分层细化的流程体系:

第一级(Level 1,简称L1),步骤:数据要素体系中所采用的最高级别的行动。每个步骤包括了多个行动,所有步骤构成城市政务数据要素的整个处理流程。

数据融合治理处理流程的设计是一个逐级细化的过程。根据上图中数据生命周期(规划、问题探查、模型设计、清洗融合、资源库建设、资源管理和服务支撑)的几大步骤,逐步设计第二级及以下级的行动和任务,逐步形成一个概念层次的逻辑流程细化为可操作级别的处理流程。

第二级(Level 2,简称L2),行动:一般包括下一个步骤前完成的本步骤的所有行动。这些行动可能与另一个行动同时发生,但是一个步骤内的所有行动必须在处理下一个步骤前完成。同时,每个行动又包括多个任务。

第三级(Level 3,简称L3),任务:为了处理行动而必须完成的特定项目。任务在处理流程中可以同步完成,但是在一个行动内的所有任务必须在处理下一个行动之前完成。在设计中,如果需要,还可以在处理流程中给出的更详细的流程描述,即第四级(Level 4,简称L4):子任务。在子任务中,详细的描述包含每个职能组行动的角色和责任。

4 结语

李克强总理在2016年5月全国推进简政放权电视电话会议上指出:“目前我国信息数据资源80%以上掌握在各级政府部门手里,但‘深藏闺中造成了极大浪费”。但是,未经有效治理的政府数据,横向上碎片化严重;纵向上规范缺失,重复性、关联性、正确性、完全性、一致性、合规性等数据质量问题严重,仅仅简单汇聚在一起的政务数据并不能支撑实际的政务应用。只有通过有效的规划和治理,解决了碎片化、规范化和质量低下等问题,真正实现了整合以后的政务数据,才能形成数据资源,有效地支撑政务大数据应用。

【通联编辑:王力】

猜你喜欢

数据整合数据治理
大数据治理模型与治理成熟度评估研究
大数据时代城市治理:数据异化与数据治理