APP下载

数据中台技术在应用型高校中的研究与实践

2022-02-08陆婷于春燕郝发婷祁辉

电子测试 2022年22期
关键词:中台数据服务应用型

陆婷,于春燕,郝发婷,祁辉

(滁州学院信息化建设与管理中心,安徽滁州,239000)

0 引言

在当前高校信息化快速发展的背景下,高校所需数据的体量逐渐增多,数据集成与共享的形式逐渐丰富,数据作为学校各类业务正常运转的重要底层资源,越来越受到重视。当前国内普通应用型高校对于数据的管理还是线下导入导出的方式,此类数据管理方式高度依赖学校管理数据的技术人员,容易因为数据使用需求堆积而造成响应速度慢,效率低下等问题,此外还给学校负责管理数据的老师带来较大的工作量和维护难度。因此要想在数据方面进一步加强建设与管理,必须要先补齐短板,统一数据的管理标准和口径,通过新兴技术对海量数据进行采集、计算、存储、加工,将数据以更高效的方式提供给不同业务部门。在学校各业务平台已统一管理的情况下,借鉴企业在数据平台上的创新经验,构建适合应用型高校信息化发展的数据中台,从而能够进一步推进智慧校园建设。

1 高校数据中台技术的理念及作用

在国外数据中台的理念最早起源于一家位于芬兰赫尔辛基的世界知名移动游戏公司,在国内数据中台的理念最早萌芽于阿里,为了应对业务高峰、大规模数据的线性可扩展问题,阿里提出“大中台、小前台”的战略,在数据管理平台的基础上,对其技术、组织架构、服务对象等方面采取了一些变革,实现Onedata管理体系,包括全局数据仓库规划、数据规范定义、数据建模研发、数据链接萃取、数据运维监控、数据资产管理工具等,能够为前台应用或业务系统提供点对点的个性化数据服务。

借鉴企业数据中台的建设理念,高校数据中台是基于前台数据应用和后台原始数据库中间的平台。数据中台的本质就是“数据仓库+数据服务中间件”,如图1数据中台结构图,数据仓库用来存储数据,包括结构性数据、非结构性数据、日志数据等多种数据形式;数据服务中间件包含大数据计算服务、大数据研发套件、数据分析及数据展现工具,数据服务中间件能够随意组合,对前台数据应用的个性化需求提供针对性的服务,同时对于有相同需求的业务场景具有可重用性。

图1 数据中台整体架构

总体来说,数据中台在应用型高校中所发挥的作用主要可解决以下四个方面的问题:

1.1 为前台数据应用提供高效的数据服务,提高服务效率与能力

基于数据中台能够降低数据库的重复性建设,基于事先配置好的数据集合,能够快速为前端的应用或业务系统提供数据支持,具有更加高效的服务效率与能力。例如绝大多数业务系统在建设初期都需要使用师生的基础信息,学生基础信息来自教务系统的学生基本信息表,教师基础信息来自人事系统的教职工基本信息表,数据中台可以事先将这两张表配置成主题数据集,随时提供给要使用的业务系统或开发应用进行调取使用,以提高服务的效率。

1.2 提供多种数据接入与共享方式,增强开放与连通性

基于基础数据仓库或者数据平台,提供数据时往往只能支持线下导入的方式,与其他系统的连通性较差,容易造成数据孤岛的现象。但是基于数据中台能够提供丰富的数据共享与集成方式,支持API接口、DB推送、视图只读或线下导入等多种方式,满足业务系统和开发应用对不同数据共享方式的需求,增强数据中台与其他平台间的业务连通性与开放性,打破数据应用的边界。

1.3 为不同角色的服务对象提供数据服务,扩大服务范围

以往数据仓库或数据平台的服务只是在决策者需要做决策时提供数据支持,现在的数据中台可以为决策者、业务人员、运维人员、各类开发人员等不同角色提供数据服务。从学校角度来说,针对校领导层面可以为其提供全校的人、财、物总体概况;针对各业务部门领导,可以为其提供所管辖范围内最大的数据服务。按照不同角色的需要,按需提供数据服务,使得数据使用场景不断增多,从高层面构建起一个完整、可持续协调的数据服务体系。

1.4 进行深层次的数据分析与挖掘,充分发挥数据价值

基于数据中台可以充分挖掘过程性数据,提取出有价值的信息,同时能够关联各平台的结果性数据和过程性数据,开展学生画像、教师画像等数据分析,充分发挥出数据的价值。

2 应用型高校数据中台的实际应用

2.1 公共数据仓库

公共数据仓库是基于Greenplum的架构采用了MPP(大规模并行处理)模式,具有强大的高吞吐、低时延的计算能力,在 MPP系统中,每个SMP(对称多处理器)节点可以运行自己的操作系统、数据库等。Greenplum主要由三个节点组成,分别为Master节点、Standby master节点和Segment节点。Master节点是访问系统的入口,能够处理所有用户的连接,生成查询计划,协调工作处理过程,存放系统目录和元数据,但不存放任何用户的数据。Standby master节点在Master节点出现故障时能够及时进行热备份,承担Master节点的全部工作,通过进程同步保持与Master节点数据一致,不影响系统业务的顺利进行。每段Segment节点存放一部分的用户数据,一个系统可以有多段Segment节点,用户不能直接进行存取和访问,所有对段的访问都经过Master节点。采用MPP(大规模并行处理)模式能够实现分布式存储和计算,进行海量数据的分布式存储,可以处理PB级别以上的结构化数据,支持高扩展、高可靠、高并发,提高数据库查询时响应耗时,有效支撑该应用型高校30余个信息系统的数据交换与共享。

2.2 数据交换与共享平台

基于Greenplum架构,采用MPP模式的基础上建立校级主数据管理平台,实现数据标准管理、数据模型管理、数据接入、数据治理、数据质量分析、数据开放、数据共享、数据脱敏的全流程管理。基于完整性、有效性、一致性等数据清洗规则,对原始数据进行清洗,形成标准数据目录,建设学生主题、教师主题、资产主题等主题数据目录,在数据使用过程中及时更新,不断提升数据质量。

数据交换与共享平台已接入30余个信息系统,共计421张表,数据接入总量约2.5亿条,推送319张表,为32个业务系统提供数据支撑与服务,直接对接教务、学工、一卡通等业务系统,实现跨系统、跨层级、跨业务的数据交换与共享服务,保证各类平台数据的互联互通,打破数据孤岛和数据壁垒。

2.3 数据服务中间件

数据交换与共享平台中进行数据治理后形成的标准数据资产和主题数据资产,能够支撑智慧校园相关系统及应用的建设,对各部门业务事项和服务场景进行全映射,通过开放授权系统、数据超市、可视化工具等中间件向学校师生提供数据服务,为授权部门及个人利用开放数据进行应用创新提供便利。

数据超市为全校师生提供便捷、快速的数据使用服务。进行统一身份认证直接从门户进入,通过数据与交换平台上数据开放模块发布标准资产数据后,在数据超市中进行数据分门别类“上架”,提供清晰的数据分类目录,学校里业务部门或师生,可以自由进行申请“加购”。在使用对应业务部门数据时,需要通过各业务单位数据使用责任人的审批,审批通过后可以通过视图、API接口、下载的方式获取数据,审批结果可以通过门户消息通知及时进行反馈提醒。学校管理数据的技术人员可以根据申请人的需要提前配置好不同的主题数据库,在数据超市中上架,保证申请人获取的数据在满足其需求的同时在最小的范围内,保障数据安全。基于数据超市不仅可以新建或已建的第三方系统提供标准且规范的数据使用方式,还能够为校内有数据使用需求的教师或者科研团队等,提供一定范围内的数据使用。

通过BI、可视化工具,基于现有标准数据目录,梳理制作包括学校概况、教师概况、学生概况、智慧校园建设概况、一卡通消费概况等9个数据大屏,涉及一级指标45个,二级指标128个,直观且动态地展示出当前学校各方面的整体概况。建设教师一张表,包括人事信息、教务数据、科研数据、资产数据、图书借阅、刷卡消费六个方面,每类共计22个二级指标,每位教师都能看到自己在学校各系统中所产生的数据信息。

3 结语

数据中台在应用型高校中的应用,相比传统数据平台更加具有开放性、连通性、高效性和迅速响应等性能,是一个强大的技术平台,可以实现前台应用和后台数据的解耦,改变以往各个业务系统数据自采自用的现状,整合学校各业务系统的数据,进行统筹管理、集中存放、交换共享,能够对学校当前已集成的数据资产进行灵活调用,让数据多跑路,用户少跑腿,提高业务数据的使用效率。

但是随着高校信息化建设的快速推进与深入,亟须对学校数据开展数据分析与挖掘工作,基于统计分析、机器学习、画像分析、预测分析等方法,建设相关算法模型,找出数据间的关联,为校领导以及各业务部门领导提供决策支持服务。同时数据管理与治理是一项要长期开展的工作,需要学校各业务部门共同承担起责任,将数据取之于业务,用之于业务,以数据中台为其提供强有力的保障,充分发挥出数据的价值,推进应用型高校数字化、信息化建设。

猜你喜欢

中台数据服务应用型
地理空间大数据服务自然资源调查监测的方向分析
关于应用型复合人才培养的教学模式探讨
中台是媒体转型必经之路吗?
——媒体中台建设的特点和误区
基于数据中台的数据服务建设规范研究
关于零售企业“中台”建设的研究
“5-2-1”应用型人才培养模式探索实践
汽车制造企业质量中台研究
以技术开发中心为中台,数字化转型之见解
数据服务依赖图模型及自动组合方法研究
第8讲 “应用型问题”复习精讲