APP下载

基于大数据技术的数据中心建设与应用

2021-09-10孔晓宇

无线互联科技 2021年7期
关键词:大数据

孔晓宇

摘 要:随着教学、消费、学生行为等数据量的积累,校园的各个应用系统获取的非结构化和半结构化数据也越来越多。为了对学校的海量数据进行深层次的数据挖掘和分析,校本数据中心的建设已成必然趋势。文章以无锡商业职业技术学院校本中心的建设为例,通过对学情现状分析、校本中心的建设情况,提出校本数据中心建设的重要性。

关键词:校本数据中心;校情分析;大数据

1 实施背景

经过多年的信息应用系统建设,高校已经积累了海量的教学、消费、学生行为等数据。但是校本数据的存储和整合过程较为分散,缺乏统一平台进行管理,而且这些海量数据也没有得到有效、充分的分析和利用,各部门人员在日常数据录入和维护中只是通过统计和排序对数据进行简单的功能操作,获得一些表面、浅显、价值不高的结果。

2 现状分析

经过多年的数字化校园建设,高校校园的各个应用系统获取的非结构化和半结构化数据也越来越多,目前存在应用系统种类多、数据分布分散等问题。

(1)数据规模日益庞大,数据来源多元化,共享数据库涵盖系统多,高校生源不断扩张,信息不断积累,致使数据库中的信息不断增加,进而为数据挖掘、管理和分析带来了困难。

(2)缺乏稳定高效的校本数据中心环境,高校不同学科与专业采用的数据环境大多依赖现有的IT环境,导致数据运行的基础系统环境比较混乱且极其不稳定,缺乏有效的数据管理,阻碍教学和科研工作的高效进行。

(3)在科研管理活动中,没有使用成熟的管理平台,不仅数据难以共享,还容易出现数据随意修改、删除等现象,除了容易造成数据不一致,还严重影响了数据的安全性和稳定性。

(4)数据利用不充分,校园的信息仍然停留在收集和累积阶段,而数据仅仅停留在简单查询和分析阶段,并没有对数据进行整合、梳理和挖掘,使得这些信息仍未被管理者采用,作为决策依据的信息则少之又少。

(5)数据驱动带来的教学新挑战,数据剧增由量变引起质变,学生的思维和行为模式在传统的学科研究领域中发生转变。如何借助大数据和人工智能相关技术以及资源,找到校本数据研究分析成果的新视角,为教学和学生服务提供策略指导是管理层面临的新挑战。

3 校本数据中心的建设

文章以无锡商业职业技术学院为例,校本中心的建设框架和内容如下。

3.1 总体框架的设计

数据中心应适应于大数据处理要求,能支持PB级数据管理。系统架构应高安全性、易扩展性,能够支持各类主流开发语言,并提供丰富的接口。同时能够支持结构化和非结构化数据的存储和应用,搭建4层架构的全量数据中心。

(1)建设原始数据层(ODS层)。数据工程师根据接口对各系统的数据原样加载到数据仓库ODS层,设定数据拉链、可对数据质量进行监控,保证数据准确无误。同时有效地解决了传统模式下第三方接口不可管理、原始数据质量无法检测的问题。

(2)建设主题明细数据层(TDS层)。对中心库最基本的数据进行集中管理,依据标准规范建立数据集市,为数据的分析提供明细主题查询,解决数据可视化管理的问题。

(3)建设汇总统计数据层(SMY层)。可依据数据分析的需求提供各种汇总统计,并可作为明细数据的校验和统计分析数据源,解决了传统模式下数据分析建立模型的不规范性以及模型统一管理问题。

(4)建设应用数据层(SER层)。可依据第三方业务需求,构建出对外服务的统一接口,实现接口的开放性,解决了传统模式下数据库对外服务接口不规范、无法管理的问题,保证数据安全的情况下也便于对外接口的统一定义和管理。

3.2 建设内容

校本数据建设内容如表1所示。

3.3 技术要求

3.3.1 平台架构技术要求

(1)以开源的Hadoop为基础,研发校本数据中心,具备自主知识产权。系统通过多租户功能允许各个院系或数据分析人员接入大数据平台开展数据分析与探索工作。以平台数据管理为基础,可针对特定角色的用户赋予指定表、指定列、指定行的訪问权限,数据下载需按照我校的电子数据提取管理办法完成审批流程,导出数据通过桌面文档安全管理系统进行加密并授权访问[1]。

(2)该平台支持Windows、Linux操作平台;数据库支持Oracle,Sql Server;Web服务器支持WebLogic,Tomcat较新版本等。客户端兼容IE,Firefox,Chrome,Safari,360等主流浏览器、手机Android平台Opera、UC及IOS平台safari浏览器的各个版本。友好支持 PC、平板电脑、智能手机便捷操作。

(3)事务响应时间不超过2s,同时在线数达到≥    1 500人,并发数于≥500人。

(4)保证数据无缝对接,并提供安全策略及备份策略,保证与其他平台之间的共享与交互,符合学校的数据标准。

3.3.2 软件开发的要求

(1)遵循学校信息化标准。

平台的建设必须符合和遵守学校制定的信息化相关标准要求,以便规范地进行业务数据的采集、存储、传输、应用。软件平台供应商应熟悉学校数据标准规范和数据接口规范,在学校标准覆盖不全的情况下,根据国家相关部门制定的标准,与学校一起升级和完善学校自己的标准[2]。

(2)应用程序的编程语言及服务器要求。

软件须采用Java编程语言和服务器端Java技术进行开发,业务应用平台和数据集成平台均必须基于如Oracle大型数据库上。数据库服务器平台、Web服务器平台和应用服务器平台可以运行于多种操作平台,包括但不仅限于Windows NT/2000/2003/2008、Unix和Linux(Red Hat Linux)等操作平台。同时,考虑到学校在服务器虚拟化方面的工作,要求平台须适合在虚拟机上运行。

(3)面向对象的组件技术。

采用了基于元数据的设计模式,开发组件模块化,统计指标参数化,各个平台之间协同工作,不同的平台在同一运行环境下彼此之间通过接口进行程序模块的调用、参数传递、数据共享。考虑到整个学校管理体系的改革以及建设规模的庞大和复杂,平台建设具有很强的扩展性要求。各模块应该相对独立,通过接口容易组装,整个平台容易升级和扩展[3]。统计指标可以由用户自定义,方便随时根据业务变化来调整平台参数。

(4)标准规范的接口技术及安全的数据集成。

建立一个能够适应学校未来发展的,能够为第三方应用平台提供相关接口、开发规范以及相关数据集成的接口规范。数据中心要求与学校其他应用系统实行对接,制定与学校数据中心对接的数据共享解决方案,提供必要的数据检查和清洗,消除信息孤岛,实现学校其他系统与数据中心的高度统一和内部共享。

(5)易用性。

平台必须符合国人的使用习惯,并且简化各个功能模块步骤,努力实现“方便找、找得到、使用简单”,体现“服务大厅”一站式服务特点以及“信息推送”的特点。

4 结语

制定更全面的数据管理平台,为全校师生提供安全可靠、完整统一的数据信息,必须从数据分类、数据维护、数据存储、数据使用与服务、数据安全等各个方面,建立有效的校本数据中心,实现数据共建、共享体系,提高数据质量和利用效率,更深一步地发挥数据的作用和功能。

[参考文献]

[1]许琦.内部质量保证体系中校本数据中心建设探讨—以异构数据迁移方法为例 [J].职业技术,2020(5):1-6.

[2]王金彬.浅议数字化校本教学资源库的建设与应用[J].高考,2018(36):54.

[3]赵艳妮,郭华磊.基于XML异构数据库迁移技术研究[J].计算机与数字工程,2018(1):129-133.

(编辑 王雪芬)

猜你喜欢

大数据
基于在线教育的大数据研究
“互联网+”农产品物流业的大数据策略研究
大数据时代新闻的新变化探究
浅谈大数据在出版业的应用
“互联网+”对传统图书出版的影响和推动作用
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究