周来 刘丙利

(郑州财经学院,河南郑州 450000)

0 引言

随着高等教育改革事业的不断深入,近年来我国高校办学规模、内容不断发展转变,过去的生源、教学模式、管理模式亦不断由单一化向多元化方向转变。与此期间,教学数据的累积,业务流程的日趋发展,以及现阶段校情学情的评估分析等情况,无不对高校传统人工管理方式方法提出了严峻的考验。面对庞大的数据量及复杂的计算流程,高校纷纷展开对如何应用大数据技术以推动自身发展的探索。作为一项针对庞大、多类型及异构数据的管理技术,大数据技术可依托挖掘分析、交互共享、优化存储、可视化呈现等手段,推进领域活动与业务数据的优化整合,进一步实现数据价值的形成。而推进高校大数据平台的设计及应用,不仅是将大数据技术应用于高校教学管理中的一条重要途径,还是高校秉持“以人文本”理念、提升信息化建设水平及育人水平的一项重要手段[1]。因而,本文将对高校大数据平台的设计及应用进行思考研究。

1 高校大数据平台设计的关键技术

高校大数据平台设计应满足庞大、多类型及异构数据高效实时的采集、分析、存储、共享等需求,对于该平台的关键技术而言,主要包括有:一是数据采集、预处理技术。数据采集及清洗预处理应考虑各式各样的数据来源,诸如传感器、射频识别、互联网数据等。除去传统关系型数据库管理系统,诸如SQL Server、MySQL等的数据采集以外,对于系统日志的采集,主要借助开源的Scrilbe、Flume等系统;网络数据采集主要研究网络爬虫、网站提供的DPI、API等网络流量采集[2]。因为大数据的特殊性,数据采集完毕还应对其开展过滤去噪、集成变换等预处理。二是数据分析、存储及可视化技术。数据分析处理技术主要包含数据建模、分类、回归分析、关联规则挖掘等技术;数据存储主要涉及Hive、Hadoop等分布存储技术,且主要包含分布式数据仓库、分布式文件系统等;并行计算技术主要包含批处理、内存计算以及图计算技术等;数据可视化技术可提供可靠的分析图表呈现模式、便捷灵活的数据接口给其他应用调用。

2 高校大数据平台的设计

高校大数据平台设计旨在切实实现数据的价值,依托数据可视化分析工具,可便捷地与高校现有数据进行连接,高效地建立数据图表,进一步使数据的实际价值得到充分发挥。为达成这一目标,应注重实现高校大数据的数据采集、数据清洗以及数据可视化分析等功能。

2.1 数据采集

高校大数据平台数据采集应借助可靠的集成中间件技术,也就是依托B/S架构,通过Web的方式输出全面统一的可视化采集工具,直观生动地对各个流程进行设计、定义,并保障数据采集安全有序进行。作为数据分析的一大前期,数据采集应契合多种多样的数据源,以确保高校在信息化建设中数据源的转变,并做到与时下主流数据库、大数据存储等相匹配。换言之,高校大数据平台数据采集应支持与SQL Server、MySQL、Oracle等数据库的有效对接;数据采集基于分布式文件系统的大数据存储库,诸如Hive、Hadoop、Spark等;数据采集可与Excle、Csv、Json等各种类型的数据结构相对接[3]。各项采集的数据应存储于搜索引擎类文档型数据库中,从而确保亿级数据的性能及对各种类型数据的可靠支持,并可通过Web页面实时了解数据占用存储空间,以及可在数据日历上了解数据日常转变情况。对于获取的数据,应通过数据集的途径开展管理。可通过对数据集的数据设置钻取路径、设置数据归档备份,以此保障数据的安全性及系统的有序运行。另外,数据采集可结合实际需求调节为定时运行,并可日历了解接口运行状况。与此同时,还可对数据接口设置全量更新,亦或通过主键、时间戳等方式开展增量更新设置。

2.2 数据清洗

数据清洗主要是指数据分析前的数据处理能力。高校大数据平台应当对获取的数据开展清洗、加工处理,这一功能离不开数据清洗控件的有力支持,以将日常数据清洗过程中常用的方式转化为各个模板库,诸如数据过滤、数值计算、列重命名、码表提取、数据混淆、地理解析等。另外,高校大数据平台还应实现针对海量数据清洗规则的可扩展性,诸如Groovy数据清洗、Java代码数据清洗等。

2.3 数据可视化分析

数据可视化旨在让数据可实现有效便捷利用,依托数据可视化大数据分析工具,可便捷地与高校既有数据进行连接,并通过自然语言引导的方式,高效建立数据图表,进而使数据的实际价值可得到充分发挥。比如,高校管理层可通过数据可视化分析,制定接下来的决策;教务处可通过数据可视化分析,不断提升教学质量;学工部可通过数据可视化分析,及时发现学生的异常行为等。数据可视化要能够实现图表、数据报表绘制等功能,这也是数据的直观呈现方式。同时,数据可视化应支持各式各样的统计分析图表类型,绘制图表时以自然语言或者半自然语言的方式实现人机交互。图表应支持各式各样的类型,同时支持以组件化的方式提供特殊报表的二次开发能力,支持线图、数值图、地图、柱状图、区域图、饼图等常用图表,并可依照各种数据结构,开展图表的个性化配置。为提升数据的有效利用率,图表采用数据集中的数据模型,以此既可便捷利用既有字段指标列,又可对既有的字段指标列开展二次自定义过滤、计算后获取新的字段,二次自定义的新字段指标列类型包括有统计值、数值区间、时间区间、加权平均等[4]。数据报表应将数据集中的数据以表格的形式予以分析、呈现。同时,数据报表还要能够实现独立的数据筛选、权限控制功能。另外,数据报表还应支持以透视列、透视行、计算值等形式生成透视数据报表;支持配置复杂计算表达式,实现环比、同比等复杂计算逻辑。数据报表要实现Web可视化样式设计功能,设置报表表现样式,可实现报表的带格式导出,相关部门可结合实际需求通过Excel、JPEG等形式在线制作交叉报表,并借助关联数据集中的数据源开展信息填充,切实避免数据重复填报问题发生。综上,高校大数据平台架构,如图1所示。

3 高校大数据平台的应用

3.1 各高校大数据平台应用情况

随着大数据技术的迅猛发展,社会发展对熟练大数据技术的人才提出了越来越迫切的需求。与此同时,近年来国内外不断提高了对大数据平台应用的重视度。近些年我国众多高校陆续推出了数据科学专业课程,比如,北京航空航天大学、复旦大学、浙江大学、武汉大学等高校与阿里云、慧科教育签订合作协议,利用云平台推出云计算与数据科学教育课程,以期培养一批高素质的云计算及数据科学人才。国外一些高校也纷纷推进了对高校大数据平台的有效应用,比如,美国查尔斯顿学院在其官方网站上提到,其是世界上第一所推出数据科学本科课程的高校,其所设置的数据科学课程涵盖多个专业,以此充分满足了广大学生学习数据科学相关知识的需求,并表明了数据科学与各大行业的紧密联系。又如,美国德雷克塞尔大学于2016年设立数据科学本科专业,以期帮助学生面对企业数据洪流的坚实基础,通过该专业学习,学生可了解企业数据需求,构建有价值的数据使用及分析机制等。

图1 高校大数据平台架构示意图Fig.1 Schematic diagram of university big data platform architecture

3.2 利用大数据平台实现教学管理的创新

利用大数据平台实现教学管理创新,可从以下几个方面着手:一是推进教学管理信息化建设,获取各式各样的数据来源。利用大数据平台对高校教学管理工作进行深度分析,建立完善信息系统,对教学管理全面环节进行记录,开拓多样丰富的数据采集渠道。比如,通过推进对远程教育系统优化改良,摆脱传统远程教育的束缚,为教学过程提供更有力支持,全面记录每位学生的各项学习行为数据,有效评估学生的学习情况。同时,依托加强对物联网的有效应用,为人员、物品等相关管理提供有力支持,一方面提升管理质量、效率,另一方面促进积累丰富的管理数据及行为数据。二是构建大数据分析模型,满足多元服务需求。提供多元化服务是教学管理的一项重要目标,而利用大数据平台则是提供多元化服务的一条重要途径,而大数据分析模型质量重要影响着数据的价值。一些不受关注的数据在可靠的模型中,往往可实现令人意想不到的价值。为此,可通过对学生学习行为数据进行采集分析,了解学生学习需求及学习效果,提取为学生所广泛接受的教学模式,以及设计学生喜闻乐见的教学课程等,以此为教学管理创新提供有力数据支持。三是依托大数据平台,推进高校全面创新。依托对大数据平台的综合应用,可推进对各个教学管理环节的评估分析,并将分析结果应用于工作实践中,进而实现高校教学管理的全面创新。比如,可利用大数据平台对教学过程、教学满意度、师资水平、学习行为、学习成绩等进行全面分析,制定教学画像、学生画像,明确优缺点,评估发展状况[5]。又如,还可利用大数据平台对学生数量、教室使用情况、宿舍分配、网络消费、图书馆使用情况等进行全面分析,制定不同资源利用率指数,实现数据可视化,推进教学管理工作的顺利开展。

4 结语

总而言之,大数据时代提升数据质量、标准,推进高校大数据平台的设计及应用是高校信息化建设中的一项重要内容。为此,高校相关人员必须要持续探索研究,提高对高校大数据平台设计关键技术的有效认识,加强对高校大数据平台的设计及应用,不断提升高校数据管理质量、效率,为教学科研、师生发展提供更有力的数据支持。