谷洪彬 杨希 魏孔鹏

摘  要： 针对高校本身业务系统带来的不同结构海量数据的存储管理和高效利用问题，通过比较新兴的数据湖技术和传统的数据仓库的区别，构建了基于数据湖的高校数据管理体系和数据处理机制，为高校的数据治理提供了数据层的存储支持，为使用机器学习方法进行大数据分析提供了非结构化数据来源。

关键词： 高校大数据; 数据湖; 数据管理体系; 数据处理机制; 机器学习

Abstract： Aiming at the problems of storage management and efficient utilization of massive data of different structures brought by the university's own business system， after comparing the emerging Data Lake technology with the traditional data warehouse， this paper constructs a Data Lake based university data management system and data processing mechanism. The data management system and data processing mechanism provide university's data governance with data layer storage support， and provide unstructured data sources for big data analysis using machine learning method.

Key words： university big data; Data Lake; data management system; data processing mechanism; machine learning

0 引言

物联网、大数据、云计算、移动计算、人工智能正越来越多地进入人们的日常工作和生活中，这些技术潜移默化地影响着人们的生活和工作方式，也对高校的信息化建设提出了更高的要求。高校信息化建设过程中各种网络设备和应用系统产生了大量的数据，“以数据为核心资产、以数据驱动业务革新”的发展方式已成为高校迈进更高层次的必然趋势。对于传统的来自事务系统、运营数据库和业务应用的关系型数据，数据仓库可以满足高校数据治理和存储的要求，但是随着信息化建设的进展，来自物联网设备、网站、移动应用程序、社交媒体和企业应用程序的非关系型数据越来越多，很难存储在数据仓库中，而且随着人工智能在高校中的发展和应用，人工智能需要处理的多数是这些非关系型数据，对数据治理和存储提出了更高的要求。近年出现的数据湖技术能同时满足关系型数据和非关系型数据的存储，同时在性价比、数据质量、适用用户类型、数据分析领域、灵活性等方面也优于数据仓库。……