黄庆双

摘  要： 学习预警是提升混合学习效果的有效手段，如何在智慧学习环境下，应用大数据、人工智能等新兴技术实现学习预警，是混合学习领域亟待解决的首要问题。文章在梳理已有研究成果的基础上，提出来由核心目标层、工具层、内容层、技术层和结果层组成的“五位一体”的学习预警系统总体设计框架，并在总体设计框架基础上，提出基于多模态数据的学习预警系统模型和干预机制过程模型。最后，对智慧学习环境下学习预警系统的设计开发提出了建议，以期为搭建智慧学习环境下的学习预警系统提供理论参考，为教学者实现个性化指导和精准教学搭建技术平台。

关键词： 智慧学习环境;多模态;学习预警;混合学习;Hadoop

【Abstract】： Learning early warning is an effective measure to improve the effect of blended learning. It is the primary problem to be solved urgently in the field of blended learning， how to apply emerging technologies such as big data and artificial intelligence to realize learning early warning in the intelligent learning environment. Based on the related results， this paper proposed the overall design framework of “five-in-one” learning early warning system， which is composed of core objective layer， tool layer， content layer， technology layer and result layer. Based on the framework， the learning early warning system model and intervention mechanism model based on multimodal data are proposed. Finally， suggestions are put forward on the design of the learning early warning system in the intelligent learning environment. It is expected to provide theoretical reference for building a learning warning system in an intelligent learning environment and build a technical platform for teachers to realize personalized guidance and precise teaching.

【Key words】： Intelligent learning environment; Multimodal; Learning early warning; Blended learning; Hadoop

0  引言

随着云计算、大数据、人工智能技术的不断发展，有效利用新兴技术手段促进“学习测量”的精准性，已成为教育领域关注的热点话题。2018年，《教育信息化2.0行动计划》中强调，将云计算、大数据和人工智能等新技术深入到教育的方方面面。这标志着，未来的教育教学环境将走向智能化、智慧化，混合式学习、泛在学习等新型教学模式将被广泛应用。在智慧学习环境下，开展混合学习，将为更好的实施混合学习创造了条件。但对于开展混合学习来说，环境建设是基础，提升学习质量才是关键。如何充分利用智慧学习环境，结合大数据和人工智能的方法对混合学习过程中，学生的学习

状态（包括认知、行为、情感方面）进行测量，尽早发现问题并及时进行干预，将是提升混合学习效果的关键。因此，本研究试图探索智慧学习环境下，通过采集多模态数据，结合大数据、人工智能方法设计学生学习预警系统，以期通过模型设计为系统开发提供理论参考，为教育者实施“精准教学”和“精准施策”搭建平台，更为学校实施教育教学改革，提升人才培养质量提供有效手段。

1  学习预警系统研究现状

为了全面了解国内外学习预警系统的研究现状，笔者通过国内外知名数据库检索了2009年-2019年十年间相关研究成果。分别以“学习预警”、“学业预警”、“学业危机”“Learning Warning”、“Warning System for learning”、“early intervention”为关键词，在中国知网、万方数据库、SpringerLink、Web of Science中进行搜索。剔除不相关文献后，剩余研究文献28篇。从已有研究成果看，目前，国内外关于学习预警的研究成果相对较少，主要成果集中在近五年，特别是在线学习、大数据、学习分析技术发展后，关于在线学习环境的学习预警研究呈显著增长趋势。通过对文献进一步梳理发现，关于在线学习预警系统设计研究的主要内容包括三个部分：一是预警系统的数据来源。由传统的易采集和测量的结构化数据，逐步发展为不易量化的半结构化、非结构化数据与结构化数据相结合的混合数据类型。如美国的普渡大学开发的课程信號系统CS（Course signals），主要通过课程分数、学生排名、学习管理系统数据、前期学习成绩以及学生个人信息等结构化数据预测学生辍学风险以及努力程度[1]。金义富等人通过收集课程（知识点、作业情况等与课程相关的显性数据）、课堂（通过监控识别设备获取学生听课状态、讨论参与度、精力集中度等表情数据）、课外（鼠标点击、学习时长等在线学习平台数据以及身体状况和社会系统数据等）数据，使用离群数据挖掘与分析方法，构建了“三位一体”的学习预警系统模型，并建立了两类六级的信号预警系统及反馈机制[2]。二是数据的分析方法。随着学习分析、数据挖掘和机器学习方法的不断发展，深入挖掘大数据背后潜藏的奥秘，为实现精准的教学测评提供了依据。由美国Desire2Learn机构开发的学生成功系统（Student Success System）通过分析影响学生学习的主要因素，使用语义分析、学习分析技术判断学生的学习状态，对处于学习危机的学生，提供干预措施[3]。Marbouti等人通过调查学生课堂测试、

小组活动、家庭作业等数据，综合使用邏辑回归、神经网络、支持下向量机、决策树和朴素贝叶斯等方法对学生学习进行预警，效果良好[4]。王均霞等人通过收集学生在知识测评时产生的数据，使用贝叶斯网络的分析方法，对学生知识点学习情况进行预警[5];三是预警信息的呈现方式。随着个性化推荐和可视化技术的发展，学习预警信息的呈现方式由最初的分级信号灯提醒方式，逐步发展为学习结果的可视化报告。如，王林丽等人，在对比分析国外典型的学习预警系统基础上，提出了使用电子邮件、红绿灯和仪表盘进行系统自动干预与教师和管理者人工干预混合的干预策略[6]。牟智佳等人通过采集混合学习环境中学习者的学习行为数据，通过数据整合和分析技术实现对大数据的动态分析，以数字、图表、仪表盘灯可视化形式进行预警[7]。

从已有研究成果看，大数据等新兴技术的发展为学习预警系统注入了新的活力，通过采集大数据，并对其进行挖掘和分析，能够提升学习预警的精准性。但是，学习预警是个复杂的系统，随着教学环境和技术的不断发展，学习预警系统的数据来源、采集方式、存储方式以及分析方式也在不断发生变化。本研究在已有研究基础上，以智慧学习环境为背景，通过数据采集工具获取反映学生学习状态的多模态数据，基于Hadoop平台开发框架对数据进行存储，结合深度学习算法进行数据分析与处理，对预警学生采用人机混合的方式进行干预，形成智慧学习环境下基于多模态数据的学习预警系统。

2  智慧学习环境下学习预警系统的功能框架

智慧学习环境是数字化学习环境的高端形态，是未来课堂教学环境发展的主要趋势。智慧学习环境通过摄像头、传感器等数据采集工具，能够实时获取学生学习行为、状态和结果数据，对实现细粒度精准的学习测量提供了技术工具。有效利用技术手段及时监控学生在学习过程中的学习状态，并采取有效措施进行干预，有助于提升学生的学习质量和学习效果。因此，有必要构建一个能够及时监测学生学习状态的预警系统。

在构建学习预警系统之前，需要先厘清学习预警系统构建的目的是什么，实现预警系统需要具备哪些条件，从哪些维度进行预警，如何实现智能预警，以及如何呈现预警结果。结合这五个问题，本研究构建了智慧学习环境下“五位一体”的学习预警系统总体设计框架，如图1所示。

2.1  核心目标

学习预警系统设计的核心目标是系统架构的出发点和落脚点，它为系统其他组成部分的建立和实施指明了方向，使其他组成部分明确所做的一切工作都要围绕这个核心目标进行。根据系统设计的初衷，学习预警系统的核心目标是提升学生学习效果，实现个性化指导，促进教师精准教学，提高院校人才培养质量。

2.2  工具层

工具层是实现学习预警系统之前所需要考虑的准备工作。主要包括实现学习预警系统全过程数据采集和存储所需的工具。对于数据采集工作，主要围绕所需的不同维度数据进行采集。如对于在线学习平台中的日志数据、点击操作数据以及测试结果等数据的采集，一方面可以通过平台的后台管理系统获取数据，另一方面可以使用专门的网络爬虫工具抓取所需数据。对于课程学习过程中，学生的学习状态、社会交互和学习结果等多种类、多形式、多模态数据的采集，可以通过智慧教室录播系统、网络摄像头等技术采集相应数据。为了更加精准的对学生进行预警，需要实时采集大量的结构化和非结构化数据，这就对数据存储技术提出了新的要求。目前对于大数据存储技术，主要使用Hadoop平台中分布式文件存储技术（HDFS），它能够提供高吞吐量的应用程序访问，并以流的方式访问文件系统中的数据，特别适合处理大数据的运算和存储。

2.3  内容层

进行学习预警系统构建之前，除了考虑数据采集所需的工具，还要考虑能够全面反映学生学习状态的数据，进而通过系统的数据采集、分析与处理之后根据学生实际的学习状态判断是否对其进行预警。内容层是数据采集的理论依据，是进行数据分析和处理的理论基础。如果内容层面考虑不全面，系统分析结果可能存在一定的偏差或片面。根据反映学生学习状态的维度，内容层面主要围绕学生的认知、行为和情感三个方面考虑影响学生学习的因素，并从这三个方面出发，以细粒度的方式收集相关变量。

2.4  技术层

技术层是学习预警系统构建的核心和关键。技术层主要完成对数据的清理、筛选、整理和分析计算工作。通过多种类型数据的整合、计算处理之后，形成预警模型。当工具层获取新数据到系统后，通过与预警模型进行比较，分析新输入数据是否需要预警，为结果层提供判断依据。技术层主要使用数据统计、数据挖掘、学习分析和机器学习等的相关技术方法，实现数据的分析、计算和处理。具体方法的选择根据数据的类型、运算的速度、预警结合需求的不同选择不同的算法。

2.5  结果层

结果层是系统的输出部分，是在数据采集工具获取数据后，经过系统内部数据的分析处理而得到的可视化效果。一方面可以呈现每个学习者个体学习状态变化情况的可视化报告，另一方面可以呈现班级全体学生在内容层面各个维度的状态报告。根据学习者个体和整体的学习状态，系统通过技术层的模型计算，分析是否需要预警。如果需要预警，系统将对学习者个人以系统自动干预与人工干预相结合的方式进行干预。对于班级全体学生的学习状态，教师将根据可视化分析结果进行人工干预。

3  基于多模态数据的学习预警系统模型设计与分析

3.1  学习预警系统模型设计

传统的学习预警系统多以分析在线学习过程中学习者的学习行为数据为主，对学生在学习过程中的学习状态进行预警。而对于传统的课堂学习来说，由于学习者在学习过程中的认知、行为、情感方面的数据采集不便，并且缺乏有效的方法进行数据分析与处理，因此，忽视了传统课堂学习过程中学习者学习预警系统研究。智慧学习环境的出现，为实现线上、线下融合的混合学习过程中大数据的采集搭建了技术平台。同时，随着人工智能技术在教育领域的应用，使用深度学习分析方法对融合了多模态数据的建模提供了高效的数据分析方法。因此，本研究围绕“五位一体”的总体设计框架，提出在智慧学习环境下，构建基于多模态数据的学习预警系统模型，对在未来智慧学习环境中的学习过程监控提供理论框架。其系统模型设计如图2所示。

3.2  学习预警系统模型分析

（1）数据来源

基于多模态数据的学习预警系统的基础是能够获取多种类型的数据资源。结合智慧学习环境下开展混合学习的特点，数据来源包含学生参与在线学习云平台的学习行为数据，学生在智慧教室环境中产生的课堂学习过程数据以及在学校综合信息管理系统中能够反映学习个体特征的信息。在线学习云平台中的学习过程数据的采集，一方面可以通过在线学习云平台的后台数据库获取所需的数据，另一方面还可以使用Scrapy等爬虫工具爬取相关数据，以便后期的处理和加工。智慧教室可以使用智能录播系统或网络摄像头等录制课堂教学视频，从课堂教学视频中分离课堂学生学习状态、行为及面部表情数据，以便进一步分析。此外，在监测学生学习状态时，除了学生在学习过程中的行为表现、情感变化、测评结果等数据之外，学生当下学习课程的先修课程以及相关课程学习情况，学生的学习风格以及心理状态等因素都可能会对学生在学习过程中的学习状态和效果产生一定的影响。因此，需要从学校综合信息系统中采集相关数据以实现对学生学习状态的精准预警。

（2）数据采集模块

数据采集模块是后期进行数据分析与处理的基础，是整个系统正常运转和影响分析结果有效性的关键环节。数据采集模块主要通过数据来源层抽取能够有效反映学习者在混合学习过程中学习状态的数据。其中通过在线学习平台获取的数据主要包括平台操作数据（视频点击数、视频回放次数、学习时长）、社会交互数据（发帖量、回帖量、参与讨论贴量、访问聊天室次数）、测试结果数据（提交任务时间、任务完成情况、回答正确率）。这些数据主要反映学生者在在线学习过程中的投入程度。在课堂学习过程中，主要采集的数据包括：课堂听课状态数据（抬头听课时间、记笔记时间、看手机次数）、课堂互动数据（回答问题的次数、小组讨论中发言次数、关注课堂讲授持续时间）、课堂任务/测试数据（课堂任务完成度、任务/测试完成正确率等）和面部表情数据（高兴、疑惑）。系统通过与学校综合信息管理系统中对接，获取学生个人的基本数据（学生个人基本信息、学习风格等）和课程相关信息（排名、挂科课程数、挂科课程与本课程相关度）以及学生心理状态数据。

（3）数据存储模块

数据存储模块主要工作是为系统提供数据资源存储的大数据仓库。这些数据是数据采集模块中的数据经过数据清洗、转换后存储到数据仓库中。但由于数据来源的多样性，存储到数据仓库中的数据包含了传统数据库中的TXT或EXCEL数据、关系型数据以及一些非结构化数据，这些数据需要存放到不同类型的数据库中。为了提升数据存储和处理速度，满足不同类型数据的需要。数据存储模块主要采用Hadoop软件中的HDFS和HBase分布式数据存储技术，方便后期数据频繁的读写和快速的加工处理。

（4）数据处理模块

对于分布式计算，主要使用Hadoop中MapReduce分布计算框架，同时结合Mahout技术，实现基于多模态数据的深度学习模型的建立。为了持续不断的优化模型，系统采用Spark技术实现离线模型训练。在数据处理模块中，最为重要的就是基于多模态数据深度学习模型设计。多模态数据的深度学习模型是实现学习预警系统的核心技术，模型算法的选择直接影响到分析结果的可信度和有效性。本研究根据学习预警的目标以及数据采集的类型，主要使用卷积神经网络（CNN）和长短期记忆网络（LSTM）算法，结合混合型多模态数据融合策略，构建基于多模态数据的深度学习模型。

（5）可视化分析模块

可视化分析模块是为用户端提供可视化分析结果所提供的服务。该模块主要使用Echarts技术实现数据分析结果的可视化。呈现的内容包括学生个人学习状态变化和学生整体学习状态的变化。呈现的方式以图表、仪表盘和雷达图的形式呈现。系统除了对学生个体和群体的学习状态进行可视化分析之外，还通过数据分析处理层对收集到的学生学习相关数据进行比对判断，分析学习者个体当前学习状态是否需要预警。如果需要预警，系统根据采集到的数据，通过归因分析引擎分析影响学生学习状态的主要原因，以发送提醒信息、推送个性化学习资源、鼓励等的方式显示在学生应用的客户端上（平板、可穿戴设备等），实现的系统自动的个性化干预。若干预措施未发挥作用，学习者仍处于低投入的学习状态。需要发挥教师提醒或其个别指导作用，使学生尽快调整学习状态，投入到课堂学习过程中。若是班级学生整体学习状态均低于模型标准，那么就需要教师及时调整教学进度和教学策略，激发学生学习热情，调动学生学习积极性。具体干预模型如图3所示。

4  小结与反思

本研究主要参考Hadoop技术框架，设计了智慧学习环境下，基于多模态数据的学习预警系统。该系统的构建为未来智慧学习环境中，搭建混合学习预警系统提供了理论参考，为教学者及时了解学生个体及整体的学习状态，实施个性化指导、精准教学提供技术工具。但是，系统模型的设计毕竟是处于理想状态，若真正开发实现，一方面在数据采集方面需要进行更为精准和细粒度的划分，另一方面在数据分析层，基于多模态的深度学习模型是核心技术，需要在系统开发之前，进行大量的前期实验和模型训练，以提升预警结果的有效性。

参考文献

[1]Arnold K E， Pistilli M D. Course signals at Purdue： Using learning analytics to increase student success[C]// International Conference on Learning Analytics & Knowledge. 2012.

[2]金义富， 吴涛， 张子石， 等. 大数据环境下学业预警系统设计与分析[J]. 中国电化教育， 2016（2）： 69-73.

[3]Essa A， Ayad H. Improving student success using predictive models and data visualisations[J]. Research in Learning Technology， 2012， 20（sup1）： 19191.

[4]Marbouti F， Diefes-Dux H A. & Madhavan， K. （2016）. Models for ear?ly prediction of at-risk students in a course using standards-basedgrading[J]. Computers & Education， 103， 1-15.

[5]王均霞， 俞壮， 牟智佳， 等. 学习测评大数据支撑下面向知识点的学习预警建模与仿真[J]. 现代远距离教育， 2019（04）： 28-37.

[6]王林丽， 叶洋， 杨现民. 基于大数据的在线学习预警模型设计——“教育大数据研究与实践专栏”之学习预警篇[J]. 现代教育技术， 2016， 26（07）： 5-11.

[7]牟智佳， 李雨婷， 严大虎. 混合学习环境下基于学习行为数据的学习预警系统设计与实现[J]. 远程教育杂志， 2018， 36（03）： 55-63.