杨彦军 徐刚 童慧

[摘   要] 随着信息技术与教育教学深度融合的加速，基于智能学习环境的线上线下混合式智慧教学将成为学校教学的新常态。智慧教学过程中产生的教育多模态数据为深度学习监测评价与反馈干预提供了新机遇。文章根据三元交互决定论与具身认知理论构建了多模态数据的分类框架，将多模态数据分为个体身体、交互行为、智能环境三类。从教师与学生、个体与群体、传统信息技术与现代信息技术三个维度对教学模式进行分类，并归纳出十二种典型学习场景。根据多模态数据分类与学习场景分类总结归纳出典型学习场景下的监测模态，进而构建基于多模态数据的深度学习监测模型，主要包括智能学习环境下的学习活动、场景学习与识别、多模态数据采集、多模态数据处理与分析、深度学习状态监测五个环节。

[关键词] 多模态数据; 学习场景; 智慧课堂; 深度学习

[中图分类号] G434            [文献标志码] A

[作者简介] 杨彦军（1981—），男，甘肃天水人。教授，博士，主要从事信息技术与教育研究。E-mail：ts.yyj@126.com。

一、引   言

随着人工智能、大数据、云计算、物联网等新技术在教育领域中的广泛应用，我国教育信息化进入了2.0时代，开启了智能时代教育变革的新征程。网络学习空间、智能教室、数字校园、未来学校等智能学习环境逐渐建成，极大地丰富了学习者的学习资源与场景。随之而来的问题是如何在线上线下融合的智能学习环境中对学习者进行有效的学习评价。2017年，国务院印发的《新一代人工智能发展规划》提出，将人工智能应用于教学、管理和资源建设的全过程，建立智能、快速、全面的教育分析系统[1]。2020年，中共中央、国务院印发的《深化新时代教育评价改革总体方案》提出，要创新评价工具，利用人工智能、大数据等现代信息技术，以教与学全过程数据为基础，提高评价结果的应用水平[2]。正如有研究者指出，基于人工智能和大数据技术的智慧学习环境将教育教学评价推向了基于全样本、全过程、全景式的教育大数据采集与分析的“数据密集型评价”的第四范式[3]。智能学习环境中，教与学全过程的多模态学习分析实证应用逐渐成为当前研究的新热点[4-5]。因此，本文聚焦于智能学习环境中基于多模态数据的深度学习监测问题展开深入研究。

二、智能学习环境中深度学习监测研究进展

智能学习环境是指能够感知学习情境、识别学习者特征、提供合适的学习资源和便捷的交互工具、自动记录学习过程、评价学习结果，从而促进学习者有效学习的学习场所或活动空间[6-7]。智能学习环境能够更好地提供适应学习者个性特点的学习支持服务，实现随时随地、以任意方式和任意步调进行“4A”学习，促进学习者轻松地、投入地和有效地实现“3E”学习[8]。大量研究表明，基于智能学习环境的个性化学习服务能够有效促進深度学习的发生，为深度学习提供反馈、资源、情感、情境、个性化支持[9-11]。通过对智能学习环境中学习者学习状态的监测，教师给予合乎伦理、多元、融入教与学中的评价，以此促进学习者的深度学习[12]。

深度学习监测是指通过收集不同的外显行为数据来监控和评估学习者的学习参与度的过程。早期智能学习环境中的深度学习监测是通过访谈、观察和教师评价等方式对学习者进行不同阶段的监控[13-14]。随着大数据、人工智能等信息技术在学习分析中的应用，智能学习环境中的深度学习监测的手段也更加智能化与多元化。颜磊等人通过选取在线学习平台中的师生提问、学生观看视频次数等行为数据分析发现，师生互动行为对学习者深度学习影响最大[15]。刘哲雨等人通过眼动数据和认知行为数据分析深度学习的发生机制，发现基于问题的学习投入能够促进深度学习[16]。王智颖等人通过对深度学习感知问卷与在线讨论内容的分析，发现基于角色轮换的在线异步讨论对大学生的深度学习具有积极的促进作用[17]。王洪江等人通过收集教学视频播放行为数据、视频观看时长和并发学习行为数据来分析学习者自主学习投入度情况[18]。仅凭借单模态数据无法准确解释学习过程的内隐性、交互性和多维性特征，需要多模态数据刻画学习者的相关学习行为[19]。

近年来，学习监测研究趋势呈现以下特点：从监测内容来看，深度学习监测内容更加依赖通过机器自动化采集的多模态数据，不再局限于传统的纸笔测验;从监测过程来看，深度学习监测更加注重课前与课后、线上与线下混合的全时段学习过程;从监测形式看，深度学习监测更加注重伴随式数据的收集;从监测结果看，深度学习监测结果会以可视化的形式进行反馈。

三、智能学习环境中的多模态数据及其采集技术方法

模态本身是一种客观存在的、可表征的符号系统。例如：人的语言、表情、眼神、手势、身体动作等经过转码后都可以称为一种模态。在教育多模态数据的分类研究方面，施耐德（Schneider）等人基于学习领域的传感器研究将多模态数据分为四种类型：活动数据、情境数据、环境数据和物理生理数据[20]。牟智佳根据多模态学习分析的空间结构对数据源进行分类，包括人机交互、学习资源、学习情境和学习符号[21]。钟薇根据数据所携带信息的特点，将多模态学习分析数据分为四类：生理数据、心理数据、行为数据和基础信息数据[22]。艾伯特·班杜拉认为，人在社会情境中的学习受环境、人及其行为的互动三个方面影响，并建立了三元交互决定论[23]，这为教育多模态数据分类框架的制定提供了基础参考。近年来备受关注的具身认知理论认为，认知是具身的、情境的，认知发展依靠经验积累，经验来自身体，身体处于生物、心理和文化的环境中[24]。对于混合式学习来说，虚实融合环境下的学习在学习者参与互动方面体现为一种具身认知学习的过程，这正是具身认知理论强调的“心身统一”[25]。两种理论都认为人的发展是受自身、他人和环境的影响。据此，笔者根据三元交互决定论与具身认知理论建立教育多模态数据分类框架，将多模态数据分为个体身体多模态数据、交互行为多模态数据、智能环境多模态数据。如图1所示。3757B235-4F36-429D-B320-B77E07B38842

多模态数据信息采集需要综合应用多种技术。数据采集的信息并不只是单一模态，还需要与其他模态组合分析来弥补研究的局限性。多模态数据已被证明在研究维度、信效度、价值性等方面优于单模态数据[26]。笔者基于相关研究文献，列出相关监测指标与监测工具。

1. 个体身体多模态数据

个体身体多模态数据主要包括生理体征数据和个体动作数据。生理体征数据的主要监测指标有皮电变化、脑电变化、心率变化等;个体动作数据的主要监测指标为眼睛注视、音调、躯干姿势、面部表情等。韩颖等人使用皮肤电传感器测量学习者的情绪状态[27];卫晓娜通过抓拍静态图像分析识别学习者注意力，在一定时间内检测学习者眨眼次数，根据眨眼次数把学习状态分为正常学习状态、离开状态、走神状态[28];齐柱柱通过基于HMM/RBF混合模型的语音情感识别技术，实时监测学习者高兴、愤怒、惊奇、悲伤、中性五种情绪[29];乔纳等人测量发现，实时互动和视频通话中眼神接触会引起自主神经唤醒和面部反应，表明对其观察者产生积极影响[30]。

2. 交互行为多模态数据

交互行为多模态数据监测指标主要有键盘输入、鼠标位移等人机交互数据，言语信息、非言语交流等生生交互数据和师生交互数据。石月凤等人通过分析论坛中互动讨论的数量变化情况探究其与学习成效之间的关系[31];王觅等人采用视频分析法及滞后序列分析法（LSA）对课堂中师生交互行为、教师提问与学生发言等进行分析，探索促进同步课堂师生交互行为的因素[32];程云等人基于教学行为序列对行为交互频度、行为交互持续时间等因素进行统计与分析，探讨课堂教学行为的交互深度[33];卢国庆等人通过人工智能引擎对课堂教学行为自动标注，分析课堂教学行为的类型、规律和差异[34]。

3. 智能环境多模态数据

智能环境多模态数据监测指标主要有位置、温度、湿度等。阎坚通过不同的传感器采集环境或者物体的准确信息，可以使智慧教室系统与校园卡、教务管理系统等其他系统的信息共享，实现课堂上教师的身份识别[35];杨红云等人通过元分析发现多媒体学习材料中使用饱和、高亮暖色、图片及拟人化设计，对于多媒体学习认知过程和学习效果有益[36]。环境多模态数据作为基础数据有助于反映智能环境下学习场景的基本特征。

四、智能学习环境中基于多模态数据的深度学习监测模型

（一）智能学习环境中的典型学习场景

学习场景是学习者及其关联存在物的关系总和，由学习者、学习时间、学习空间、学习活动四要素构成[37]。学习场景的创设取决于学校信息化环境，根据学习内容的特点和具体的学习主题，在特定的学习时间和空间中开展不同类型的学习活动[38]。因此，学习场景的类型可以根据教学模式的特点进行分类。教学模式是指在一定的教育思想、教学理论和学习理论指导下，在某种环境中展开的教学活动进程的稳定结构形式[39]。笔者根据祝智庭教授与何克抗教授对教学模式的分类[40-41]。将教学模式分为三个维度，分别是教师与学生维度、个体与群体维度、传统信息技术与现代信息技术维度。基于此构建基于多模态数据监测的教学模式分类框架，如图2所示。

教学模式根据三个维度划分为传统教学、计算机支持的讲授式教学、个别化教学、计算机支持的个别化教学、面对面小组协作学习、计算機支持的小组协作学习、自主学习、网络自主学习八种教学模式。（1）传统教学指教师通过口授、板书、演示的方式，学生主要通过耳听、眼看、手记完成知识与技能学习[42]。传统教学在技术上更多地使用板书与PPT演示[43]。因此，典型学习场景主要是教师讲授与多媒体演示。（2）计算机支持的讲授式教学是在传统教学的基础上加入了空间的要素，教师不再局限于在教室为学生讲授，可以通过直播形式进行实时教学。典型学习场景有在线讲授。（3）个别化教学是在班级授课制下关注学生各方面的差异，尊重不同生命体的教学[44]。典型学习场景有课堂答疑。（4）计算机支持的个别化教学是一对一或一对多的教学。教师根据学生的个性特点组织教学，因材施教，这是实现个别化教学的最佳形式[45]。典型学习场景有在线答疑。（5）面对面小组合作学习是指学生为实现共同的学习目标，最大限度地提高个人和他人的学习成果而相互合作的所有相关行为的总和[46]。典型的学习场景有小组讨论和小组汇报。（6）计算机支持的小组协作学习是指利用计算机技术（尤其是多媒体和网络技术）来辅助和支持协作学习[47]。典型的学习场景有在线小组讨论和在线小组展示。（7）自主学习指没有教师的强制灌输与指导，在以学生为中心的课堂中，学习者需要主动学习[48]。典型学习场景有作业与练习、实践与实验。（8）网络自主学习指在自主学习的基础上，学习者通过网络资源进行知识与技能的学习。典型学习场景有网络自主学习。根据教学模式的维度特点，每一种教学模式都包含若干个典型学习场景，共计12种典型学习场景。

（二）智能学习环境中典型学习场景的多模态数据特征

笔者结合相关学者关于不同教学场景下不同模态的研究，总结出典型学习场景中的特征模态，并列出每个学习场景下具体监测的模态指标，见表1。

教师讲授与多媒体演示主要以教师的教为主，强调知识的传递，因此，对学习者注意力和认知状态的监测尤为重要。严薇薇等人使用眼动追踪技术监测学习者注意力转移模式，发现注意控制能力较好的学习者学习表现优于平均水平[49];哈皮等人使用网络摄像头捕获面部表情、眼部参数等数据自动识别学习者的认知状态[50]。多媒体演示中，技术只是教学的辅助手段，其本质仍是教师讲授，教师仍处于主导地位。因此，在监测学习者注意力与认知状态的基础上，要增加对多媒体资源的监测，包括多媒体资源的选择、播放顺序等。

小组讨论的特点是学习者主要以对话为主，因此，主要监测学习者在小组中的参与程度。在小组讨论过程中，通过交流来不断重建自我认知。乔娜·马尔姆伯格等人发现，协作学习模式下学习者皮肤电活动（EDA）与学习者元认知和成就有关[51];莎朗·奥维亚特等人通过监测手部运动数据来记录学习者在协作学习中解决难度不同的数学问题时的协作情况[52];丁于等人通过监测学习者的眼神交流来识别三方对话者的身份[53]。小组演示是以成员的单方面汇报介绍为主，主要帮助汇报人进行知识的梳理建构。因此，主要监测学习者与成员互动、多媒体演示的后台数据（演示时长、演示顺序）等。课堂答疑的特点是教师与学习者共同探究，促进学习对知识的重新建构。教师会面对面为学习者解答提问，学习者与教师会进行言语互动，学习者不再只是被动接受知识，而是在自己对知识理解的基础上重新进行建构。因此，主要检测学习者的认知负荷、对话等数据。恩里克斯等人发现，生理信号（皮电、脑电）会在学习过程中告知特定的认知或情绪挑战[54]。特里·霍尔通过眼神接触频率与凝视时间来描述合作学习中师生的视觉行为[55]。3757B235-4F36-429D-B320-B77E07B38842

作业与练习学习场景下学习者需要独立完成任务，因此，主要检测学习者的认知负荷、作业情况等数据。作业是学生主动的行为方式，诸如对话、论文、报告、制作等表达性的作业， 可以给学生提供机会反思性地分析自己的知识状态[56]。实践与实验往往通过考察学习者的动手能力来测试或提高学习者对于知识的掌握程度。因此，主要监测学习者的动手能力、认知等方面数据。

网络自主学习的特点是学习者通过网络资源主动学习。因此，它主要监控学习者的网络活动数据、认知负荷等数据。使用日志数据可以在不打扰学习者的情况下，在微观层面跟踪学习事件[57]。李士平等人发现，查阅作品、查看自身学习情况、参与交互等三类网络自主行为数据与学习者元认知水平显著相关[58]。庄科君等人认为，网络环境下自主学习由学习者与媒体界面的操作行为、信息交换行为、学习目标行为三个不同层面的学习行为共同作用完成[59]。在网络自主学习行为中，要素是学习行为的核心，只有要素之间产生交互，学习才会发生[59]。

在线讲授的特点是时空的分离，教师只能通过网络中的虚拟课堂与学习者进行交流互动。与传统讲授式教学相比，授课内容以电子资源形式在线展示。因此，不仅需要关注学习者的认知状态与注意力，还需要监测学习者对于学习资源的使用情况。

在线小组讨论中，成员间的协作主要是通过会话的形式实现，会话是协作活动的基本要素之一[60]。可以从小组成果、个人成绩、言语对话、日志文件等内容进行评价[61]。在线小组展示是在与他人协作过程中提高团队成员的协调能力，进而主动构建自己的认知[62]。因此，需要关注学习者的认知情况、电子成果展示情况、其他组员对于小组展示的看法与评价等方面。

在线答疑与网络答疑相似，网络答疑利用计算机技术和网络技术对问题与答案进行存储，师生可以随时随地进行复习与翻阅，在线答疑相较于网络答疑更加注重时效性[63]。机器学习技术可用于检测在线学习过程中电子文本的社會影响和情感[64]。米里亚姆·穆内泽罗等人通过阐明情绪反应、感觉、情绪、情感和观点五个主观术语之间的差异以实现它们在文本中的有效检测和处理[65]。

（三）智能学习环境下基于多模态数据的深度学习监测模型

IBM公司提出大数据具有大量、高速、低价值密度、多样、真实五大特点[66]。数据、信息、知识、智慧的金字塔层次体系将原始的、未经加工的数据作为底层资源，通过简单分析数据关系可以得到信息，通过提炼信息之间的联系，有目的地展开实践，将其转化为知识，再通过知识的积累与运用，可以启迪智慧，预测未来。晋欣泉等人的智慧课堂数据流动机制模型将课堂中的师生行为数据进行采集、分析，从而反馈与评判学生“学”的成效， 以此动态调控“教”的行为， 增强智慧课堂教学的针对性， 实现师生高效智能教学[67]。笔者基于DIWK模型与晋欣泉等人的智慧课堂数据流动机制模型，设计了智能学习环境下基于多模态数据的深度学习监测模型，如图3所示，模型共由五个模块组成。

1. 智能学习环境下的学习活动

智能学习环境是以学习者为中心的，以互联网软件、计算机硬件、教师和同伴支持的学习环境，是学习活动发生的主要场所。由于教学模式的不同，会产生不同场景组成的活动序列。通过将适切性的智能技术融入学习环境中，满足学习者的学习环境需求，为教学场景识别与多模态数据监测提供基础。也能通过多模态数据评价反馈不断改善学习过程，促进学习者深度学习。

2. 场景学习与识别

作为一个自动监测系统，首先需要为系统提供充足的教学场景数据进行机器学习，通过优化算法等方法提高教学场景识别的准确性。系统通过人脸识别、电子ID信息等识别师生身份和数量等信息，通过课堂声音音量、面部表情、师生移动位置等分析师生活跃度，通过后台监测软件识别多媒体设备使用状态。系统通过师生信息、活跃度、多媒体使用状态等数据判断具体教学场景。将判断场景的特征信息录入场景特征库。当活动序列进入场景识别模块时，系统会根据场景特征进行匹配，从而进行学习场景的切片和标记。

3. 多模态数据采集

在学习场景中，系统将生理体征数据和多模态环境数据作为基础多模态数据进行实时监测。对于不同学习场景，系统会根据不同的场景特征对特征模态进行重点监测。例如：在教师讲授的场景中，系统会记录监测基础多模态数据，会重点采集皮电、脑电、眼睛注视等具有教学场景特点的多模态数据。

4. 多模态数据处理与分析

系统将采集到的不同类型的多模态数据进行数据清洗、数据标注、数据同步等，再将处理后的多模态数据通过聚类、关联等手段进行社会网络分析、语义分析、表情分析、情绪分析、注意力投入分析等。

5. 深度学习状态监测

将分析后的多模态数据可视化到教师管理界面。教师可以通过可视化方式监测学习者认知状态、行为状态、情感状态，从而把握学习者的学习状态，并通过对教学策略进行调整与改进，提高学习者的学习投入。系统还会根据当前学习者的多模态信息预测学习者的学习状态，使教师能够及时发现和帮助有困难的学习者。

五、结   语

多模态数据与学习场景分类模式让我们能以不同的视角观察课堂与教学，带来了新的学习监测方式。本文对当前智能学习环境下深度学习状态该如何监测进行了研究与探索，构建了基于多模态数据的深度学习监测模型。随着《“十四五”国家信息化规划》的发布，深化教育领域大数据分析应用，推进信息技术、智能技术与教育教学的融合，将成为未来教育领域的研究重点。当然，技术的进步也会带来相应的风险。如何平衡教育数据的隐私保护与开放使用之间的矛盾值得我们深入讨论。随着教育信息化2.0的实施，国家不断推进教育新型基础设施的建设以及线上线下教育融合，使得学习环境发生了巨大变化，混合式教学将成为常态。传感技术、大数据分析、人工智能技术的发展，为深度学习的监测提供了可能。如何在复杂的教学场景中监测学习者的深度学习状态，期望本文提出的模型能为其提供一些思路。3757B235-4F36-429D-B320-B77E07B38842

[参考文献]

[1] 中共中央，国务院.国务院关于印发新一代人工智能发展规划的通知[EB/OL].（2017-07-02）[2021-11-22].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] 中共中央，国务院.深化新时代教育评价改革总体方案[EB/OL].（2020-10-13）[2021-12-22].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.html.

[3] 朱德全，吴虑.大数据时代教育评价专业化何以可能：第四范式视角[J].现代远程教育研究，2019，31（6）：14-21.

[4] 田阳，陈鹏，黄荣怀，等.面向混合学习的多模态交互分析机制及优化策略[J].电化教育研究，2019，40（9）：67-74.

[5] 刘清堂，李小娟，谢魁，常瑀倍，郑欣欣.多模态学习分析实证研究的发展与展望[J].电化教育研究，2022，43（1）：71-78，85.

[6] 黄荣怀，杨俊锋，胡永斌.从数字学习环境到智慧学习环境——学习环境的变革与趋势[J].开放教育研究，2012，18（1）：75-84.

[7] 北京师范大学智慧学习研究院.2015智慧学习环境白皮书[R/OL].（2015-09-21）[2021-04-13].http：//sli.bnu.edu.cn/a/yanjiu chengguo/yanjiubaogao/2016/0425/168.html.

[8] 黄荣怀.智慧教育的三重境界：从环境、模式到体制[J].现代远程教育研究，2014（6），3-11.

[9] 彭培环.智慧学习环境下的深度学习分析及模型構建[J].中国教育信息化，2021（1）：10-14.

[10] 杨俊锋，龚朝花，余慧菊，Kinshuk.智慧学习环境的研究热点和发展趋势——对话ET&S主编Kinshuk（金沙克）教授[J].电化教育研究，2015，36（5）：85-88，95.

[11] 龚朝花，李倩，龚勇.智慧学习环境中的学习投入问题研究[J].电化教育研究，2018，39（6）：83-89.

[12] 郑东辉.促进深度学习的课堂评价：内涵与路径[J].课程·教材·教法，2019，39（2）：59-65.

[13] 黄鑫睿.智慧教室环境下小学生课堂学习投入度及影响因素研究[D].武汉：华中师范大学，2016.

[14] 周文叶，陈铭洲.指向深度学习的表现性评价——访斯坦福大学评价、学习与公平中心主任Ray Pecheone教授[J].全球教育展望，2017，46（7）：3-9.

[15] 颜磊，祁冰.基于学习分析的大学生深度学习数据挖掘与分析[J].现代教育技术，2017，27（12）：18-24.

[16] 刘哲雨，王志军.行为投入影响深度学习的实证探究——以虚拟现实（VR）环境下的视频学习为例[J].远程教育杂志，2017，35（1）：72-81.

[17] 王智颖，翟芸，吴娟.在线异步讨论中角色轮换脚本对大学生深度学习的影响[J].现代远程教育研究，2021，33（3）：100-112.

[18] 王洪江，穆肃，黄洁，温慧群.自主学习投入度实时分析方法及应用研究[J].电化教育研究，2017，38（10）：44-50.

[19] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019， 48： 108-119.

[20] SCHNEIDER J， B？魻RNER D， VAN ROSMALEN P， et al. Augmenting the senses： a review on sensor-based learning support[J]. Sensors， 2015， 15（2）： 4097-4133.

[21] 牟智佳.多模态学习分析：学习分析研究新生长点[J].电化教育研究，2020，41（5）：27-32，51.

[22] 钟薇，李若晨，马晓玲，吴永和.学习分析技术发展趋向——多模态数据环境下的研究与探索[J].中国远程教育，2018（11）：41-49，79-80.

[23] 班图拉.社会学习理论[M].陈欣银，李伯黍，译.沈阳：辽宁人民出版社，1989.

[24] 艾兴，李苇.基于具身认知的沉浸式教学：理论架构、本质特征与应用探索[J].远程教育杂志，2021，39（5）：55-65.

[25] 杨彦军，张佳慧.沉浸式虚实融合环境中具身学习活动设计框架[J].现代远程教育研究，2021，33（4）：63-73.

[26] HUANG Y， DU C， XUE Z， et al. What makes multi-modal learning better than single（provably）[J]. Advances in neural information processing systems， 2021， 40（2）：34-40.

[27] 韩颖，董玉琦，毕景刚.学习分析中情绪的生理数据表征——皮肤电反应的应用前瞻[J].现代教育技术，2018，28（10）：12-19.3757B235-4F36-429D-B320-B77E07B38842

[28] 衛晓娜.e-Learning系统中学生注意力识别的研究和应用[D].太原：太原理工大学，2010.

[29] 齐柱柱.基于语音情感识别的情绪监测系统研究与实现[D].南京：南京邮电大学，2018.

[30] HIETANEN J O， PELTOLA M J， HIETANEN J K. Psychophysiological responses to eye contact in a live interaction and in video call[J]. Psychophysiology， 2020， 57（6）： e13587.

[31] 石月凤，刘三女牙，刘智，韩继辉，彭晛.基于社会网络分析的在线学习行为分析实证研究[J].中国教育信息化，2019（1）：5-10.

[32] 王觅，文欣远，李宁宁，陈焕东.大单元教学视角下基于LSA的同步课堂师生交互行为研究[J].电化教育研究，2020，41（8）：74-81.

[33] 程云，王艳丽，王锋，黄克斌，张冉.课堂教学行为交互深度量化分析方法研究[J].现代教育技术，2017，27（9）：26-32.

[34] 卢国庆，谢魁，刘清堂，张臣文，于爽.基于人工智能引擎自动标注的课堂教学行为分析[J].开放教育研究，2021，27（6）：97-107.

[35] 阎坚，桂劲松.基于物联网技术的智慧教室设计与实现[J].中国电化教育，2016（12）：83-86.

[36] 杨红云，陈旭辉，顾小清.多媒体学习中视觉情绪设计对学习效果的影响——基于31项实验与准实验研究的元分析[J].电化教育研究，2020，41（1）：76-83.

[37] 刘铭，武法提.场景化学习服务模式构建研究[J].电化教育研究，2021，42（1）：87-92，114.

[38] 郭欣悦，吴峰，邵梁.职业教育虚实融合场景化学习活动设计研究[J].中国电化教育，2021（2）：131-136.

[39] 何克抗.建构主义的教学模式、教学方法与教学设计[J].北京师范大学学报（社会科学版），1997（5）：74-81.

[40] 祝智庭.关于教育信息化的技术哲学观透视[J].华东师范大学学报（教育科学版），1999（2）：11-20.

[41] 何克抗，吴娟.信息技术与课程整合的教学模式研究之一——教学模式的内涵及分类[J].现代教育技术，2008（7）：5-8.

[42] 何克抗.建构主义──革新传统教学的理论基础（上）[J].电化教育研究，1997（3）：3-9.

[43] 阎光才.讲授与板书为代表的传统教学已经过时？——不同方法与技术在本科课堂教学中的有效性评价[J].教育发展研究，2019，39（23）：1-9.

[44] 张人利.班级授课制下的个别化教学[J].教育发展研究，2013，33（12）：47-51.

[45] 朱肖川.对远程教育中集体教学和个别化教学的再认识[J].中国远程教育，2007（6）：36-40，80.

[46] 赵建华.CSCL研究的现状及发展趋势[J].中国电化教育，2009（5）：7-14.

[47] 黄荣杯.CSCL 的理论与方法[J].电化教育研究，1999（6）：25-30.

[48] 王健，郝银华，卢吉龙.教学视频呈现方式对自主学习效果的实验研究[J].电化教育研究，2014，35（3）：93-99，105.

[49] 严薇薇，旷小芳，肖云霞，郑梦雪，刘俊，杨娟.基于深度学习技术的注意力转移模式的挖掘——以二语学习者的眼动数据为例[J].电化教育研究，2019，40（8）：30-36.

[50] HAPPY S L， DASGUPTA A， PATNAIK P， et al. Automated alertness and emotion detection for empathic feedback during e-learning[C]//IEEE 5th International Conference on Technology for Education （T4E）. New York： IEEE， 2013： 47-50.

[51] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）： 6856.

[52] OVIATT S， COHEN A， WEIBEL N， et al. Multimodal learning analytics： description of math data corpus for ICMI grand challenge workshop[C]//15th ACM International Conference on Multimodal Interaction （ICMI）. New York： ACM， 2013： 563-568.

[53] DING Y， ZHANG Y T， XIAO M H， et al. A multifaceted study on eye contact based speaker identification in three-party conversations[C]//ACM SIGCHI Conference on Human Factors in Computing Systems （CHI）. New York： ACM， 2017： 3011-3021.3757B235-4F36-429D-B320-B77E07B38842

[54] HENRIQUES R， PAIVA A， ANTUNES C. On the need of new methods to mine electrodermal activity in emotion-centered studies[C]//International Workshop on Agents and Data Mining Interaction. Berlin： Springer， 2012： 203-215.

[55] HORE T. Visual behavior in teacher-pupil dyads[J]. American educational research journal， 1976， 13（4）： 267-275.

[56] 臣之，孙薇.发展主义作业观[J].课程·教材·教法，2013，33（7）：17-24.

[57] MALMBERG J， J？魧RVENOJA H， J？魧RVEL？魧 S. Patterns in elementary school students′ strategic actions in varying learning situations[J]. Instructional science， 2013， 41（5）： 933-954.

[58] 李士平，赵蔚，刘红霞，刘东亮，刘凤娟.数据表征元认知：基于学习分析的网络自主学习行为研究[J].电化教育研究，2017，38（3）：41-47.

[59] 庄科君，贺宝勋.网络自主学习行为系统框架和自主学习行为层次塔[J].中国电化教育，2009（3）：41-45.

[60] 杨刚，徐晓东.计算机支持的协作学习研究现状与发展趋势——关于CSCL的定量与定性分析[J].远程教育杂志，2010，28（3）：93-101.

[61] 张润芝.CSCL评价技术的新趋势[J].中国电化教育，2009（5）：32-37.

[62] 杨刚，徐晓东，王英彦.计算机支持的协作学习模型研究及其启示[J].电化教育研究，2010（2）：76-83.

[63] 马传志，刁树民，张晓勇，等.利用网络答疑促进计算机基础教学[J].科技创新导报，2013（12）：153-154.

[64] KOLOG E A， MONTERO C S， TOIVONEN T. Using machine learning for sentiment and social influence analysis in text[C]//International Conference on Information Technology & Systems. Cham： Springer， 2018： 453-463.

[65] MUNEZERO M， MONTERO C S， SUTINEN E， et al. Are they different？ Affect， feeling， emotion， sentiment， and opinion detection in text[J]. IEEE transactions on affective computing， 2014， 5（2）： 101-111.

[66] IBM. The 5V's of big data—watson health perspectives[EB/OL].（2016-09-17）[2022-04-10]. https：//www.ibm.com/blogs/watson-health/the-5-vs-of-big-data/.

[67] 晉欣泉，邢蓓蓓，杨现民，狄璇.智慧课堂的数据流动机制与生态系统构建[J].中国远程教育，2019（4）：74-81，91，93.3757B235-4F36-429D-B320-B77E07B38842