吴军其 吴飞燕 张萌萌 戴新菊 张影

[摘   要] 在协作学习中，学习投入是影响学生学业成功和教育教学质量的重要因素，对其有效测评能为教师研判协作活动提供依据。人工智能和智能感知技术的发展催生了智慧课堂，学习投入测评方式也由单一维度向多模态融合分析转变。文章基于多模态学习分析理论，结合智慧课堂协作学习的特点，探讨技术与学习测评的深度融合，从行为、认知和情感三个维度分析学习投入，构建智慧课堂协作学习投入度分析模型并在实际课堂中应用。实践发现来自智慧课堂协作学习过程的视频、音频、日志、生理和自我报告等多模态数据，其中的每一模态数据均有与学习投入度呈相关关系的特征变量。研究结果表明，基于多模态数据的测评能较全面地反映学生的学习投入状态，为协作学习中教师精准施策提供依据，促进教育评价数据化、科学化、精准化。

[关键词] 多模态学习分析; 智慧课堂; 协作学习; 学习投入度; 模型

[中图分类号] G434            [文献标志码] A

一、引   言

协作学习在培养学习者团队协作精神、发展社交技能、促进高阶认知发展等方面具有其他教学模式无可比拟的优势，受到教育研究者和实践者的一致重视[1]。然而，协作学习常出现搭便车、参与不均和交互缺乏深度等投入不足的现象[2-3]。研究表明[4-5]，教师的有效监控、干预和指导能促进学生的学习投入以提高协作学习的效率。那么，如何有效监测学生的投入状态，为协作学习中教师精准施策提供依据就成了研究焦点。

早期协作学习投入度测评常用方法包括自我报告法、教师打分法和访谈法等。其中应用最为广泛的是以“NSSE（美国全国大学生学习投入调查问卷）”为代表的自我报告测评方法。随着在线学习普及，数字画像成为测评学习投入度的重要方式之一，Soffer等通过收集在线平台学习者日志数据，开展学习投入度测评研究[6]。然而，学习过程是复杂的，自我报告数据或日志数据均只提供学习过程的部分信息，难以全面描摹学生的学习状态。智慧课堂的到来，为学习过程的多模态数据收集带来极大便利，在协作学习测评中出现“对多模态的呼吁”[7]。Martínez等通过计算机、麦克风和传感器收集协作学习过程数据，以此分析学生的学习状态[8]。马志强等利用多模态数据挖掘影响协作学习投入度的因素[9]。以上研究表明，基于多模态数据的测评方式能更全面、科学地评价协作学习的投入状态。可见，多模态学习分析是技术和教学深度融合的产物，协作学习投入度的测评将逐渐由单一维度转变为多模态融合分析。

二、多模态数据表征的学习投入度分析

（一）多模态学习分析内涵

互联网技术急剧发展催生大量数据，数据驱动循证在教育改革中兴起，多来源、多维度数据融合支撑的教学研究已成为未来学习分析的趋势[10]。由此，多模态学习分析逐渐兴起，它是指以学习理论为核心，以交互、感知、语义理解技术作为支撑，尽可能收集学习过程中的声音、视频、问卷等多模态数据，围绕学习过程中所产生的学生生理和行为数据进行分析，以揭示学习规律[11]。多模态学习分析具有鲜明的特征：互补性、互证性、融合性和转换性[12]。即每一样态的数据都是对某一学习现象的部分解释，多种模态数据互补共同解释教学全过程;不同类型的学习数据验证同一教学现象或结果，提高结果的科学性和公信力;各种样态的数据相互融合，共同表征某一类学习指标;同时，物理数据可转换为数字数据并可视化，以便教师依据数字画像进行精准教学。

（二）多模态学习分析在学习投入度测评中的应用

运用多模态数据测评学习并不是新应用，早在20世纪90年代，Ambady等人通过“薄片”（即短视频片段）分析大学生的身体和非语言行为，以此来预测学生的期末表现[13]。R.Munoz通过微软Kinect传感器自动捕捉、识别和可视化十种身体姿势，获取学生的手势、动作、表情等数据，并结合传统考试等方法，科学、全面地评估学生的学习[14]。Kaori Tamura运用眼动仪和脑电仪收集学习者多模态数据，挖掘自主学习中存在的问题[15]。在学习投入度测评方面，早期研究者多使用机器学习算法，构建可以解释学生学习投入的模型。随着传感器、可穿戴设备和脑电仪等智能感知设备在教育中推广，利用音视频、日志和生理等多模态数据测评学习投入已成为重要的发展趋势[16]。Carolis等提出通过分析学习者表情、动作并借助问卷调查可获得对学习投入的有效评估[17]。张琪等运用多模态数据表征学习投入，建立包含学习者瞬时行为数据、内容交互数据、情境互动数据的分析框架[18]。马志强等基于学习过程的多模态交互信息，构建了协作学习投入度分析框架[9]。学者们从理论和框架方面给出多模态数据测评学习投入度的思路，但基于案例和实践的研究较少，另外对特定教学环境比如在智慧课堂、对特定教学活动比如协作学习中运用多模态数据测评学习投入的研究较少。

综上所述，运用多模态数据测评学习投入度能较全面、科学和系统地分析学生的学习状态，随着技术和教育的深度融合，传统单一维度的测评方式将逐渐转为多模态数据测评模式。本研究基于多模态学习分析理论，构建智慧课堂协作学习投入度测评模型并应用到实践，期望从理论到实践为多模态数据测评智慧课堂协作学习投入度提供些许参考。

三、智慧课堂协作学习投入度分析模型构建

（一）模型构建

1. 设计目的

本研究以智慧课堂协作学习投入度评价为研究对象，构建基于多模态的智慧课堂协作学习投入度分析模型。該模型的应用，为教师在协作学习环节精准施策提供脚手架，促进学生在协作学习中的投入，提升学习投入度测评的科学性和公信力，提高课堂教学效率。

2. 模型要素

本研究参考李新学者提出的多模态学习投入度测评方法[19]和马志强学者提出的协作学习投入度分析路径[9]，确定了智慧课堂协作学习投入度分析模型涵盖环境要素、教学活动、测评内容和测评方法这四大模块。其中，环境要素指智慧课堂特有的软硬件设备及功能;教学活动包括协作学习教学环节及其教学流程;测评内容指学习投入度及其包含的维度;测评方法即多模态数据测评，运用多模态数据进行特征提取以表征学习投入状态。

3. 设计思路

在进行学习分析时，需先明确分析的对象，即教学活动;然后再确定评价的内容，包括评价维度和指标;进而考虑采用什么测评方法。因此，在设计智慧课堂协作学习投入度分析模型时，把教学活动设定为模型的核心，测评内容围绕教学活动而设计，测评方法则依据测评内容需要进行选择，环境要素伴随并影响着教学活动、测评内容和测评方法这三个要素而存在。模型设计的具体流程为：第一，确定教学活动为协作学习，明确其要素和流程;第二，围绕协作学习活动，确定测评内容为学生的学习投入度，包括行为投入、认知投入和情感投入;第三，确定测评方法，包括采集的数据源以及数据所表征的特征变量;第四，挖掘智慧课堂支撑学习投入度测评的环境优势，如技术、设备和资源等;最后，构建具有“智能化、全流程、多维度、多模态”的智慧课堂协作学习投入度分析模型，如图1所示。

（二）模型内涵

1. 智能化的技术环境

智慧课堂具有鲜明的技术特征：教学决策数据化、学习评价即时化、交流互动立体化、资源推送智能化和教学呈现可视化[20]。在协作学习中，要善于发挥智慧课堂优势，创设智能化的学习环境。例如，运用智慧课堂的互动分组、无线投屏和交互白板等工具支持协作学习的讨论、演示和分享，营造友好的协作学习氛围;运用智慧学习平台随时随地开展学习，形成泛在的协作学习环境;运用智慧录播系统和智能感知设备收集学习过程多模态数据，形成基于数据循证的评价和反馈机制。总之，要充分挖掘环境优势，推动技术与教学深度融合，基于数据循证精准施策，提升学生协作中的投入度，从而提高课堂效率。

2. 全流程监测协作学习

协作学习过程涵括课前准备、任务呈现、协作过程和成果分享等环节，学生在任何一个环节的投入状态都有可能影响到最终的学习效果。因此，需要线上和线下，课前、课中和课后，全流程捕捉、记录和跟踪协作学习过程，及时诊断学生学习投入状态，形成协作学习全流程多方位的监测、评价和反馈闭环。

3. 多维度测量学习投入

学习投入是表征学习效果最直接的指标之一[21-22]， Fredricks等人通过大量实证研究提出学习投入包含行为投入、认知投入和情感投入[23]。行为投入指学习者带有动机、目标和毅力等特性参与任务互动[24]，如在协作中的角色扮演、参与度和互动情况等。认知投入是指学习者在学习过程中调用的认知策略[25]，如学习者在协作中对知识（记忆、理解、应用、分析、评价、创造）、技能（了解技能、掌握技能、解决问题）和能力素养（合作能力、沟通能力、创新能力、审辩思维能力）方面的展示。情感投入是一种情绪，包括学习兴趣和学习风格，如学生在协作中显露出的高兴、厌倦等情绪，或是对协作互动和协作资源表现出的兴趣和偏好等。总之，从行为、认知和情感多个维度测量学习投入度，能全面客观描摹学生的学习效果。

4. 多模态数据表征学习投入状态

多模态学习分析通过整合多个模态数据，能够为教育科学研究提供准确研判[26]。学生协作学习中的行为投入、认知投入和情感投入是通过动作、表情、语言、生理变化、心理变化和自我报告等表现出来的。在智慧课堂中，利用智能设备如录播系统捕捉学生的动作、表情和姿势，形成视频数据;利用智慧平台记录学生学习印记，形成日志数据;利用录音笔记录学生讨论内容，形成音频数据;利用智能感知设备如智能手环记录学生的生理数据;利用量表获取学生自我报告数据。将这些多模态数据进行融合和分析，进而反映学生学习投入状态，例如，视频数据记录面部表情中的专注、厌烦以及困惑可表征学生的情感投入和认知投入;日志数据记录的学习时长可表征学生的行为投入;量表自我报告数据可表征行为、认知和情感投入;生理数据如心率、压力可表征学生的行为和认知投入。

四、智慧课堂协作学习投入度

分析模型实践应用

本案例将多模态数据表征的智慧课堂协作学习投入度测评模型应用到一线教学，期望能从实践层面为智慧课堂协作学习投入度测评提供借鉴。

（一）实验设计

以H高校“化学教学论”的“高中化学模型建构”一课为例开展实验研究。该课程在智慧教室进行，智慧教室有录播系统、无线投屏、互动分组、交互白板、移动终端和“小雅”平台等工具。本课教学流程包含预习、理论讲授、实践体验和总结提升四个教学环节，其中实践体验部分是学生的协作学习，教学流程如图2所示。

（二）实验过程

本实验针对智慧课堂协作学习环节，首先采集每组学生的多模态数据;然后对各模态数据进行编码和统计;最后对数据进行分析。

1. 数据采集

采集学生协作学习过程中的音频数据、视频数据、“小雅”平台数据、生理数据、问卷自我报告数据和作品评价量规数据，数据采集过程如图3所示。

在数据采集中，利用智慧教室录播系统和摄像机多机位采集各小组视频数据;利用录音笔采集各小组音频数据;利用“小雅”平台收集学生日志数据;利用智能手环采集学生心率和压力等生理数据;利用在线调查系统收集学生自我报告问卷数据。其中该问卷是在分析智慧课堂协作学习特点的基础上，参考彭绍玲学者的“同伴关系与大学生学习投入的现状调查问卷”[27]和汪雅霜学者的“大学生学习投入度量表”[28]改编而成，包含行为投入、认知投入和情感投入三个维度，行为层面由小组学习中的角色扮演、小组活动参与度和课堂交互组成;认知层面包括知识、技能和能力素养;情感层面主要为小组学习喜好。运用SPSS对整体问卷进行可靠性分析，Cronbach's Alpha值0.847，說明该问卷有较高信度;同时邀请专家对问卷效度进行评判，专家们一致认为该问卷具有较好的内容效度。利用量规采集学生协作学习成果的评价数据，量规是由三名化学教学论专业资深教师共同制订而成。

2. 数据编码及统计

对采集到的各模态数据进行特征提取、编码和统计。其中，视频数据、音频数据、“小雅”平台数据、问卷自我报告数据的分析内容和编码维度如图4所示。

（1）视频数据编码统计

视频数据主要分析学生的面部表情、头部姿势和手部动作。其中，面部表情编码识别采用FACS表情识别工具，并结合孙波学者情感与AU的关系框架[29]进行统计分析。将各小组视频每间隔3秒抽样一次各生成584个样本，在Nvivo中进行编码和统计。

（2）音频数据编码统计

从学生讨论（与课程内容相关、与课程内容无关）、安静或混乱两个维度三个指标进行音频内容切割，运用累计时长法在EXCEL中统计，获取各小组音频对应编码维度时长。

（3）“小雅”平台数据统计

按照图4“小雅”平台数据编码维度，收集各小组成员的日志数据，并将该数据从平台导出到SPSS中，以便后续进行数据分析。

（4）问卷数据编码统计

将问卷调查系统数据导出，问卷选择题数据导入到SPSS中分析，问卷开放题数据按组归类，每组为一个案例导入Nvivo编码分析。

（5）生理数据编码统计

从智能手环读取学生心率和压力数据并进行统计，统计维度为每位学生心率变化极差（最大心率—最小心率）、压力变化极差（最大压力—最小压力）以及压力分布（偏高、中等、正常、放松）。

（6）量规数据处理

量规测量各组学习成效，计算每组最终成绩，并将成绩前27%的小组定义为高成就，后27%小组定义为低成就。

3. 数据分析

在标注高成就的小组中随机抽取一组作为高成就组，在标注低成就的小组中随机抽取一组作为低成就组，对这两个小组的学习投入数据进行比较分析。

（1）音频数据分析

在本課的协作学习中，高、低成就组在安静或混乱、讨论内容与课程相关、讨论内容与课程无关这三个方面的时长如图5所示，结果显示两组在讨论或混乱的时长基本相等，高成就组在讨论与课程内容相关方面的时间较长，在讨论与课程内容无关的时间较短。

（2）视频数据分析

对每个学生面部表情、头部姿势和手部动作这三个维度对应的高兴、困惑、厌烦、惊讶、疲劳、专注、自信、抬头、低头、歪头以及和同伴交流时有手部动作共11个指标进行分析，通过SPSS对高低成就组的这11个指标均进行Mann-WhitneyU检验，结果显示高、低成就组学生在协作学习中困惑、疲劳、专注以及和同伴交流时有手部动作这四个方面有显著性差异，如表1视频数据分析结果所示。在协作学习中高成就组的学生呈现出的专注度高，而且他们较喜欢在表达观点时辅以手部动作，低成就组的学生较容易出现困惑和疲劳等面部表情。

（3）“小雅”平台数据分析

对每个学生在平台上的任务完成度、学习时长、自主观看、作业、讨论和随堂测试成绩这6项进行分析，通过SPSS对高、低成就组的这6项均进行Mann-WhitneyU检验，结果显示高、低成就组在“小雅”平台任务完成度和讨论这两个方面有显著性差异，如表1“小雅”平台数据分析结果所示，高成就组的任务完成度和讨论数量显著高于低成就组。

（4）生理数据分析

对生理数据中每个学生的心率变化极差、压力变化极差、压力偏高、压力中等、压力正常和压力放松这6项指标进行分析，通过SPSS对高、低成就组这6项指标均进行Mann-WhitneyU检验，结果显示高、低成就组学生在心率变化极差和压力变化极差存在显著性差异，如表1生理数据分析结果所示。高成就组的心率变化极差显著高于低成就组，而压力变化极差显著低于低成就组。

（5）问卷数据分析

运用SPSS对高、低成就组问卷中21个题项均进行Mann-WhitneyU检验，结果显示高、低成就组学生在行为维度中的“明确小组分工”和“小组成员都参与了讨论”这两项存在显著性差异;在认知维度中的“课前推送的资源，为我在协作讨论中提供想法”存在显著性差异;在情感维度中的“喜欢互动投屏分享成果”和“录播系统能督促学习”这两项存在显著性差异，如表1中的问卷自我报告数据分析所示。

（三）结论与讨论

1. 基于多模态的测评能较全面反映学生的投入状态

从以上数据分析发现：第一，音频数据表征的学生讨论内容与课程是否相关会影响其学习投入度。第二，视频数据表征的在协作学习中当学生表现出专注，或在讨论中辅以手部动作时，其投入度较高;反之，当出现困惑或疲劳表情时，其投入度低。第三，日志数据反映的在课程平台中完成任务和积极开展讨论能表征学生学习投入度较高。第四，生理数据反映的当学生心率有较大波动时，学习投入度高;反之，当压力变化波动较大时，学习投入度低。第五，自我报告数据反映的在协作学习中明确小组分工、小组成员都参与讨论、课前推送资源、运用互动投屏分享成果和利用录播系统监测学生，这些都有利于提高学生的学习投入度，见表2。可见，影响智慧课堂协作学习投入度的因素较复杂，基于多模态数据表征的智慧课堂协作学习投入度分析模型能较全面地挖掘影响学生投入度的相关因素，能科学客观地评价学生协作学习的投入状态。

2. 基于多模态的测评为协作学习中教师精准施策提供依据

在智慧课堂中，教师通过监测多模态数据表征的协作学习投入状态，对小组学习进行研判并施策。如表2所示，当学生面部表情出现困惑或疲劳，或者压力变化波动过大，或讨论内容与课程无关，这都表示其学习投入度较低，教师可适时进行干预;当其面部表情表现出专注或与同伴交互过程中出现手部动作，或心率变化波动较大，或讨论内容与课程相关，这些现象表明其学习正在投入状态，教师不宜打扰。另外，在协作学习中，加强课前预习环节的引导、明确小组分工、督促每个成员参与小组学习、利用好智慧教室的无线投屏分享成果及录播系统监测学习的功能，这些能大大提高学生的学习投入度，教师要努力为学生创造诸如以上条件的友好的协作学习环境。

3. 基于多模态的测评促进教育评价数据化、科学化、精准化

本研究利用多模态数据监测学习投入的变化规律，较全面地揭示了学生在协作过程中行为、认知和情感的投入状态，突破了传统单一数据源测评的局限，为教师课程设计、教学活动组织和教学工具的选择提供有价值的依据。2020年9月中共中央、国务院印发《深化新时代教育评价改革总体方案》，标志着我国教育评价改革进入前所未有的重视阶段，人们期望采用更可靠、更高效、更智能的手段整合多维度、多层次的信息，制定更具准确性和解释性的测评方案，来推动教育评价改革顺利开展[30]。多模态理念为充分利用现代技术、创新教学评价方法和开发教育评价工具提供新的思路，其将赋能教育评价逐渐向数据化、科学化、精准化的方向发展。

五、结   语

智能技术的发展，为解决协作学习投入度测评单一的问题，带来了新的方法。我国多模态学习分析尚处在探索阶段，理论研究和实践应用任重道远。随着人工智能与教育融合发展，多模态学习分析将成为促进教育评价改革的中坚力量。本研究基于多模态学习分析理论，构建智慧课堂协作学习投入度分析模型并在教学实践中应用，为全面、科学、精准地分析学习投入提供参考路径。下一步研究将在更大范围内开展实验，通过设计不同类型和不同难度的任务开展课堂实践，获取更丰富和更具代表性的数据，从而提升模型通用性和准确性。

[参考文献]

[1] 毛刚，刘清堂，吴林静.基于活动理论的小组协作学习分析模型与应用[J].现代远程教育研究，2016（3）：93-103.

[2] 李京杰，马德俊.博弈论与协作学习的组内合作及组间竞争问题探讨[J].电化教育研究，2010（2）：18-21.

[3] 陈向东，罗淳，张江翔.共享调节：一种新的协作学习研究与实践框架[J].遠程教育杂志，2019，37（1）：62-71.

[4] 李艳燕，邢爽，包昊罡，苏友，张媛.在线协作学习中学习分析工具对教师干预的影响研究[J].中国电化教育，2019（2）：80-86.

[5] 郑兰琴，梁妙.教师指导对协作学习效果影响的实证研究[J].电化教育研究，2014，35（8）：89-94.

[6] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[7] SCHNEIDER B， BLIKSTEIN P. Unraveling students' interaction around a tangible interface using multimodal learning analytics[J]. Journal of educational data mining， 2015， 7（2）：217-231.

[8] MART？魱NEZ R， COLLINS A， KAY J， et al. Who did what？ Who said that？ Collaid： an environment for capturing traces of collaborative learning at the tabletop[C]//In Proceedings of 2011 Acm International Conference on Interactive Tabletops and Surfaces. New York： ACM， 2011：172-181.

[9] 马志强，岳芸竹，王文秋.基于多模态交互信息的协作学习投入分析[J].现代教育技术，2021，31（1）：47-53.

[10] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）：338-349.

[11] 牟智佳.多模态学习分析：学习分析研究新生长点[J].电化教育研究，2020，41（05）：27-32，51.

[12] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）：6856.

[13] AMBADY N， ROSENTHAL R. Half a minute： predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness[J]. Journal of personality and social psychology， 1993， 64（3）： 431.

[14] MUNOZ R， BARCELOS T S， VILLARROEL R， et al. Body posture visualizer to support multimodal learning analytics[J]. IEEE latin America transactions， 2018， 16（11）：2706-2715.

[15] TAMURA K， LU M， KONOMI S， et al. Integrating multimodal learning analytics and inclusive learning support systems for people of all ages[C]//International Conference on Human-computer Interaction. Cham： Springer， 2019：469-481.

[16] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： A

"grey-box" approach[J]. British journal of educational technology， 2019， 50（6）：3004-3031.

[17] CAROLIS B D， D'ERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//Proceedings of the IEEE International Conference on Web Intelligence. New York： ACM， 2019：80-85.

[18] 張琪，王红梅.学习投入的多模态数据表征：支撑理论、研究框架与关键技术[J].电化教育研究，2019，40（12）：21-28.

[19] 李新，李艳燕，包昊罡，程露.学习投入测评新发展：从单维分析到多模态融合[J].电化教育研究，2021，42（10）：100-107.

[20] 孙曙辉，刘邦奇，李鑫.面向智慧课堂的数据挖掘与学习分析框架及应用[J].中国电化教育，2018（2）：59-66.

[21] 郭建鹏，刘公园，杨凌燕.大学生学习投入的影响机制与模型——基于311所本科高等学校的学情调查[J].教育研究，2021，42（8）：104-115.

[22] 刘繁华，易锡添.在线学习投入的分析模型构建及应用研究[J].电化教育研究，2021，42（9）：69-75.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[24] 武法提，张琪.学习行为投入：定义、分析框架与理论模型[J].中国电化教育，2018（1）：35-41.

[25] 马志强，苏珊，张彤彤.基于学习投入理论的网络学习行为模型研究——以“网络教学平台设计与开发”课程为例[J].现代教育技术，2017，27（1）：74-80.

[26] 吴永和，郭胜男，朱丽娟，马晓玲.多模态学习融合分析（MLFA）研究：学理阐述、模型样态与应用路径[J].远程教育杂志，2021，39（3）：32.

[27] 彭绍玲.同伴关系对大学生学习投入的影响研究[D].南昌：江西师范大学，2021.

[28] 汪雅霜.大学生学习投入度的实证研究——基于2012年“国家大学生学习情况调查”数据分析[J].中国高教研究，2013（1）：32-36.

[29] 孙波，刘永娜，陈玖冰，罗继鸿，张迪.智慧学习环境中基于面部表情的情感分析[J].现代远程教育研究，2015（2）：96-103.

[30] 骆方，田雪涛，屠焯然，姜力铭.教育评价新趋向：智能化测评研究综述[J].现代远程教育研究，2021，33（5）：42-52.

Construction and Application of Collaborative Learning Engagement Analysis Model for Smart Classroom from A Multimodal Perspective

WU Junqi，  WU Feiyan，  ZHANG Mengmeng，  DAI Xinju，  ZHANG Ying

（Faculty of Artificial Intelligence in Education， Central China Normal University， Wuhan Hubei 430079）

[Abstract] Learning engagement is an important factor affecting students' academic success and education and teaching quality in collaborative learning. Evaluating students' learning engagement effectively can provide the evidence for teachers to analyze and judge collaborative activities. The development of artificial intelligence and intelligent perception technology leads to the smart classroom， and the evaluation method of learning engagement has also changed from a single-dimensional one to multimodal fusion analysis. Based on multimodal learning analysis theory， combined with the characteristics of collaborative learning in smart classroom， this paper discusses the deep integration of technology and learning evaluation， analyzes learning engagement from three dimensions of behavior， cognition and emotion， constructs an analysis model of smart classroom collaborative learning engagement， and applies it in practical classes. It is found that multimodal data such as video， audio， log， physiology and self-report from the collaborative learning process in smart classroom， each modal data has characteristic variables that are correlated with learning engagement. The research results show that the evaluation based on multimodal data can comprehensively reflect students' learning engagement， provide a basis for teachers to make precise policy-making in collaborative learning， and promote data-based， scientific and accurate educational evaluation.

[Keywords] Multimodal Learning Analysis; Smart Classroom; Collaborative Learning; Learning Engagement; Model

[作者简介] 吴军其（1972—），男，湖北武汉人。教授，博士，主要从事教育技术学和教师教育研究。E-mail：wujunqi @ccnu.edu.cn。

基金项目：华中师范大学国家教师发展协同创新实验基地建设研究项目“‘人工智能+名师课堂创新应用”（项目编号：CCNUTEIII 2021-13）