深度学习支持的程序设计实验课在线教学模型

2021-12-14袁杨明冯建文丁继红

实验室研究与探索 2021年10期

谭敏，袁杨明，冯建文，丁继红

（1.杭州电子科技大学计算机学院，杭州 310018；2.浙江工业大学教育科学与技术学院，杭州 310023）

0 引言

2020 年，牵动世界的新冠肺炎疫情，把全球各级各类学校都推向了在线教学。尽管目前国内疫情得到了有效控制，但持续的海外疫情仍然严重影响着我国各大高校的留学生教育，导致在线教学模式仍是许多高校留学生教学的首选。

尽管“互联网+”教育的快速发展为在线教学提供了许多资源，然而，在线教学在带来海量学习资源的同时，也给学习者带来了认知过载、学习资源零乱等困惑［1-2］，此外，在留学生程序设计类的实验课中开展在线教育仍十分困难。目前，高校的在线实验课教学环节大多是由教师先在线讲解剖析程序案例，并要求学生在规定时间内独立或合作完成预留的编程任务。新颖的在线教学模式能有效支持异地互动教学，但在留学生实验课中，异地教学模式存在以下几个相互制约和影响的问题：

（1）学习过程难以监测。由于学习方式自由、学生在线学习时无约束、学习流于形式。学生在听课时存在“假学习”现象；在自主编程过程中也存在作弊现象。这些都导致在线实验教学质量堪忧。

（2）教学质量难以评价。由于课堂互动性差，老师很难掌握学生在线学习的效果。目前，教师大多依据课堂任务完成度、代码运行效率等数据来量化教学质量。然而，这些因素容易受外界因素的干扰，且针对不同学习偏好、需求的学生，采用同一套评价标准显然是不合适的。

（3）难以实现个性化教学。与集中式的课堂教学不同，在线教学本更侧重自主学习，使学生可根据自身知识基础、学习兴趣有针对地学习。事实上，教师给定的编程题大多是千篇一律，缺乏对学生个性特征考量；同时，在教学质量上也缺乏个性化的评价标准。

综上所述，面向程序设计类实验课的在线教学实践仍然面临着重大机遇和挑战。在当前国际疫情形势仍然严重、留学生线下授课受限的情况下，研究一套有效的程序设计实验课教学模型很有必要。

1 国内外研究现状

1.1 学习过程监测

目前学者对在线教学环境下学生情绪、学习状态等学习过程监测给予了越来越多的关注［3-4］。情感计算、姿态识别、眼动研究等也被广泛应用于在线学习过程监测中。许多研究者提出了一种多维度的非侵入式的方式来检测学生的注意力水平，并选择键盘敲击、鼠标活动、面部表情和头部姿态作为特征构建注意力分类模型［5-6］。一些学者利用Kinect 采集的学习者的头部姿态、身体倾斜等信息，来分析其注意力状态［7］。另一些则根据远程学习者的脸部表情、姿态以及眨眼频率等提取出学习者的面部表情特征［3-8］，然后通过情绪模型，分析出学习者的表情和情绪状态。值得注意的是，这些研究大多是对单一的学习视频进行分析，然而，在高校的在线教学中，很难要求学生在学习的全过程中开启摄像头。

1.2 在线教学质量评价

现有的在线教学质量评价方法大多先确定具体的评价指标，然后学习各指标的权重［9-10］。其中，评价指标的选取策略包括基于学习过程和基于学习结果两大类。研究表明，过程评价与结果评价指标必须有机结合才能全面刻画教学效果［11-13］，而文献［9］中通过美国“Quality manage（QM）质量标准”和我国“精品在线开放课程”评价指标进行比较分析发现，当前我国高校在线开放课程评价体系仍然是侧重结果的。在学习评价指标权重时，使用较多的有层次分析法、对偶比较法、比较平均法等。尽管在线教学质量评价方法层出不穷，但其评价指标大多是依赖经验事先确定的，且很少有研究者利用能涵盖学生学习视频特征和学习行为表现的多模态数据，自适应地学习最优的评价指标和模型。

1.3 个性化教学

个性化教学是一种“以学生为中心”，结合学习者的个性特点和发展潜能，采取灵活、适合的方式以充分满足学习者个体需求的教学方法，也是下一代在线教学的发展机遇和挑战。个性化教学涉及个性化资源推荐和精准教学服务，具体有两种推荐策略，一是基于协同过滤的推荐算法［14］，但它们通常存在冷启动问题；另一种是基于机器学习的个性化推荐，且随着深度学习技术的渗透，越来越多的研究者提出基于深度神经网络的在线资源推荐［15-17］。然而，这类模型大多是基于事先定义的用户行为特征构建的，其性能很大程度上依赖于人工构建的行为特征集。

1.4 研究述评

目前对在线教学状态监测、质量评价、个性化推荐等相关的研究，一部分是基于事先定义的学习行为特征，其性能很大程度上取决于特征集的构建；而另一些自适应学习模式大多是针对实时互动、摄像头全程开启的授课环境，而全过程学习视频在高校在线教学环节中很难获取。此外，已有方法通常只针对单一的学习行为文本数据或监控视频数据，然而这两种模态数据具有强互补性，目前还没有利用深度学习技术自动挖掘有效特征，并同时实现过程监测、质量评价和个性化内容推荐的一体化教学方法。

2 基于深度学习技术的在线教学模型

为充分调动线上教学积极性，留学生程序实验课中采用直播互动教学加自主上机的授课模式。教师先利用视频直播讲授此次编程课所涵盖的知识点，接着学生通过在线学习、直播视频回放、上机实验进行知识内化和迁移。

本研究针对当前在线程序课实验教学中若干问题，依托智慧教育，利用深度学习技术，提出了一体化的教学模型。具体而言，通过对在线教学中学生学习行为数据和上机实验监控视频进行分析，构建端到端的多任务深度学习模型，实现建模过程监测、教学质量评价和学习内容个性化推荐三大核心任务。该模型的几个主要模块如图1 所示。

图1 实验课在线教学模型

2.1 数据获取和处理

为缓解直播时授课环境的网络压力、最大限度地保护个人隐私，仅要求学生在自主上机环节中开启摄像头、模拟真实考试环境，而在前期的教师直播环节只获取学习行为数据，实现人性化的课堂监管。最终获取的数据主要包括两块：①学习行为数据，包括点击、眼动、提问等行为；②上机过程监控视频数据，用来捕获上机屏幕和学生行为。针对这些多模态数据，进行如下处理步骤：

（1）知识点切分。为诊断学生对各知识点的掌握水平，并为学生进行个性化的知识点推荐，先对获取的学习行为数据和上机监控数据进行知识点切分。在授课前的案例设计阶段，教师需梳理整节课的知识点，并在直播视频帧和上机任务中标注对应知识点。针对直播环节，通过采集各知识点下的师生互动信息，包括点击、眼动行为、提问等行为［18］，得到各知识点下学生的学习行为数据；而针对上机监控视频，利用文本解析算法得到监控子视频段所涵盖的知识点。最终获取各知识点下对应的学习行为数据和监控视频段。

（2）针对采集到的学习行为文本和上机监控视频融合的多模态数据，利用多模态数据对齐方法得到规整的训练数据，同时，利用数据清洗过滤掉视频质量差、学习行为过于稀疏的数据样本。最终得到规范化、“干净”的多模态数据来训练图1 所示的教学模型。

2.2 基于多任务深度学习的教学模型训练

教学模型训练包括学习过程监测、教学质量评价和个性化内容推荐在内的一体化教学行为。其中，过程监测是指通过对学习状态分析实现异常状态检测，包括作弊检测、专注力检测等，从而有效杜绝“假学习”“程序抄袭”等不当行为。所谓教学质量评价，是指利用深度模型挖掘有效的多模态指标，构建科学的在线学习质量评分模型，从而克服传统的基于成绩等硬性指标量化学习效果的不合理性。在学习内容推荐任务中，通过对用户在各知识点下的学习行为和任务完成情况进行分析，实现重难点的知识点内容推荐，从而为学生制定个性化的学习策略，做到有侧重有兴趣的教学。在规范化的多模态数据上，利用多任务深度学习算法，端到端地训练过程监管、教学质量评价和学习内容推荐三大核心模块。整个训练框架如图2所示。

图2 基于多任务深度学习的教学模型训练

它包括如下几个主要过程：

（1）基于多模态融合的学习模式特征提取。在学习行为数据和上机监控视频的融合数据上提取多模态特征。针对获得的不同知识点下的学习行为和监控数据，分别利用循环神经网络和卷积神经网络提取深度特征，然后利用多模态特征融合等技术构建有效特征表达。对于视频数据，拟设计合适的层，分别捕获键盘敲击、鼠标活动、面部表情、头部姿态、眼动等关键特征。

（2）基于多任务深度学习的端到端训练。将学习过程监测中的异常状态检测建模为异常（如抄袭、疲劳、暴躁等）和正常状态的分类任务；将图像质量评价中的分布估计用于教学质量评价模型中，在最小化预测评分和真实评分（通过学生自评、互评、师评过程采集）的Kullback-Leibler（KL）散度分布误差下优化评价模型；而学习内容推荐任务则可用排序模型来建模。

与传统的行为模式建模不同，采用深度学习自主挖掘有效的行为模式特征，并在融合的多模态数据上利用多任务学习［19］同时优化分类误差、KL 散度分布误差和排序误差，从而联合建模异常状态检测、教学质量评价和学习内容个性化推荐任务。