郭晓旭

摘 要：时代和科技不断发展，人工智能、“互联网+”给教育带来新的转变，课堂教学评价模式也随之带来了新的变革。文章主要探讨人工智能技术对课堂评价设计的应用，提升教学效果，完善评价机制。

关键词：多模态；课堂评价；微表情识别；语音识别；动作识别

0 引言

目前，人工智技术能已经融入人们生活的各方面，在课堂评价模式上也可以利用人工智能技术使评价模式更加全面和人性化，课堂评价可以结合人脸检测与识别、学生肢体动作识别和语音识别。通过视频的人脸检测与跟踪和微表情识别实现对学生学习状态的分析，除此之外结合学生的肢体动作进行肢体语言识别，将学生的表情状态与肢体动作相结合评价学生学习的情况，通过语音识别辅助判断目前课堂所处的积极状态，实现对学生学习状态的分析，促进课堂评价的全面性。

1 面部表情识别

微表情是一种持续时间非常短的表情，大多情况，很难察觉到它的存在。目前，微表情识别主要应用于深度学习。最初，研究者[1]利用CNN从微表情视频中提取特征，并用SVM等分类器对微表情类别进行分类。这种结合方法与传统手工提取特征相比，表现更好。后期，彭建国等设计了端到端的神经网络，这种方法比传统的方法（MDMO，FDM等）的识别率提升10%左右。怀谦等[2]提出用卷积层和递归层对微表情识别的训练。目前，使用预训练的残差网络用于微表情识别（见图1）。

微表情数据集主要包括：芬兰Oulu大学的SMIC（Spontaneous micro-expression corpus）和SMIC 2的两个数据库，中国科学院的3个数据集：CASME （Chinese Academy of Sciences micro-expression）[3]、CASME II[4] CAS（ME）2 、佛罗里达大学创建的USF-HD等数据库。

2 人体动作识别

肢体动作的识别可以通过两种方式来实现：第一种通过穿戴设备采集行为数据，这种方式因为需要设备支持因而较为昂贵；第二种是基于图像识别对肢体动作进行识别，目前肢体动作识别有深度学习、图像局部特征提取等方式，图像局部特征提取主要通过将人体动作分解为躯干移动和关节运动的方式去处理。对于基于深度学习的肢体动作识别主要有CNN网络、LSTM循环神经网络和多网络融合的网络等去识别。

肢体动作识别主要是应用肢体动作数据库对模型进行训练，完成动作的识别，目前公开的肢体识别数据库主要包括Weizmann数据库[5]、AUT交互数据集、ADL数据库[6]、HOHA数据库等。

3 语音识别

语音识别是将人的语言转换为机器理解的语言，语音识别技术最初使用马尔科夫模型-高斯混合模型（HMMGMM）作为主要框架，后期随着深度学习的发展，DNN模型的识别效果更好，形成HMM-DNN模型，但该模型会受到多方面因素的影响，逐渐出现端到端的模型（End-ToEnd），该模型更加简化，用深层网络代替模块，实现从声信号直接映射到标签序列，简化了语音识别模型的构建和训练。

4 基于图像识别与语音识别的课堂模式探讨

在传统教学质量评价方式中，学生学习内容、方式、目标被简单地一致化，忽视学生个体的差异性[7-8]，制定统一的标准让大家去遵循，缺乏弹性、变通性和宽容性，在教学评价过程仅从单一层面分析教学过程，缺少评价的公平与完整性，需要从学生的面部表情、肢体动作变化和语言多个角度分析，因而本文结合语音识别、微表情识别、肢体动作识别量化、细化教学环节的评价标准去综合评价教学过程，教学评价的过程如图2所示，从而从多个方面提升教学质量。如图3所示，共分为如下步骤，分为两个方面进行开展，分别从图像识别与语音识别两个方向开展，基于课堂上的监控系统，采集课堂的视频数据，分别对视频中的图像和语音综合地分析，语音分析学生在课堂中情况，学生在讨论过程中，是否出现本学科内容的关键词，如果语音识别的内容占整体比重较少的話，说明课堂的整体状态欠佳。图像识别学生上课实时的面部表情，判断其上课的状态对这3个方面建立评价考核体系，根据不同的教学阶段对3个方面设置不同权重，综合实时地评价教学过程。

4.1 数据采集

通过教室的监控系统采集学生上课的情况，监控系统尽量在教室的中间，对学生正面的形象可以采集得比较清晰，同时让学生保持放松的状态，该部分也需要对课堂微表情数据进行采集，方便对模型进行训练，更适应教学的环境和情景。

4.2 人脸检测

教室光线环境复杂，人脸数目众多，每一秒视频又有很多帧图像，这给人脸检测与追踪带来了巨大的挑战。人脸检测的算法需要适用教室这个特殊的环境，并能实时有效快速地追踪人脸是接下来进行课堂状态分析的重要保障，因而需要选择适应特定情况的算法，因为学生的脸的大小是不同的。

4.3 微表情识别

人脸表情复杂多样，微表情又转瞬即逝，学生课堂状态的变化不容易被察觉，因而学生微表情的识别是关键部分，需要将人脸检测与定位的人脸的图片传给微表情识别的模块来完成对学生的课堂状态进行分析，划分教学状态。

4.4 学生肢体动作识别

仅从学生的面部表情评价学生的状态，过于片面，因而加入了学生的肢体动作检测学生在课堂中的状态，运用体感技术基于人体动作作为参数去评价每一位学生的学习状况，因为如果学生在教学的过程中，出现大幅度的肢体动作变化，说明这个学生的状态不好，因而将表情与肢体动作相结合使结果更为全面，抽取更适用于课堂评价的肢体语言动作，减少检测模板库的冗余。

4.5 语音识别

通过视频中的收集语音信息，对每一部分的语音进行分析，查看语音内容是否包含了学科内容，根据学科内容的相关性去分析。语音识别可以用于检测课堂状态的积极性，建立课程相关的语料库。在课堂中，学生的话语中出现的课程相关的词汇，说明学生处在学习的积极状态，当课堂中出现大声喧哗且讨论内容与学习无关，说明课堂处在学习的消极状态。

4.6 评价模型

采集到多方面的数据之后，需要综合的建立评价方式，这里需要数学和统计学的方法科学地统计，运用研究数据去统计跟踪每一位学生的上课听讲状况，将每个学生的视觉和听觉的数据采集/整合分析，发现群体的问题和规律，同时找到个体差异，以及每个人学习、上课阶段的差异，更好地应用于学生上课状况的跟踪以及教师教学的调整，从而深化教学变革。

通过对上述数据的分析，对课堂的教学效果从实时分析学生学习状态、阶段性学生学习状态、整节课学生的学习效果，在不同的阶段实现对学生学习状态分析，形成教学过程性的连续性的评价，将数据运用于教师讲课水平的评价，使得每一位老师与每一位学生都保持着不可分割的联系，激发学生的自信和课堂活跃程度，也可以通过不同的分数对应教学内容查看问题与提升，同时内容的评价给每一位老师提出建设性意见，推动实现智慧教室，实现教育信息化。

5 结语

面对当前的教学过程评价缺少过程性评价的问题，本文利用人工智能技术，将人脸识别、语音识别语音识别、肢体动作识别技术结合进行研究，实时获取学生的面部表情、肢体动作语音内容进行分析，从实时和综合整节课/段时间的三个维度给学生打分，辅助评价机构更加及时、准确、客观地分析评价学生和教师，对教师的教学效果给予过程性评价，对学生的学习习惯进行实时分析，更容易发现问题，帮助教师对学生建立个性化的学习方式设计，精准分析学生学习的状态变化，构建多维度的评价模型，对学生进行多维度的分析，实现对学生在教学过程中情绪的变化的监控，促进学生的个性化发展。后续研究将会对教学过程进一步细化，丰富评价机制。

[参考文献]

[1]D PATEL， HONG X， ZHAO G. Selective deep features for micro-expression recognition[C].Mexico：International Conference on Pattern Recognition，IEEE，2017.

[2]KHOR H Q， SEE J， PHAN R， et al. Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition[C].Xi’an：IEEE International Conference on Automatic Face & Gesture Recognition，arXiv，2018.

[3]YAN W J，WU Q，LIU Y J. CASME database：A dataset of spontaneous micro-expressions collected from neutralized faces[C]. Shanghai：Proceedings of the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition（FG 2013），2013 .

[4]YAN W J，LI X，WANG S J. CASME II：An improved spontaneous micro- expression database and the baseline evaluation[J]. Plos One，2014（1）：1-8.

[5]BLANK M，GORELICK L，SHECHTMAN E，et al.Actions as space-time shapes[C].Piscataway：Proceedings of IEEE International Conference on Computer Vision，IEEE，2005.

[6]MESSING R，PAL C，KAUTZ H.Activity recognition using the velocity histories of tracked keypoints[C].Piscataway：Proceedings of Recognition Using the Velocity International Conference on Computer Vision，2009.

[7]何祎.基于情感的課堂教学评价方法研究[D].锦州：渤海大学，2015.

[8]郑延福.本科高校教师教学质量评价研究[D].徐州：中国矿业大学，2012.

（编辑 王永超）

Research on classroom evaluation model based on artificial intelligence

Guo Xiaoxu

（Beijing Vocational College of Economics and Management， Beijing 100102， China）

Abstract：In the times and the continuous development of science and technology， artificial intelligence， “Internet+” have brought new changes to education， and the classroom teaching evaluation model has also brought new changes. This paper mainly discusses the application of artificial intelligence technology to classroom evaluation design， improving teaching effect and perfecting evaluation mechanism.

Key words：multimodal； classroom evaluation； microexpression recognition； speech recognition； action recognition