李昕昕，赵 春，严张凌

（四川大学 锦城学院 计算机与软件学院，四川 成都 611731）

随着智慧校园概念的提出，各类新兴信息技术，如云计算、大数据、人工智能等在高校得到了广泛应用。高校信息化由管理信息化发展为教育教学全面信息化，信息技术与教育教学的关系从组合、整合演进到融合创新[1]。课堂教学作为高校生活最核心的组成部分，其信息化程度直接影响到学生的学习效率和教师的教学效果。但是，目前国内很多高校在课堂教学方面仍然延续传统的教学手段和教学管理方法。课堂信息化更多局限于多媒体教学工具的使用和部分翻转课堂的应用。而这些并不能从根本上解决传统课堂教学中存在的问题：

（1）课堂管理效率低。传统的课堂管理主要依靠老师点名或者抽查的方式。当学生人数较多时，传统考勤的效率和准确度将会大大降低；同时，大规模考勤也不利于提高课堂效率。因此我们需要更高效的课堂管理体系。

（2）非个性化的教学过程管理。传统的课堂教学过程中，教师无法关注到每个学生的学习状态，无法根据学生的实际学习情况进行调整，只能按照教学大纲的进度授课。因此，我们需要制定个性化的学习方案以提升学生的学习积极性。

（3）非全面、客观的学生评价机制。传统意义上学生成绩主要由平时成绩和期末考试成绩两部分构成。而平时成绩因为登记繁琐、汇总困难，以及可能存在学生不诚信行为等问题，使得占比较少。同时，由于平时成绩更多取决于教师的主观评价，因此也存在打分随意的情况。所以为了避免仅仅依靠考试分数作为评价手段所带来的不全面性以及主观评价所带来的非客观性等问题，我们需要一个能真实记录学生日常表现的机制，以达到全面、客观评价学生的目的。

在这种情况下，智慧课堂逐步成为运用信息化技术提高课堂教学管理水平、完成高质量教学模式创新的发展诉求。

1 智慧课堂的特征分析

相关研究表明，智慧课堂应具备以下一些特性。如自主性、思维性、探究性、多元性等[2-6]。本文立足于智慧课堂的自主性、多元性的特点，提出了一种基于云端人脸识别技术的智慧课堂框架。该框架具有以下特征。

1.1 智慧化管理

利用云端人脸识别技术，通过持续的采样取帧，增强系统识别性能的准确性，实现自动化考勤，同时利用云平台技术将考勤数据实时传输教务，节约课堂管理评估时间，方便老师，便捷教务管理。

1.2 个性化教学

利用自动化考勤返回的图像信息，关注每个学生的学习状态（包括出勤率、抬头率、课堂活跃度等），并对收集到的数据进行挖掘和分析，根据学生的实时反应合理调整教学进度，结合个体情况通过课堂互动及课后练习完成个性化教学。

1.3 智慧化评价

利用自动化考勤采集的每节课学生的出勤率与个性化学习体系中利用数据挖掘技术获取的学生分类属性相结合，运用强大的数据分析和可视化技术帮助教师完成平时成绩考核体系的建立，也可以帮助教务进行教学评估。

2 智慧课堂的框架模型

本文所提出的基于人脸识别技术的智慧课堂是一种利用云端部署人脸识别系统的架构模式。该系统是通过深度学习技术对人脸大数据进行学习获得高精度的识别模型，进而实现教室集群环境下大规模人脸识别和数据分析的新型课堂。其框架模型主要由图像处理平台、云平台、分布式处理平台和应用平台构成，其框架如图1 所示。

图1 基于云端人脸识别的智慧课堂框架

2.1 分布式处理平台

该平台利用分布式处理创新性地将每间教室的视频数据流在该教室内闲置的多媒体电脑上进行运算，多间教室并发点名而互不干扰，大幅降低服务器负荷，提高系统运行效率的同时也充分利用了教室闲散资源，提高了教育资源的利用效率。

2.2 图像处理平台

图像处理平台是整个智慧课堂框架的基础平台。该平台需要利用教室里面的摄像头和多媒体电脑，摄像头将固定时间间隔采集的图像传到当前教室的多媒体电脑上，电脑进行自动人脸识别和实时数据反馈，为云平台上的数据挖掘提供基础数据。

2.3 云平台

云平台主要负责数据挖掘。它对从分布式平台上收集到的数据进行聚类分析，而后给出针对学生学习状态和学习行为的学生分类属性，以此帮助教师在后期利用数据制定个性化学习方案和评价学习效果，提升教学方法。

2.4 应用平台

应用平台由教师端、教务端和学生APP 端组成。主要是利用Web 和手机终端对通过云平台收集整理出的数据进行查阅和管理。同时还可以进行相关教学资源的查找、信息查询和互动练习等。

3 智慧课堂核心技术分析

3.1 人脸检测

人脸检测可以被认为是一种特定的物品检测。它的主要任务是通过特定的算法在指定图像（包括静态和动态）中准确定位人脸。在智慧课堂框架中应用人脸检测主要是帮助自动考勤模块实时确定学生人数以及对学生学习状态（如抬头率、课堂活跃度等）进行判断。但是由于教室场景下存在角度、采光和遮挡等环境因素的影响，因此如何在不需要主体配合的情况下准确高效地进行人脸检测是本文要解决的关键问题之一。针对这一问题，本框架将采用MTCNN（级联的深度卷积神经网络）[7]技术，对摄像头采集的帧图像进行多人脸检测，然后对检测出现的人脸框进行人脸判断和人脸框的裁剪，最后对每个人的剪切框进行处理后送入到人脸识别部分。

3.2 深度学习

深度学习是机器学习中一种基于对数据进行表征学习的算法。深度学习的好处是用非监督或半监督的特征学习和分层特征提取高效算法来替代手工获取特征，可以有效提高识别准确率[8]。因此被广泛应用于人脸识别领域。自2012 年6 月Andrew Ng 教授和Jeff Dean 等人提出深度神经网络（DNN，deep neural networks）[9]的机器学习模型，并在语音识别和图像识别等领域获得巨大成功后，2014 年香港中文大学的汤晓鸥教授团队提出的DeepID 深度学习模型[10]更是在LFW（labeled faces in the wild）数据库上获得了99.15%的识别率，首次超过了人脸在LFW 上97.25%的识别率。2016 年Yandong Wen 等人通过使用Center Loss 函数替代原来的sigmoid 损失函数使得模型在LFW 上的识别准确率提高到了99.28%[11]。证明以深度学习进行特征提取辅助人脸识别是可行且高效的。在智慧课堂框架中应用深度学习技术可以有效帮助人脸识别模块提高识别的准确度和效率。因此，本框架将采用文献[11]中的caffe-face 模型进行训练，实现人脸深度特征生成。

3.3 人脸识别

人脸识别是实现智慧课堂、智慧化管理和个性化教学的核心技术：利用深度学习提取出来的深度特征在标准人脸特征库做对比，选取出相似度最高的特征，通过支持向量基（SVM）[12]分类找到对应的人脸ID，实现对人脸的识别。通过上述自动化考勤过程可以实现考勤的实时性、高效性和准确性，有效地预防各种不诚信的考勤行为，同时还可以对学生的学习过程进行监督管理，及时作出反应，最终实现智慧化管理。

3.4 数据挖掘

数据挖掘（DM, data mining）是通过仔细分析大量数据来揭示有意义的新关系、趋势和模式的过程。[13]数据挖掘涉及异常检测、关联规则学习、聚类、分类、回归和汇总六类任务。本文所提出的智慧课堂框架将采用数据挖掘中的聚类算法对通过云平台收集到的学生出勤率、课堂抬头率、课堂活跃度等信息进行学生学习状态分类。教师可以通过不同学生的学习状态科学制定符合学生兴趣的个性化学习方案，改进教学方法；同时还可以综合分析一个时间段内学生学习行为的变化，为构架科学、全面、公平的评价体系提供依据。

4 仿真实验

4.1 数据集

LFW 的测试数据库中包含6000 对测试比对，其中3000 对为同一个人的比对，另外3000 对为不同人之间的比对。

4.2 训练模型

本文仿真实验采用文献[11]的caffee-face 网络进行训练调参，并得到自己的模型，如图2 所示。

图2 训练模型参考图

训练模型采用5 层卷积+池化+全连接的方式。其中卷积核大小采用3×3，步长为1；池化层的核大小为2×2，步长为2；隐藏层损失函数采用ReLu 函数，全连接到输出层的损失函数采用Softmax Loss+Center Loss。

为得到不同人脸的相似度，本文采用了余弦相似度作为比对标准。

假设将图片X 表示为向量

图片Y 表示为向量

则其计算公式为：

由公式（1）可见，向量夹角余弦的取值范围在0~1，可以直接作为图像相似度的阈值标准。向量夹角余弦越小，不同的人脸图像越相似；向量夹角余弦越大，不同的人脸图像越不相似。

4.3 实验结果

最终实验结果如图3 所示，不同阈值（0~1）下的识别率差异明显，阈值范围在0.43~0.45 之间的识别率最佳。当cos 阈值为0.438 时，测试识别率最高达到99.2%。

为了进一步验证模型在课堂上的识别率，将LFW的比对人脸，多次随机分为20、50、70、100、120个人每组（每组的数值代表课堂的人数）。分别对每个分组进行了50 组测试分析，其平均结果见表1。

图3 不同阈值下的识别率

表1 分组测试识别率表

从表1 可见，在50 组仿真实验中，虽然识别人数增加到120 人时系统识别率有所降低，但是其识别准确度仍然能够达到99.43%。

5 结语

为了更好地提升高校课堂信息化水平、改进课堂管理效率、解决学生日常评价难题、激发学生学习兴趣，本文立足人脸识别、深度学习、数据挖掘等多种新兴信息化技术，提出了基于云端人脸识别技术的智慧课堂的特征、体系架构和关键技术。经仿真实验证明该框架可以有效提升人脸识别的准确率，从而优化课堂管理效率。