吴 迪,董雪晴,冯晓婉

(沈阳师范大学 物理科学与技术学院,沈阳 110034)

0 引 言

2020年年初的疫情导致学生无法按期开学,为不延误课程,教育部支持学校开展线上教学活动,确保“停课不停学”[1]。但疫情冲击下流行起来的线上授课方式是利弊共存的,优点是教师可远距离、无接触完成教学任务,缺点是对于自律性差的学生,家长需要一直监督学生线上学习,这极大影响了家长的工作和生活[2]。因此,在线上授课期间需要利用电子产品自动监督学生的听课状态。

近年,随着人工智能技术的发展,人脸检测成为人工智能应用开发中一项基础且重要的研究内容,例如人脸识别打卡[3]、人脸表情识别[4]等。而深度学习作为当前的研究热点,也早已被应用到人脸检测之中,基于深度学习的人脸检测算法模型已有许多,例如Faster R-CNN[5],SSD[6],MTCNN[7]等。人眼状态检测依赖于人脸检测,通过人脸检测结合人眼定位先验知识[8]可得到人眼图像,以不同方法处理和分析人眼图像,可检测不同的人眼状态[9-12]。疲劳驾驶检测[13]技术正是通过分析人眼图像中人眼的闭合程度,检测驾驶员是否处于疲劳状态[14-15]。本文综合上述诸多因素,针对线上课堂学生的听课状态,设计了基于多任务卷积神经网络(MTCNN)的人眼状态检测与判断系统,在线上课堂教师授课过程中,判断学生人眼关注点是否放在屏幕两侧,从而确定学生是否认真听课。

1 基于MTCNN的人脸与人脸特征点检测

1.1 MTCNN模型结构

MTCNN采用了Viola-Jones检测器[16]中的级联概念,级联3个CNN,分别是Proposal Network(P-Net),Refine Network(R-Net),Out Network(O-Net)。……