卢春丽，郑丽丹

(龙岩学院 福建龙岩 364000)

2019年底新冠肺炎疫情的暴发，全国高校陆续开展线上教学，取得了较好的效果，线上教学作为一种新型的教学组织形式，针对这种形式的质量评价正处于摸索阶段。结合实际工作和已有研究发现，现行的线上教学质量评价体系出现诸多问题，如：线上教学质量评价的指标体系尚未完善[1]，学生评教的积极性不够，参评率不高，评教后续的整改跟踪机制缺乏[1]等。新一轮“本科高校教育教学改革工程”已启动，进一步证实了教学质量对于高校的重要性。科学精准地评价高校教师线上教学质量既能鉴别教师的教学质量，又能充分调动教师的积极性，对高校培养合格人才方面起着积极的促进作用。

随着大数据时代的到来，当前高校已基本进入信息化管理阶段[2]。借助大数据技术，科学系统地处理和分析线上教学质量评价数据，能够对教师的教学质量进行客观评估，为高校教育决策提供依据。然而，当前数据众多，多数高校却只是停留在简单的查询、评价、存储的管理工作上，对于长期以来累积的大量评教数据，并未进行深入挖掘与利用[3]。随着信息化社会的不断进步，如何从教育大数据中挖掘出合理的信息，更好地服务于教学质量的提升，是当前应解决的问题。

对此，以龙岩学院为例，对平台系统产生的评教大数据和问卷调查的数据进行分析，从量化的角度揭示现行的线上教学质量评价存在的问题，据此提出针对性的改革策略，并修订和完善线上教学评价指标体系，以提升线上教学评价的效果和线上教学质量，为高校教学管理部门的线上教学质量管理提供参考。

1 线上教学质量评价存在的问题

根据龙岩学院现行的学生评教实施办法，教学质量评价一般每月进行一次，一学期开展四次，线上教学质量评价的内容包含“组织度、互动度、重视度、适应度、满意度”等五个方面，具体指标体系如表1。学生根据每门课程任课教师线上教学的综合表现，进行依次评分。综合新冠肺炎疫情以来开展的三次线上课程评教数据以及问卷调查的数据发现，现行的线上教学质量评价在学生参评的积极性、评教区分度、指标体系、评教目的、监督机制以及结果的公布上存在一些问题。

1.1 历次评教数据揭示的问题

选取龙岩学院的学生为对象，系统地收集了线上教学以来学校开展的三次质量评价共计211685条评教数据，对数据进行分析发现，当前的线上教学质量评价在学生的参评率和评教的区分度方面存在一些问题，具体如下：

1.1.1 学生的参评率较低，参评积极性和责任心较差

表2的数据显示，三次评教未参评学生人次均突破2万，虽然教学管理人员和任课老师都在持续积极推动，但参评率均未达到80%，可见学生评教的积极性较差。由于缺乏较为有效的监督和指导机制，学生评教主体意识不强，责任意识较低，评教过程中的随意性较大，漏评、乱评现象时有发生，学生往往根据对教师的个人喜好、师生关系的亲疏、教师对学生的要求高低或者对课程的喜好等进行评价[4]，缺乏对评教工作的合理认识，导致评教的结果的真实性受到影响。

1.1.2 学生评分整体偏高，区分度不够明显

表3的结果显示，剔除漏评的数据后，疫情期间三次评教的全校平均分均在96分以上，最高分100分，最低分68分，从各分数段的分布来看，三次评教中90～100分的占比均超过80%，还有相当比例的学生给满分，评教满分率达22.31%，60分以下的占比为0，整体分数呈左偏态分布。由此可见，学生评教的总体分数偏高，线上教学质量的区分度不够明显，这样的评教数据无法明显区分教师上课质量的优劣，对于教学管理部门的绩效考核、年度考评等没有很大参考价值。同时，各项指标的分数均较高，教师从评教数据中也无法找出自身授课的不足，对于指导自身改进线上教学缺乏参考价值。

表3 龙岩学院三次线上课程评教得分统计

表4 主观建议关键词频分析

对学生评教数据中反馈的主观题项进行关键词频抓取，结果发现，学生对教师提出的主观意见关键词中，97.36%的学生对任课老师的线上教学给予积极的肯定，其中出现频次较高的前5个关键词依次为：不错、认真、负责、棒、满意。从数据可以看出，超出97%的学生都只是简单地表达对教师教学的肯定，很少有学生对教师改进线上教学提出有价值的建议。对各一级指标的平均分进行统计发现，三次评教中各一级指标的平均分均在19～20分之间，区分度不明显。这再次表明学生评教各指标项得分整体偏高，指标内和指标间的区分度都很低，评教结果中能真正起到帮助教师改进教学的信息很少。三次评教的主观建议关键词频分析见表4，三次评教中各一级指标平均分见表5。

表5 三次评教中各一级指标平均分

1.2 学生调查数据反映的问题

为进一步了解学生对线上教学质量评价体系的意见和建议，本研究于2020年7～9月通过问卷星平台对学生开展线上调查，收集学生的意见。采用杨静怡设计的《地方高校教师教学质量评价制度问卷》进行修订而成的问卷[5]，共21 个选项，涵盖四方面的内容：评教指标、评教目的、评教监督机制、评教结果的处理。本次调查共发放网络问卷1258份，回收 1237份有效问卷，其中大一学生463 人，大二学生 393 人，大三学生 381人，男生621人，女生616人。笔者根据问卷调查的四个方面进行了数据的分析和整理，将问题归纳如下。

1.2.1 评教指标的构建并未吸纳学生参与，指标操作性定义不强，学生较难理解

高校线上教学质量评价指标体系的构建，主要以相关主管部门为主导，设置线上课程相关的若干评价维度和指标内容，评价维度主要围绕“组织度、互动度、重视度、适应度、满意度”五大方面展开，指标设计的过程并未吸纳学生参与。问卷第10题“你是否了解学生评教指标的设计过程？”结果显示，91%的学生表示不了解评教指标的设计过程，仅9%的学生了解。原因主要是学生没机会参与评教指标的设计，学校也未根据指标的内涵对学生开展指标的解读和评教的指导。问卷第7题“你是否在评教前得到了详细的评教指导？”结果也表明有80%的学生表示他们在评教前并没有得到详细的指导。

从各项一级指标来看，线上教学质量评价指标较为笼统，操作定义不强，较难衡量，对于那些笼统、操作性不强的指标，也未转化成相近或可测量的指标，导致学生不易理解。问卷第11题“你是否理解评教量表中的每一项指标？”结果显示，72%的学生表示不能很好地理解评教指标，原因可能是指标的内容缺乏操作性定义，如“重视度”指标的内容中强调“教学日历、教学大纲、教学进度表完整、规范”，如何衡量教学日历、大纲和进度表的完整和规范性？完整和规范性的具体标准如何？这些无从在指标中找到答案，也超出了学生的评价范围。还有如“授课过程认真、耐心、重点突出”“课程视频、课件等学习资源丰富”等，这些词语主观性较强，学生易按自身的理解进行打分，影响结果的客观性。因此，评价指标中可以增加更多的操作性定义，指标的内容应通过李克特等级的方式按等级计分，让评价者有一个更统一的标准去评价。

此外，指标体系中只有一级指标及内容，二级、三级指标的内容和权重分值等未进行明确地规定，增加了评价的随意性。调查中，67%的学生认为最能体现教师线上教学质量的指标是教学态度和教学水平，因此，在学生心中，老师们教学态度和教学水平是衡量能否上好一门线上课程的最重要标准。

1.2.2 学生评教目的较为被动，评教数据的准确度不高

不同学生评教目的不一样，问卷统计的结果显示：58%的学生参与评教只是为了应付通知，31%的学生评教是为了查成绩，可见学生的评教极为被动。原因可能是学生不了解评教的意义，无法对评教工作产生应有的积极性和热情。因此，相关部门、任课老师在评教前应做好充分的宣传和动员，指导学生认真评教。在评教完成的时间上，数据显示，78%的学生在2 min内完成评教，因此，多数学生可能没仔细看清内容就直接进行评教，这样得出的结果在有效性和可比性方面大打折扣。

1.2.3 评教的监督机制尚不健全，评教效果一般

关于“是否有必要对线上教学评价工作本身的合理性、科学性、公正性、公平性进行评价”，82%的学生认为有必要，而且这个环节必不可少。从评教的数据可以看出，当前针对该校线上教学质量评价体系的监督机制还应进一步健全。与此同时，在评教的效果方面，数据统计的结果显示：仅15%的学生认为评教对于提高线上教学质量较为有效，38%的学生认为评教的效果一般，34%的学生认为效果较小，还有13%的学生认为评教没有效果。这一数据可以看出，将近半数的学生对评教目的实现程度的期待水平较低，原因可能是：学生对评教的目的和意义缺乏理解，对评教工作不够重视，部分任课老师并未根据评教结果改进教学方法，相关部门对于评教出现的问题是否整改到位也尚未进行及时的跟踪，教师线上教学的动态发展难以把握。因此，学生对评价目的实现程度自然不抱有期待。

1.2.4 评教结果的公布和运用范围有限

评教结果仅通过院系教学管理人员转发给专任教师，并未公布给学生，学生对于评教结果如何一无所知。同时，关于评教结果的运用，80%的学生表示不了解评教结果的用途。可见学生在评教工作中，仅作为参与者对教师的授课情况进行打分，对于评教结果如何，评教结果的用途一无所知。这也容易挫伤学生评教的积极性，导致学生丧失评教的动力。问卷第 19 题“你是否了解学生评教结果对教师产生的影响？”结果显示：79%的学生表示不了解学生评教结果对教师的影响，21%的学生表示了解。

总体而言，当前样本学校学生线上教学评价指标体系能在一定程度上反映教师线上教学质量，但由于指标体系存在的一些问题以及学生评教结果的主观性，以至于评教结果并未能很好反映线上教学质量。究其原因主要在于评价标准是自上而下制定的，评价标准的制定和评价体系的构建主要是管理者参与，作为评价主体的学生没机会参与，缺乏对指标的理解和认同，缺乏对评教意义的认识，评教工作对于学生来说其实是“陌生”的。因此，如何根据评教数据和调查的反馈进一步完善评价指标，加强评教工作的宣传和指导，才是解决问题的最好方法。

2 线上教学质量评价的改革策略

2.1 多方联动，合力提升学生的参评率

针对前述学生参评率较低的现状，可以考虑从四方面加以提升：一是评教前进行积极宣传和动员，充分利用学校网站、平台公众号、班级微信群、QQ群、班会晚点评等渠道积极宣传评教工作以及以往评教取得的良好效果，提升学生关于评教工作的正确认知，引导学生充分认识评教对于提升教学质量和学习效果的重要性，有意识地克服盲目评教的消极现象；二是充分发挥教学信息员的作用，引入信息员积分制，评教后期根据信息员的积分表现制定相关的奖励政策，通过教学信息员的积极推动提升参评率；三是进一步完善评教的系统功能，如在智慧教务平台的考勤功能上增设评教提醒，以消息推送的方式提醒学生及时评教。四是将课程的参评率和任课老师以及学生的评优评先相挂钩，如参评教师在智慧教务平台上的学生参评率必须达到80%以上才能参与先进教师的评选，学生必须参评完所有课程的评价后才有资格评优评先等，这一做法不仅能在一定程度上提升参评率，也能体现学校对线上教学质量改进与提升的高度重视。

2.2 加大力度提升评教的准确性

首先，指标的数量不宜过多，一套评价体系表的指标项一般由3～5条标项组成为宜，减少学生因评教时间过长，评教条目过多而产生的疲劳感，提高评教准确性。其次，评教过程中加强对学生评教的整体监控。评教前对学生参与评教的资格进行审核，避免学生盲目评价，如可以选择不旷课的学生进行评教，充分利用评教系统的签到功能，确定评教学生名单。评教中期对学生的评教情况进行实时管理与监控，密切关注学生对评教理念、评教指标与评教方式的理解与运用，及时对学生提出的疑问进行解释与指导，防范评教结果的失真。再次，评教结束后对学生评教的数据进行科学筛选，剔除无效数据后再进行计分，如以每个教学班参评人数为基础，去除评教得分中最高和最低的5%后再进行统计，或者设置评价量表的“整体评价分”和“指标评价分”以及相应的权重，评教结束后将参评对象提交的每一份“整体评价”分值和其“指标评价”分值进行比较，并计算二者偏差，偏差率超过10%的数据视为无效数据，同时对同一学生提交的不同任课教师打分完全一致的数据也进行剔除。最后，还可以在评价指标中设1～2条测谎指标，即与某指标在内容上一致，表述顺序不一致的指标，比较学生的评教结果是否存在差异，差异较大的即剔除，增加评教的信度。

2.3 以学生为中心，合理设置评价指标

首先，指标的制定应吸纳学生的参与，如通过调查、访谈、座谈等形式了解学生对评教指标的看法，保证学生在评教各环节的知情权和参与权。根据前述调查的结果，学生较为关注的是教学态度和教学水平，因此，教学态度和教学水平可作为关键的一级指标。其次，指标在内容上，可以从学的角度转变评教的内容，注重学生的学习体验，增加学生在学习状态、学习兴趣和学习收获等方面的评价选项，引导从评“教”的研究逐步转变为评“学”的研究。再次，指标在表述上应简洁凝练，语义明确具体，指标应具有操作性，可衡量，指标的计分按李克特等级计分。同时，在指标体系中提供与量化评价对应的质性评价，实现定性和定量评价相结合。最后，充分考虑不同学科特点和专业特性，设计出适用性强的通用指标和专业指标。

本研究在现有的线上教学评价指标体系的基础上，通过收集、分析大量的评教数据，结合学生问卷调查的数据，征集两位教学质量管理人员的建议，对指标的内容和表述进行修订，根据学科专业的不同，按文科和理工科分别完善了文科类的和理工科类的线上教学质量评价指标体系(见表6和表7)。分别包括4项一级指标和14项二级指标。

在权重的确定方面，本研究借鉴徐薇薇等提出的黄金分割法(权重分配为0.618 和 0.382)作为标度的层次分析法(AHP法)来计算出各评价指标的权重[6]，即指标的几个因子中，相同程度的标度用1，稍微重要一点的标度用 0.618 的倒数1.618, 再重要一点的标度用 0.6182的倒数 2.618,而不太重要的用0.618,不重要的用0.6182=0.382 等等。最终计算出的权重如表6和表7所示。

表6 高校线上教学质量评价指标体系(文科类)

表7 高校线上教学质量评价指标体系(理工科类)

2.4 端正学生评教目的，规范评教行为

提升教师线上教学质量，促进教学相长，达到师生共同进步是学生评教的最终目的。因此，在评教中，教学管理部门应针对学生定期开展关于评教的目的、意义、态度、方法等方面的培训和指导，向学生详细解释评教工作的重要性，引导学生将评教工作视为师生间沟通交流的平台，强化学生对评教意义的正确认知，增强学生的评教责任感，端正学生对待评教工作的态度，增强学生对评教工作的重视程度。对于某些明显属于乱评、滥评等不符合实际情况的学生予以指导和纠正，端正学生评教目的，规范学生的评教行为。

2.5 进一步完善线上评教的监督机制，提升评教效果

监督机制是学生评教体系良好运行不可或缺的保障，线上教学更是如此。高校应持续做好学生线上教学质量评价的顶层设计工作，加强对学生线上教学质量评价的研讨和监管，借鉴同类院校的线上教学质量评价经验，结合学校实际建立健全线上教学质量评价相关的管理制度和运行机制，如评教前的宣传制度、评教中的监督机制、评教后的结果反馈、整改跟踪和申诉机制等。设立线上教学质量评价监督工作小组，健全评教组织，负责线上教学质量评价的监督和指导工作，明确规定监督指导的职责分工、工作程序、实施环节的操作方法等，完善“评价—反馈—总结—整改—再评价”的工作机制，监督指导学生评教全过程。

2.6 加大评教结果的公开力度

评教结果的反馈与利用要坚持以人为本，彰显人文关怀，除了要反馈给教师，也要有选择性地反馈给学生，这不仅是尊重学生、以人为本的要求，通过评教，学生也能获知更多的评教信息，能就教学问题与教师进行交流和沟通，也能激励学生更加负责地对待评教工作，促进评教工作的良性发展。除了反馈结果信息外，还需反馈评教结果的处理方式，并告知学生，让学生知道自己的评价以及反馈的结果是有用的，能激发学生更积极参与评教工作。同时，允许被评价的教师对有异议的评教结果申请复议，对于与实际情况有较大出入的评教结果允许通过深入的学生访谈、复评等方式进行二次评教得出客观、科学、可信的结论。在改进教学方面，还可以依托教师发展中心、教学指导委员会、教学督导等部门对评教中排名靠后的教师展开教学帮扶，促进教师线上教学能力的提升。

2.7 充分利用大数据分析技术，深层挖掘评教信息

利用大数据平台充分挖掘深层次的评教信息，如学生评教问卷里主观题的分析，可利用计算机分析系统高速、便捷地进行高频词抓取，精准聚焦学生集中反馈的问题，便于相关管理部门依据分析结果做好进一步的反馈与处理。同时借助于第三方机构，针对不同院系、不同年级学生、不同班级规模、不同年龄、学历、职称、任课数量的教师等的评教结果进行横向对比分析，编制出的具有自身特色的教学质量与改进深度分析报告，以供相关部门决策使用，促进任课老师改进线上教学[7]。

3 结语

本研究结合疫情期间样本高校现有的线上教学质量评价指标体系，通过评教数据的分析以及问卷调查揭示的问题，提出了针对性的改革策略，并在借鉴前人研究成果的基础上初步修订和完善了线上教学质量评价指标，为指导任课教师改进线上教学、相关部门开展线上教学质量管理以及同类高校开展线上教学质量评价提供参考。大数据背景下的高校线上教学质量评价体系的改革取得了一个良好的开端。但是，鉴于龙岩学院开展线上课程教学的时间不长，疫情后期回归到线下课堂教学为主体的课程教学，仅少部分网络公选课开展线上教学，大规模的线上教学质量评价指标体系尚存在无法践行的情况，也尚未开展对这套评价指标进行实践运用的效果检验。而且本研究的结论仅通过一所高校的调查得出，样本较为单一，所引用的问卷暂未涉及针对现有评教指标的评分，也尚未开展教师以及教学督导等其他评教主体的调查，得出的结果较难推广到其他普通高校。此外，三次评教数据明显呈左偏态分布，不服从正态分布，暂时无法开展评教分数在不同性别、年级、专业类别、学习成绩的学生以及不同性质的课程上的差异性比较和分析，这是本研究的不足。今后需要在更多的样本学校中采用信度效度更合理的问卷，在评教主体更丰富的样本群体以及更多科学合理的评教数据中进行调查、验证和实践。本科高校线上教学的发展日新月异，各地方高校各自具有不同的学科特点，本研究提出的线上教学质量评价指标体系也可能存在不完全及不适应之处，需要不断完善和修改，才能更好地提升为地方高校本科生培养质量评估服务的可行性。后疫情时代，线上线下混合教学将成为高校教学的重要阵地，线上线下混合评价也将是今后教学质量评价的一个新趋势。