APP下载

大学生评价课堂教学内容能力的实证研究

2017-09-25张光进卓成刚

中国大学教学 2017年11期
关键词:学生评教

张光进 卓成刚

摘 要:学生评教是监控和提高教学质量的重要机制,但学生对教学内容进行评价受到不少质疑。本文主要通过实地研究和准实验研究回答疑虑是否属实。结果表明,样本学校的评教表具有内容效度,学生对教学内容的评教项目能够跟对教学态度、教学效果、教学方法的评价项目一样给出较一致的评分,学生评教结果和教师同行的评教结果具有等效的区分度,学生能够对不同课件给出较一致的评价排序,基本可以替代教师同行对教学内容进行评价。文章最后根据研究结论提出了学生评教的建议。

关键词:学生评教;教学内容评价;评教有效性

一、引言

教学质量是教育的生命线,但当前社会上偏重科研的评价导向使得不少教师忽视本科教学工作,本科教育质量令人担忧。2016年5月《人民日报》刊文《没有一流本科,很难成为一流大学》就是对改变目前状况的强烈呼吁[1]。

为了保证和提高教学质量,许多高校开展了学生评教工作,并将学生评教结果跟教师的年终考核、绩效工资、岗位竞聘等挂钩,试图通过这种机制促使教师在教学上下功夫。笔者对所在城市的8所部委属高校的调查表明,这些高校每学期都开展学生网上评教,并将本科评教结果不同程度运用于教师管理。

尽管学生评教被广大高校所采用,但有关争议却始终存在,并且当这种评教结果和教师利益挂钩时,来自教师的质疑就更加强烈[2-7]。其中有一个质疑经常被提及却很少有实证分析,即由于教学内容安排是衡量教学质量的重要方面,几乎所有高校的学生评教表都包含学生对教学内容的评价,但有研究者和教师对本科生是否有能力对教学内容进行评价表示疑虑[8-9]。对于这个问题的回答是有价值的。如果证明学生有能力评价教学内容,那么教师以此为借口质不接受学生评教结果就站不住脚,评教管理部门对这样的评教表应该有信心,可以更充分地运用评教结果。如果证明这个疑虑属实,那么评教管理部门应该调整完善评教表,避免因学生无能力评价教学内容导致评教结果失真,偏离学生评教的初衷。

目前学者们对本科生是否有能力对教学内容进行评价这个问题的回答大多是演绎推理或者定性分析[10-11],从某种程度上说,还需要寻找有说服力的实际证据。本文正是基于这个现状,采用实证分析为主的方法尝试获取明确的答案,以期为学生评教实践提供参考。

二、研究設计

本文主要通过对实地收集的学生评教数据和一个准实验数据的分析,试图回答本科生是否有能力评价教学内容。

本研究从三个方面进行分析:一是分析样本学校学生评教表的评价项目是否反映了要评价的内容,即评教表的内容效度如何;二是分析学生在教学内容方面的评教数据是否和在其他方面(如教学态度、教学方法、教学效果)的评教数据一样,具备良好的结构效度和信度;三是以同行教师对教学内容的评价结果为参照系,分析学生对同一教学内容的评价结果是否和教师一样有效。

(1)学生评教表的内容效度分析构想。笔者邀请了5位专业人士,对样本学校的评教表的每个评价项目是否反映了所属的评教维度进行独立判断,通过统计持肯定观点的比例来判断评价项目是否具备内容效度。

(2)学生评教表结构效度和信度分析的思路。通常情况下,学生评教表包括4个方面,分别是教学态度、教学内容、教学方法和教学效果。一般而言,除了教学内容外,学生对其他三个方面的评价能力是没有疑问的。因此,从理论上来说,如果学生对教学内容的评价能和对其他三个方面的评价一样有效,那么评教数据将支持学生评教表的四维结构,评教表四个维度的内部一致性信度应该都可以达到可接受的水平,学生在四个维度上评教数据的标准差应该没有显著差异。

(3)教师同行和学生评教数据有无差异的分析设计。笔者进行了一项准实验研究,在该实验中,我们准备了外校教师的5份不同课程的公共管理类课件,邀请了10位公共管理学科教师和10位公共管理学科本科生,分别请他们对这5份课件的教学内容独立做出评价,并对这5份课件从最好到最差排序。对于收集到的实验数据,笔者做了三个方面的分析:一是按照教师同行的评价分数把5份课件分为3个不同的优劣级别[12],检验学生的评教分数在这3个不同级别的课件上是否也有明显差异。二是对于每一份课件的教学内容,学生的评价结果和同行教师的评价结果是否没有明显的差异。三是学生是否能够对这5份课件的优劣做出一致性排序。

为了完成上述分析,笔者向5位专业人士发放了教学评价项目是否适当的调查表收集专家的意见,通过实地研究向学生发放评教表收集评教数据。同时开展了一个准实验研究,分发了5份课件和教学内容评价表收集数据。对于收集上来的数据通过比率统计、因子分析、内部一致性信度分析、均值比较、肯德尔和谐系数计算等,回答学生是否有能力评价教学内容。

5位专业人士对教学评价项目是否适当做了独立的评判,并将调查表反馈给笔者,样本学校评教表的评教项目见后文。

在实地研究中,随机选择了一些以讲授为主的管理类课程的课堂教学,在任课教师允许的情况下,请上课学生按照评教表的项目表述从完全符合到完全不符合作出五级评价。评教数据仅限于研究使用,请学生无记名真实填答。共收到有效评教表213份,评教表的具体内容见后文。

准实验研究中,每位教师同行和学生都发放一份教学内容评教表和5个不同的PPT课件(评价项目来自学生评教表教学内容评价指标,由于是PPT课件不涉及讲授表现,故评教表中编号为“8”的评价项目予以舍弃),最终每个课件共收到教师和学生各10份教学内容评价数据。

三、数据分析结果

在按照研究设计收集到有关数据后,笔者遵循研究思路对相关数据进行了以下3个方面的统计分析。

1.学生评教表内容效度分析

本文首先统计了五位专业人士关于评教项目是否反映评教维度的看法,结果见评教表第三列的数据。从评教表第三列数据可以看出,20个评价项目中,有12个项目5位专业人士一致认为反映了所属的评价内容,有6个项目4位专业人士认为符合所属的评价内容,有2个项目认可度最低,但也超过了半数。由此可以认为该份学生评教表的评价项目较好地反映了要评价的内容。

2.学生对教学内容项目评价的一致性分析

上述结论是基于专业人士的主观判断,为了進一步观察评教表内容是否如管理者理论上构思的那样分为4个方面,我们对213份学生评教数据进行了因子分析,因子分析的条件检验及结果见表1和表2。

表1显示,学生评教表的KMO值为0.950,超过了0.9,表明样本非常充足。巴特立特球型检验的显著水平小于0.001,表明变量之间具有共享因素的可能,适合做因子分析。

在原评教表中,编号1至4项为教学态度评价,5至10项为教学内容评价,11至15项为教学方法评价,16至20项为教学效果评价。从表2可以看出,20个项目自动负荷在4个因子上,根据因子载荷系数判断题项的归属,F1因子包含的就是教学内容的题项,F2是教学态度的题项,F3是教学效果的项目,F4是教学方法的题项。由于普遍认为学生有能力评价教学态度、教学方法和教学效果,所以表2中F2、F3、F4因子包含的题项与原评教表一致是符合预期的。表2中的数据显示F1因子仅仅包括了教学内容的题项,这说明学生对教学内容各题项评价结果的正相关度是很高的。否则,原表中的5至10题项不可能清晰地聚集在一个因子上。从这个角度来说,学生有能力对课堂教学内容评价项目做出一致性评价。

在对学生评教数据进行因子分析的基础上,接着对评教表的内部一致性信度作了分析,结果见表3。

从表3可以看出,4个维度的克朗巴哈系数均超过0.8,其中信度相对较低的是教学方法而不是教学内容,但都达到可以接受的水平[13]。一个合理的推论是,如果学生在教学内容评价项目上不能给出较一致的评价结果,其克朗巴哈系数不会高达0.924,这说明学生能够跟对其他三个方面的评价一样,对教学内容方面做出较一致的评价。

本文进一步比较了学生评价数据在评教4个维度上标准差的差异,结果见表4。

一个合理的假设是,如果学生能够对教学效果、教学态度和教学方法每个方面的项目做出一致性评价,而对教学内容的评价项目得分凌乱,那么教学内容方面评教数据的标准差将会是较大的,明显大于其他三个方面。但从表4可以看出,4个评教维度数据的标准差没有显著差异,说明在教学内容维度的评价项目上,学生评教数据跟在其他三个方面一样,具有一致性。

3.学生对不同课件评价的区分效应分析

按照常用的五级评分三分法,本文依据教师同行对课件内容的评价得分,将5份课件分为3个类别[12]。其中平均得分低于2.33的为Ⅰ类,有一份课件。超过2.33且小于3.67的为Ⅱ类,有两份课件。等于或者高于3.67的为Ⅲ类,也有两份课件。然后比较学生对这3类课件内容评价得分的均值,结果见表5。

从表5可以看出,对于教师同行认定的3类课件,学生评价数据也表明每两类课件之间得分有明显的差异。其中第Ⅰ类课件得分最低,第Ⅱ类居中,第Ⅲ类最高。学生对教学内容的评价和教师具备等同的区分效应。

为了更精细地分析学生对教学内容的评价是否跟教师同行一样,没有明显的差异,笔者对5份课件的教师评分和学生评分进行了比较,结果见表6。

从表6可以看出,除了第一份课件之外,教师对其余课件的评分都比学生低一些,但从统计意义上而言并没有显著性差异。根据前述三分法的得分区间划分,以教师评分所属类别为依据,也可以看出学生对每份课件的评分没有出现类别错划问题。换言之,对于同一份课

件,即使让教师同行来评价,也不会跟学生评价结果有明显差别。

教师同行的专业性使人们相信他们可以对教学内容做出准确的评价,表现在对评价对象的优劣排序上,他们对多个对象的评价排序一致。本文借鉴这一思路利用肯德尔系数分析了学生对5份课件的排序数据,结果见表7。

从表7可以看出,肯德尔系数为0.882,显著性水平小于0.001,表明10位学生对5份课件的排序具有高度一致性。

四、结论及建议

我们的研究结论是:

(1)设计一份科学合理的学生评教表是可能的。参考一些高校的学生评教表,总体而言,从教学态度、教学内容、教学方法和教学效果4个方面衡量课堂教学质量是比较适宜的。而教学内容方面的评价,可以从课程的基本概念与理论是否准确清楚、重点难点是否突出、教学内容是否充实、内容讲授是否娴熟、教学内容是否理论联系实际、是否联系学术动态来考察。

(2)学生对教学内容评价项目能够给出较一致的评分。评教数据的因子分析、内部一致性信度分析以及4个维度标准差的比较分析表明,跟对教学态度、教学效果以及教学方法的评价一样,学生在教学内容各项目评价上没有出现评分凌乱的情况,甚至对教学内容评价的一致性超过教学方法方面。

(3)学生能够对课件的教学内容做出优劣评判。准实验研究中教师同行认定的优劣不等的课件,学生评价数据在这些课件上同样具有区分度,且等级判别与教师同行的结果一致。

(4)学生对教学内容的评价结果跟教师同行的评价结果没有明显差异。准实验研究中,虽然教师同行对课程教学内容的评价较之学生略低,但差异并不显著。从这个角度来说,学生基本可以代替教师同行对课程的教学内容进行评价。

(5)学生对课件内容的优劣排序具有较高的一致性。准实验研究中,10位学生对5份课件的优劣排序数据表明,他们对课件内容相对优劣的判断具有较高程度的共识,从统计学意义看,一致性达到很高的显著水平。

我们对学生评教提出如下几个建议:

(1)管理者要提供一份科学的学生评教表。只有评教表科学合理,才能够准确评测教师的课堂教学质量。一般来说,课堂教学评价可以从教学态度、教学内容、教学方法和教学效果4个方面进行,本文所示的各个方面的评价项目仅是一种代表性观测点,现实中各高校在设计和修订评价表时可以参考借鉴。

(2)加强学生评教的沟通工作。一方面,要对以往的学生评教数据进行系统分析,拿出学生有能力进行评教的实际证据,让老师们认识学生评教,认可评教结果。另一方面,要在学生中广泛宣传解释学生评教制度,促使他们以认真负责的态度参与到此项工作中,这项工作尤为必要。以笔者的初步了解来看,不少学生认为他们的评教只是走过场,故不少都是应付性打分。在这样的态度和行为方式下,评教表即使科学合理,评教结果也将失真。

(3)有步骤地运用评教结果。在教师对学生评教还没有充分认识的情形下,学校可以先将评教结果运用于教师发展。比如将评教结果(绝对分数和相对排名)用书面形式反馈给教师并由教师填写教学改进计划后再提交给教务管理部门,促使教师关注学生的评教意见,避免选择性忽视教学工作。经过一定时间的发展性学生评教后,在学生和教师都有较深入认识的情形下,可以将评教结果进一步运用到年终考核、绩效工资和岗位评聘上。

(4)重视影响评教结果的其他因素。除了学生评教表的科学性、学生的评教态度之外,还可能有一些其他因素影响评教结果的可比性。比如老师承诺给学生高分以博取学生高评,不同的大类学科趣味性不同导致评教结果有明显差异,老师因严格要求导致个别学生打低分报复等。这些可能的因素需要进一步研究验证,并对教学管理和评教制度进行完善,例如规范教师课堂言行、在学生知晓自己的成绩前安排评教以免教师遭报复、对不同大类学科评教结果分类排名等。

本文尝试用实证数据回答学生能否评价教学内容的问题,并得到了比较明确的答案。这不同于以往理论分析的研究范式。但研究结论的应用仍需保持谨慎。本次实地研究中学生评教的课程是讲授为主的社会科学类课程,不能简单推论学生同样能对理工类课程、艺术类课程的课堂教学内容做出较准确的评价。这需要进一步的研究。此外,在准实验研究中,对教学内容的评价是以对PPT课件的评价代替教师现场教学内容,这与现实教学还是有一定的差异。在此情形下,本研究用师生评价文本课件的数据进行分析得出的结论,需要在以后的研究中,用现实课堂教学内容评教数据做进一步验证。

参考文献:

[1] 董洪亮. 没有一流本科,很难成为一流大学[N]. 人民日报,2016-05-12.

[2] 倪超美,付东升.对学生评教实践的反思[J].江苏高教,2009(1):74-77.

[3] 付八军, 冯晓玲.大学生评教客观度的调查研究[J].大学教育科学,2011(1):35-40.

[4] 杨秀芹.学生评教制度缔结的行动逻辑——学生的道德风险与教师的行为选择[J].教育科学,2009(5):61-65.

[5] Pieter Spooren and Francis V. Loon,. Who participates (not)? A non-response analysis on studentsevaluations of teaching[J].Social and Behavioral Sciences,2012(69):990- 996.

[6] 吴莎,李冲.高校学生评教影响因素研究综述[J].科教文汇,2012(9):32-33.

[7] Shu-Hui Liaw Kim-Leng Goh, Evidence and control of biases in student evaluations of teaching[J].International Journal of Educational Management, 2003(1):37-43.

[8] 雷敏.論提高高校学生评教质量的方法和策略[J].高教探索2005(1):50-52.

[9] 杨丽萍,张彦通.是什么影响了高校学生评教的信度和效度[J].中国大学教学,2009(3):72-74.

[10] 马秀麟,衷克定,张 倩.学生评教偏差分析与控制模型研究[J].现代教育技术,2011(2):40-44.

[11] 张光进,张士菊,杨朝琦.高校学生评教存在的问题及对策探讨[J].高等理科教育,2012(2):40-41.

[12] 张光进,廖建桥. R&D;人员绩效特征及考评方法权变选择研究[J].科学学研究,2014(9):1355-1357.

[13] T. R. Hinkin,. A brief tutorial on the development of measures in survey questionnaires [J]. Organizational Research Methods,1998(1):104-121.

[责任编辑:陈立民]

猜你喜欢

学生评教
学生评教促进教师教学长进
高校学生评教现状调查与分析
基于云模型的高校学生评教方法研究
持续改进课程教学质量的一种措施
高校学生评教有效性分析与策略研究
残疾大学生评教制度效果和问题研究
关于民办高等学校学生评教可靠性的研究
不同主体评教结果差异现象及原因探析