建构反应题中能力估计准确性的影响因素:评分者人数和项目个数的交互作用
2018-03-01孙小坚康春花曾平飞
孙小坚,康春花,曾平飞,辛 涛
(1.北京师范大学中国基础教育质量监测协同创新中心,北京 100875;2.浙江师范大学教师教育学院,金华 321004)
1 前言
建构反应题(Constructed Response item,CR题)因其可以对个体的分析、综合、应用等能力进行较为准确地测量(康春花,辛涛,2010),受重视程度也日益增加。但由于CR题没有统一的标准答案,因此需要额外的评分人员对学生的作答进行评分,而各评分员由于其自身的知识、能力、经验和情绪状态的不同,导致CR题的评分误差相对较大(Attali,2014;Kim,Walker,& McHale,2010;周群,2007),以及不同评分员之间的误差也各不相同(田清源,2006)。如此,评分者信度问题将受到一定程度的挑战。如何一方面保证学生能力估计值的准确性,另一方面分离出评分者宽严度等随机误差的大小及其影响因素是当前研究的一个重要问题。
目前,从测量学的角度,主要通过多水平模型来分离学生能力水平、评分误差及其影响因素,从而达到对学生能力特质更为精确的估计,如多水平随机系数模型(Multilevel Random Coefficient Model,MRCM),广义分部评分多水平侧面模型(G-MLFM;Wang & Liu,2007)。然而,MRCM是线性模型,而G-MLFM不适于继时性加工的任务情境(Andrich,1995;Tutz,1990)。为此,康春花等(2016)将多面Rasch模型、多水平模型和等级反应模型(GRM)三者结合,构建了等级反应多水平侧面模型(Grade Response Multilevel Facets Model,GR-MLFM),并通过两个模拟研究探讨了GR-MLFM的返真性,结果表明:模型可以很好地估计出被试参数、项目参数和评分者参数,具有较好地适用性和可行性。GR-MLFM兼具多面Rasch模型、MRCM和GRM的特征,可用于CR题如数学应用题问题解决,公式推导等逻辑性强,解法多样的评分情境,以考察评分者的宽严度及其相关的影响因素。……
