张咏梅　田　一

(北京教育科学研究院，北京 100191)



考生作答数据反馈对Angoff标准设定结果的影响

张咏梅田一

(北京教育科学研究院，北京 100191)

摘要：以大规模学业成就水平测验为背景，采用组间设计，按类别将专家分为五组，在反馈数据环节随机给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的调整数据后，采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定Angoff方法中如何参考使用题目作答数据。结果表明，反馈考生题目作答数据对Angoff标准划定结果有明显影响：反馈未经调整的真实考生题目作答数据影响较大；反馈调整后的高于真实考生题目作答数据影响相对较小，反馈低于真实考生题目作答数据影响相对较大。

关键词：Angoff方法；标准设定；考生题目作答数据反馈

1问题提出

标准设定是标准参照测验编制、实施和结果报告过程中最重要的环节之一，是为测验确立临界分数线(Cut Scores)的过程。标准设定体现了考试目的、内容及测试者能力在广泛的社会或教育环境中的专业价值。依据考试目的，在学业成就水平测试或证书资格考试中，通常需要建立“通过与否”一个或多个临界分数线，如合格线、良好线和优秀线。

Angoff方法作为标准设定领域中应用历史悠久、范围较广的方法之一，由美国学者Angoff(1971)在《教育测量》第二版“评分、常模与等值分数”一章中首次提出。起初，此法要求担当评委角色的专家判断“某等级内最低能力水平的人或人群”能够正确作答每道多项选择题概率或百分率，所有题目概率或百分率总和即为此等级内最低分数或临界分数线。……