简小珠 戴步云 陈 平

CAT模拟结果的分析模式与评价指标

简小珠 戴步云 陈 平

计算机化自适应测验（CAT）模拟是CAT研究的主要方法之一。CAT模拟结果的评价分析内容主要包括三个方面：被试能力估计与被试能力分类分析、题库试题使用情况分析和CAT测验作答过程分析。CAT模拟结果的分析模式主要分为整体分析和细化分析两种模式。本研究从测验模拟返真性能、测验准确性、题库安全性、题库使用率、测验分类效率与准确性、多测验目标约束控制的实现程度等角度概述CAT模拟结果的各类评价指标。CAT模拟结果的评价角度和评价指标需要根据CAT研究目标和测验情境要求加以确定。

CAT；CAT模拟；分析模式；评价指标

1 CAT模拟结果的分析模式

计算机化自适应测验（Computerized Adaptive Testing,CAT）模拟是CAT测验技术研究的主要手段。从分析内容角度来看，CAT测验技术研究主要从三个方面对CAT模拟结果进行分析：一是被试能力估计和被试能力分类情况；二是题库中试题使用情况，包括试题曝光率情况、题库使用率和试题内容平衡等；三是CAT作答过程，包括在CAT作答过程中被试能力估计值变化情况、试题曝光率情况等。从分析模式角度来看，CAT模拟结果的分析大致可以分为两种模式：一种为整体分析模式，对所有被试在测验上的模拟结果进行整体评价分析；另一种为细化分析模式，即依据CAT分析内容的三个角度，或者从被试能力量尺的各个水平上对被试能力水平进行细化分析，或者从试题难度量尺水平上对题库试题利用情况、曝光情况进行细化分析，或者对CAT的每一步作答过程进行细化分析。……