李传益

作文等主观性试题的评分差异太大时需要组织评分员进行重评，而采用传统人工重评的方法费时费力，且仍然解决不了重评中存在的主观性问题。那么，对于评分差异能否寻求另外的方法来解决？正如Lunz etal.（1990）所说：“由评分员个体差异所引起的评分差异我们是无法预先估计的，但是为了保证分数的可靠性，我们需要对评分员的某些特征进行数学上的客观调整”。

本文尝试用Longford介绍的调整评分员不一致项（残项）的方法对评分员给出的差异较大的分数进行客观、数学上的调整，希望这种调整方法能最大限度地减少评分误差，使评分员给出的分数尽量接近被试的能力，并能解决大规模标准化考试主观评分人工复评中的主观性问题。

1 Longford（1995）主观评分信度研究方法

1.1 Longford（1995）分数调整基本思想

在主观题评分中，被试的表现可能要受到测验任务、被试自身水平以及评分员的影响。对此，Longford（1995）采用了一种方差分量模型，利用方差分量和收缩系数提供了有关被试真分数和评分员评分的信息。它将被试、项目、评分员或评分组看成是影响真分数的因素或侧面，其中，评分员的变异有来自评分员自身的变异和评分员之间的变异，它们又都可以分解为严厉度方差和不一致性方差（残项方差）。将影响被试能力的误差总来源分解后，评分的质量可以用评分员评分不一致的方差分量来描述，或者说是用评分员所估计的真分数和被试的真实能力之间的差异，也叫均方误差（Mean Squared Error，MSE）来评价。……