杨志强 李志芳 董曼霞

(1.重庆科技学院 外国语学院，重庆 401331/广东外语外贸大学 外国语言学及应用语言学研究中心，广东 广州 510420；2.陆军军医大学 基础医学院外语教研室，重庆 400038；3.四川外国语大学 商务英语学院，重庆 400031)

0 引言

外语口语能力是外语水平的直接表现。随着英语口语越来越受到重视，参加口试的考生逐年增多，人工实考及评分已经无法满足操作需求。近20年来，计算机技术和测试理论的不断发展及融合，突显了计算机辅助考试的优势，如信度高、节约费用、考试时间灵活、便于组织等(曾用强, 2011)。因此，该技术已广泛应用于大规模考试实践中(金力，2011)，包括TOFEL机考、CET口试、TEM口试以及高等学校英语应用能力口语考试(Practical English Test for College-Oral，简称PRETCO口试)等。PRETCO口试是由国家高等学校英语应用能力考试委员会于2005年开始实施的口语考试，该考试是以人机对话方式进行的计算机辅助考试(刘鸿章 等, 2010)。由于计算机辅助口试自动评分技术还不成熟，目前仍采用人工评分。人工主观评分容易出现误差，所以有必要对评分的信度进行研究(Myford et al., 2004)。此外，评分员的评分可能随着时间的进展发生变化(Myford et al., 2004)，而且评分的稳定性直接关系评分的质量、评分员的遴选，以及考试的信度、效度和公平性等(赵海燕 等, 2018)，因此，对评分员的稳定性进行研究具有重要的实际意义。虽然近年来有关口语测试评分信度展开的研究日益增多(何莲珍等, 2008；刘建达, 2010；Attali, 2016；Kang et al.， 2019)但这些研究都只对单次的评分作了分析，没有对评分的稳定性进行历时研究。……