APP下载

基于多元概化理论的英语听说考试信度效度研究

2018-08-14刘燕王华

长治学院学报 2018年3期

刘燕,王华

(1.山西大学商务学院 外语系,山西 太原 030031;2.山西大学 外语学院,山西 太原 030006)

一、引言

任何语言测试在本质上都是一个抽样过程,抽样必然带来样本的概化问题[1],即从抽取的样本得出的结论在多大程度上可以推论到全域中(universe domain)。Messick[2]认为概化性是构念效度的一个重要组成部分,可以从两个层面去理解。第一,概化性涉及信度问题(reliability),即对考生能力的推论在多大程度上可以概化到不同的任务、不同的群体、不同的评分员等情况下;第二牵涉迁移问题(transfer),即考生在测量更广阔构念任务上表现的一致性问题。概化理论[3]为分析语言行为测试的概化性提供了很好的分析框架。正如Schoonen[4]和McNamara[1]指出,概化理论不仅可以估算语言行为测试的信度,而且还可以为不同任务提供聚合效度方面的证据。本研究将使用多元概化理论分析听说考试的信度和不同任务聚合效度方面的证据。

二、相关研究

概化理论是在经典测试理论和方差分析的基础上,由Cronbach及其同事在上世纪70年代提出,经Brennan等逐步完善的测量理论。概化理论应用分为概化研究阶段和决策研究阶段。在概化研究阶段,概化理论估算出不同测量侧面(facet)及他们之间的交互作用的方差分量。在决策研究阶段,这些方差分量则可被用于不同的测量情景中,估算不同测量条件下信度指标,如概化系数(generalizability coefficent)、可靠指数(phi index)和侧写差异性(profile variability)指数(g^ 值)。

随着GENOVA,EduG等概化理论测试软件的开发和不断完善,概化理论被广泛地应用到研究测试的信度和效度上。……

登录APP查看全文