APP下载

因素分析在语言测试中的应用

2013-07-16黄春霞

考试·教研版 2013年5期
关键词:因素分析应用

黄春霞

[摘要]因素分析是一种常见的统计方法,在各个领域都有着广泛的应用,本文主要介绍了因素分析方法在语言测试领域的推广和应用。因素分析包括两种:探索性因素分析分和验证性因素分析,这两种因素分析方法在语言测试中有着不同的研究目标和研究内容,但是二者的关系又是相辅相成的。经研究发现,因素分析方法对于探索语言测试的能力结构、促进语言测试效度研究有着重要贡献。

[关键词]因素分析 语言测试 应用

[中图分类号]G423 [文献标识码]A [文章编号]1006-5962(2013)03(a)-0058-02

对于任何一种语言测验来说,信度和效度都是判断其质量的两大重要指标。信度保证测验判断的一致性和稳定性,即测验对测验目标的考查具有一定的精度;效度保证测验的有效性,即测验对分数的解释和使用,是正确的、合理的。

证明一种测验是否有合理效度的过程,我们称之为效验(validaNon)。在收集理论和实际证据的效验过程中,证明该测验确实测量到了设计者声称想要测量的“东西”,是语言测验效度研究中非常重要的部分,而语言测验中想要测量的“东西”自然是语言能力。语言能力不像自然科学实验中的测量目标那样,可以看得到、摸得着,语言学家对语言能力的具体构成,有时也很难达成一致意见,教育领域的测量目标具有非常明显的“间接性”。因此,在教育测量和心理测量领域里,研究者者通常把语言能力称之为“潜在特质”(latent trait)或“潜在结构”(latent structure)。

关于语言能力的研究,也是在不断深入和发展的。从索绪尔提出的结构主义语言学到海姆斯的交际语言学,再到最新最热的认知语言学,每一次语言学本体领域的发展和变革,都会带动和促进语言测试领域的改进和创新。在结构主义语言学盛行的时代,语言测试专家开始热衷于对语言各单位进行切分、合并归类和组合,主张从听、说、读、写四个方面来考查应试者的语言能力。最典型的代表就是老版托福和老版HSK(目前国内最知名的汉语测试)中,都有专门语法测试题目。其实,这种划分深受诟病,越来越多的语言学家们认为,语法规则存在于语言能力的各个方面,不需要单独划出一个分测验来专门考察。本世纪初,语言测试专家开始接受海姆斯的“交际能力”的概念,主张把应试者的语言能力放入到真实的交际环境中去考察,由此传导到语言测试领域的变化就是各种知名语言测验开始纷纷改版,例如:新托福考试不再沿用以往的旧题型,推出了一系列交际性题目,增加了口试;新版HSK的考试内容和形式也作了相应的调整,取消了原有的语法题目。

在教育和心理测验中,效度研究的方法大致分为两类:一是专家主导的各类分析、推论和判断,具体技术包括逻辑分析法、问卷调查、被试访谈、试卷内容审查等,这类方法是效度研究中不可忽缺的重要组成部分,但是带有一定的主观性;二是以各类统计软件为依托的专业心理测量方法,包括相关分析、回归分析、因素分析和平均数差异检验等,这类方法客观性强,但是容易误用,使用时要谨慎对待统计结果。

在第二类效度研究方法中,因素分析对采集有关试卷内部结构的效度证据非常有效,它是一种分析众多变量之间相互关系的多元统计技术,也是研究语言测验能力结构最重要的统计方法之一。

因素分析是用来分析大量观察变量之间内部关系的一种复杂的结构分析程序,该方法通过数据简化(降维)的方式,最终将这些观察变量分成几个有共同特征的纬度(dimension)或因素(factor)。因素分析的目的是从为数众多的可观察变量中概括和推论出少数因素,用最少的因素来概括和解释最大量的观察事实,从而建立期最简洁、最基本的概念系统,揭示出事物之间最本质的联系。(谢小庆,1989,P2)

因素分析有两种:探索性因素分析(exploratory factor analysis)和验证性因素分析(confirmatory factor analysis)。

探索性因素分析的目的是,从为数众多的变量中找出几个更为一般性、更抽象的变量作为众多变量的代表,因素分析将多个实测变量转换为少数几个综合指标,它反映了一种降维的思想。例如:50道汉语听力题目,可以看成是50个变量,如果想要知道它们是不是都在测量一个共同的潜在特质——汉语听力理解能力,就可以使用探索性因素分析技术。如果想要了解我们称之为“汉语语言交际能力”的潜在结构是由几个主要维度(dimensions)组成,也需要使用探索性因素分析。

验证性因素分析的目的是,揭示理论所预测的模型(model)在多大程度上能被实际观察数据所证实,或者是理论模型与观察结果之间的拟合程度。使用探索性因素分析时,是先有数据,而我们的目的是发现蕴藏在数据背后的潜在结构;使用验证性因素分析时,是先有理论,并由理论推演出观察数据可能具有的潜在结构,然后通过实际观察数据来评价预测的抽象结构与实际观察到的数据结构之间的拟合程度,最终达到判断评价理论是否符合实际情况这一目的。

在教育和心理测量实践中,探索性因素分析是一项传统的效度证据采集工具,技术上比较成熟。最近几年,随着测评理论和方法的深入研究,验证性因素分析技术也得到了越来越多的应用。将探索性因素分析和验证性因素分析有机结合,是目前语言测试的内部结构效度研究中最为重要的一种方法。在国外的知名测验研究中,因素分析技术的使用是非常广泛的,可以说是效度研究中不可或缺的重要组成部分。

下面以对外汉语领域内的一项新型语言测试C.TEST为例,来看一下因素分析在语言测试中的具体应用。

C.TEST(实用汉语水平认定考试)是一种面向母语非汉语者的标准化语言测验,主要考查母语非汉语人士在社会生活以及日常工作中实际运用汉语的能力。C.TEST系列测试包括C.TEST[A-D级](中高级)、C.TEST[E-F级](初级)和C.TEST[口语面试]。与HSK相比,C.TEST的最大特点是,它在一个非常广阔的国际交流背景下,考查应试者在社会生活和日常工作中实际运用汉语的熟练程度,特别侧重对应试者在各类工作环境中汉语交际能力的客观测评。HSK是用来界定来华留学生学习专业所具备的汉语能力,而C.TEST是用来界定汉语学习者在工作层面上的汉语交际能力。所以,C.TEST和HSK在测验用途、测量目标、试卷内容方面都是互相补充、互为参考的。受海姆斯的“交际能力”的影响,C.TEST测试,也设计了一些更加真实的交际性题型,测验不再把考查单纯的语言知识作为测验目标,而是把在实际语言交际过程中,应试者是否能正确、恰当地完成交际任务作为考查目标。

C.TEST已经正式施测几年了,但是C.TEST的那些交际性题目是否真的考查到了所谓的语言交际能力?而语言交际能力的具体结构又是怎样的呢?我们可以运用因素分析方法来研究这个问题。

运用探索性因素分析来C.TEST客观试卷的内部结构,可以将分测验中的每一道题目都看成是一个独立的变量,考查这些变量是否考查的同一潜在特质,例如C.TEST[A-D级]中的听力题目,是否都是考查听力交际能力?对于任何一种测验(或者分测验),设计者还是期望题目具有同质性,也就是考查的是同一种潜在特质,即该测验(或者分测验)具有单维性,而没有参杂本不该出现的其他维度。另外,也可以用探索性因素分析来探测C.TEST考查的汉语交际语言能力中,除了传统意义上的听、说、读、写能力外,是否还有其他维度的潜在特质存在。以往的研究中,我们运用因素分析对旧版HSK(初中等)的语言能力进行过分析,只在听力理解和阅读理解中抽取到了两个有显著意义的因素,勉强命名为汉语听力理解能力和汉语阅读理解能力,因为旧版HSK(初中等)的题型中,没有写作测验和口语测验,所以没有办法收集应试者在汉语口语能力和汉语写作能力的数据。C.TEST的测验目标和题目形式都发生了较大变化,增加了具有显著交际性特点的综合题型,有些题型会同时考查应试者的听、读、写的能力,因此C。TEST因素分析的结果应该会与旧版HSK因素分析的结果有所不同。

在前期探索性因素分析研究的成果之上,运用验证性因素分析对理论模型假设进行验证,计算理论模型与实际观察数据之间的拟合程度,为本测验数据寻找符合实际情况的最优模型。在前一阶段的探索性因素分析中,根据分析出来的因素在每个小题型上的因素负荷情况,可以得到若干具有显著意义的因素,结合负荷该因素的几个题型的特点,我们可以对这些因素进行命名。这样,我们通常可以得到一个关于C.TEST语言能力的树形结构图。这个结构图就是运用因素分析得到的潜在结构(latent structure),也是进行下一步验证性因素分析的假设理论模型。接下来的工作就是对这一假设理论模型进行验证,如果模型与观察数据的拟合程度达到既定标准,就表示可以接受该模型,如果模型与观察数据的拟合程度较低,则拒绝该模型。通过验证性因素分析这部分工作,如果能够找到与数据拟合程度较高的最优模型,就可以在一定程度上揭示C.TEST语言交际能力的构成。探索性因素分析和验证性因素分析二者结合起来使用,可以互相补充、互相验证,进而揭示语言能力的结构。

在语言领域运用因素分析研究语言能力构成,有一些问题也要注意。探索性因素分析的本质是通过研究众多变量之间的内部依赖关系,探求观测数据中的基本结构,并用少数几个假想因素来表示基本的数据结构,虽然该统计方法在教育和社会心理学领域得到了广泛的应用,但是如果使用不当,就会使研究结果缺乏可信度。运用该统计方法时,要处理好原始数据,尽量满足该方法的前提假设条件,不迷信统计结果,要在具备相关测量理论和专业常识的基础上,根据统计结果来推导结论。

验证性因素分析的假设理论模型的建立和界定、理论模型合理性检验与修订等问题,都是研究的重点和难点。假设理论模型,是指研究者根据特定的研究问题、前期研究成果及现有专业知识明确提出的具体理论模型。这些假设理论模型必须是确定的,即模型中的所有参数都只有一种方法求解。如果模型中某个参数的确定性得不到满足,则该参数可能在数学上无解或存在着无穷多个等价的解,因此,对该模型的其它参数的任何估计和解释也就失去了意义。对验证性因素分析而言,模型的确定性是对模型进行参数估计的必要前提。进行验证性因素分析的一个基本前提和步骤就是手工证实模型中每一参数的确定性状态,这也是目前国际上通行的证实模型的确定性的唯一普适方法。另外,适合数据的假设模型具有不唯一性,就是可能会有很多满足条件的模型,如何使模型既有代表性,又没有遗漏和缺失,是在建模过程中需要认真思考的问题。

对探索型因素分析而言,模型一旦估计出来,统计分析也就完结了。但在验证型因素分析中,模型的估计仅仅是第一步、更为重要的是对假设的模型的合理性做出检验。合理性检验,包括每个参数的合理性(如方差、协方差的非负性)检验与显著性检验,整个模型的总拟合优度检验等等。检验不仅为模型合理性提供了量化依据,也为下一步研究,为模型改进指明了方向。在这部分研究中,拟合优度检验是研究的难点。每一种指标都有自身的取值范围和判断标准,但是以往的研究发现,有些指标的判断标准并不绝对,需要参考已有研究经验进行主观判断,所以在选择最优模型的时候,一定要聘请有经验的语言测试专家对各种拟合参数仔细甄别,根据相关理论和语言测试实践进行综合判断。

总之,因素分析方法应用于语言测试的构想效度研究,有很多优势。就语言测试研究本身而言,因素分析可以确定测验维度、修订测验项目、对语言结构进行量化分析、检验平行测验、估计测验信度及对测验进行多维度研究,这些问题都是决定语言测验质量的重要组成部分。因素分析的研究成果也可为C.TEST这一新型语言测试品牌的优质高效提供重要研究支持,为该测试品牌的扩大影响提供理论和实践帮助。

猜你喜欢

因素分析应用
桥梁抗震影响因素分析研究
工程项目社会稳定风险研究现状分析
无形资产减值因素分析
物流设施与设备课程的考核模式因素分析研究
多媒体技术在小学语文教学中的应用研究
分析膜技术及其在电厂水处理中的应用
GM(1,1)白化微分优化方程预测模型建模过程应用分析
煤矿井下坑道钻机人机工程学应用分析
气体分离提纯应用变压吸附技术的分析
会计与统计的比较研究