APP下载

外语测试设计的理论与实践探索

2015-02-12宋征

天津商务职业学院学报 2015年2期
关键词:效度信度受试者

宋征

天津美术学院,天津300141

一、测试信度

测试信度:Bachman(1996)把信度定义为“测试的一致性”。简言之,就是测试结果的可信度、可靠度,即考分的一致性。测试信度是测试准确度的一种体现,测试的准确度越高,信度越高。

影响语言测试信度的因素主要包括以下几个方面。

1.环境因素。有大量的环境因素会对学生的考试产生不利影响。如嘈杂的考场环境和考场的温度,此外诸如考场的光线、空间、通风等因素都会对考试的信度造成影响。这里要特别提到的是,嘈杂的考场环境对外语语言测试中的听力和口语考试影响尤为突出,因为这两种考试涉及大量听说内容,如果有其它声音的干扰,会严重影响测试效果,进而大大降低测试信度。

2.测试的管理程序。不同的受测群体、不同的考试地点和不同的考试时间等因素会影响考试信度。

3.测试项目。首先,测试的题目数与测试的信度是相关的,题目数过少会降低测试信度。所以在测试设计中,要确保足量的测试题目数以保证测试的信度。Henning(1988)曾指出要保证信度,一次考试的题目数不应少于75题。其次,考试难度也和考试信度息息相关。考试过难过易都会降低考试信度。最后,考试题目种类的设计也很重要。

4.受试者自身的生理、心理因素。受试者本身的一些生理和心理因素也会对考试信度造成影响。例如身体不适、心理上对考试的厌倦、情绪上的波动(紧张或焦虑等情绪)等因素都会导致考试成绩无法真实反映学生语言能力,进而影响测试信度。在外语语言测试中,口语和听力测试在这方面问题尤为突出。很多国内外学者都对心理紧张、焦虑和听力、口语考试之间的关系进行过研究,此方面的专业论述也颇多。

二、测试效度

测试效度:指 “成功地实现测试目的程度”(Clark,1979:35-49)。语言测试的效度是指测试是否考查了测试者想要测试的语言方面的内容,考生所考的成绩是否合理地说明了该考生的语言能力。Hughes(1992)指出如果考试与其检测的语言技能和结构相匹配,那么就可以说此次考试具备效度了。

影响测试效度的因素主要包括以下几个方面。

1.测试的目标。测试目标的确定,对于测试的效度有着重大影响。目标一定要定得恰当,要在测试能达到的范围之内。比如刚完成大学英语第一单元的讲授,单元测试的目标就要突出本单元所讲知识点的掌握上。

2.测试的内容。必须使测试的内容尽可能准确地反映测试的目标。命题实际上是一个抽样的过程,如果抽样合理,样本大小合适,就能比较正确地反映整体的情况,就易于达到测试的目的。每—次测试,题项必须有代表性,侧重点要明确。比如要考查名词性从句的掌握,命题就应该紧紧围绕主语从句、宾语从句、表语从句和同位语从句这四大从句展开,题目数量的设置也要依据这四种从句平均分配。

3.测试的方法。测试的方法要与测试的内容相适宜。考口语要用口试法,笔试法无法直接测量口头表达。

4.测试的组织。测试需要严格、科学的组织工作。组织得好,有利于提高测试的效度和信度。

5.测试的应用。举个例子,如果把为大学英语一年级考试试卷给高中生做,那么这个考试就缺乏效度。尽管这个考试在大学一年级学生测试时已证明效度,但受试者变化了,考试的效度就受到损害。

三、测试语言输出能力类试题的特点

测试语言输出能力类试题通俗讲就是写和说的试题。在我们实际外语测试中经常会以写作和口语考试的形式来体现。下面我们将针对这一类型试题的优缺点进行探讨。

(一)测试语言输出能力类试题的优点:效度高

虽然测试语言输入能力类试题(读和听的试题)作为直接试题也具有一定的效度,但测试语言输出能力类试题(写和说的试题)具有更高的效度。因为测试语言输入能力,不一定能测试出语言输出能力;而测试语言输出能力,一定同时能测试出语言输入能力。例如,在听力测试中全部能够听懂的内容,不一定都能说出来。但反之,口语测试中全部能说出来的内容一定能听懂。阅读理解中读懂的内容不一定都能写出来,而自己写作的内容是肯定能读懂的。因而听、读类试题不一定能考查说、写的能力,但说、写类试题一定能考查听、读能力。

另外一个说明测试语言输出能力类试题具有更高效度的原因是:这类试题能同时测试语言的各个层次。这里还用读、听类试题和写、说类试题进行比较。试想在做一篇阅读理解时,虽然可能理解了通篇主要内容,但对阅读文章中的单词、短语、每个句子的语法结构和含义不一定都能理解。听力测试中也常常出现类似问题,虽然听力材料中的一些词汇和句子并未听懂,但有时也不影响对听力内容大意的理解。但写和说类试题却不然。写作考试中所写的每个句子的语法结构和含义以及句子中的单词和短语,受试者必然非常通晓。口语考试也是如此。否则就写不出来、说不出来或者会写错、说错。所以写、说类试题在考语篇的同时,必然也考查了单词、短语和句子,在考意义表达的同时,必然也考查了惯用搭配和语法。从这个角度来讲,测试语言输出能力类试题具有更高的效度。

(二)测试语言输出能力类试题的缺点:信度和可行性相对低

由于测试语言输出能力类试题都属于主观性试题,评分标准的科学客观性相对客观性试题会有一定差距。因此其信度也相对低。

可行性低也是测试语言输出能力类试题的一个弱点。因为这一类测试对考试的时间、地点、人员及设备等条件要求较高。写作考试相对于口语考试还较易实施。因为在同一时间、同一考场、有纸笔就可以进行测试,而且监考人员也不用具备专业知识。然而口语考试要求具备的条件就复杂多了。这也是此类型测试在很多重大考试中占比例不多的一个重要原因。例如,TOEFL从1964年开办,到1986年才增加一个写的试题 (TWE—Test of Written English)。TOEFL虽然从1982年开始也增加了一个口试测试(TSE—Test of Spoken English),但也只能作为主卷之外自由选考的额外考试。高考英语试卷虽然一直有写作这项题型,但口语考试一直未能列入高考的项目。大学英语四六级考试虽有口试测试,但也是只有笔试成绩达到优秀的少部分学生才能取得口试资格。这些都说明了此类试题对考试条件要求苛刻,故可行性就低了。

四、建议与启示

1.要设法提高语言测试的信度和效度。要提高信度和效度,可以从试卷设计、考试环境、受试者三方面着手。第一,试卷设计是最重要的,对测试信度效度起决定意义。首先,保证题量。题多一些,覆盖面大一些,题项的代表性好一些,就可以在一定程度上减少测试误差。当然题目和题型过多也会引起负面效应,所以“度”的把握就显得尤为关键了。其次,把握好题项的难易程度,提高题项区分度。题项难易程度适当,题项区分程度高,受试者在两次或多次测试中成绩的一致性和稳定性就高,测试的相关性就会提高,测试的信度也就会提高。第二,保持良好的考试环境和考试秩序,把干扰测试的因素降到最低。第三,帮助受试者在测试中稳定发挥。如果考生带着紧张、焦虑的情绪应考,那么测试信度和效度必然大打折扣。教师应帮助学生们树立正确的考试态度,不要对学生的考试成绩期望值过高,也不要在考前给学生施加太大的压力。要让他们以从容的心态,带着平稳的情绪走进考场,保证在考试中发挥自己的真实水平。

2.对于测试语言输出能力类试题的设计和使用要有三点注意事项。第一,鉴于高效度是此类试题的优势,在测试设计实践中应将这一优势最大化发挥。要保证高效度,应在测试设计中遵循以下几点原则:以信息的表达为测试目的;情景设计对受试者应为真实的情景;应将测试层次保持在语篇层次的高度;试题内容应为互动性行为;试题中语言应来自交际情景。第二,提高评分标准的科学客观性,以提高此类试题的信度。首先,评分标准要以语言学习理论(尤其是写作和口语学习的理论)为指导。其次,评分标准应尽可能制定的具体准确、清晰明了。最后,科学客观的评分标准还要经过反复的测试实践验证,多次修改才能得来。第三,提高此类试题的可行性。这方面既需要测试设计者提高自身水平,更需要社会、教育主管部门、学校通力合作,提供充分的人力物力支持。

3.外语语言测试是一种对受试者听、说、读、写综合能力的考核。本文提到了测试语言输出能力的试题具有较高的效度,并不是说它可以代替测试语言输入能力的试题。在语言测试实践中,应将两者有机结合,充分发挥各自优势。

[1]萧春麟,刘清华.英语测试教程[M].上海:上海交通大学出版社,2001.

[2]邹申.英语语言测试—理论与操作[M].上海:上海外语教育出版社,1998.

[3]孔文,李清华.语言测试真实性的多维分析[J].解放军外国语学院学报,2003,(1):55-58.

[4]吴小珊.论英语测试信度和效度的平衡关系[J].广西民族大学学报(哲学社会科学版),2007,(12).

猜你喜欢

效度信度受试者
涉及人的生物医学研究应遵循的伦理原则
涉及人的生物医学研究应遵循的伦理原则
《广东地区儿童中医体质辨识量表》的信度和效度研究
涉及人的生物医学研究应遵循的伦理原则
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
涉及人的生物医学研究应遵循的伦理原则
平衡损失函数下具有时间效应和通胀因子的信度估计
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
中文版脑性瘫痪儿童生活质量问卷的信度
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度