APP下载

TEM4阅读题型的内容效度研究

2018-02-01张珊��

考试周刊 2017年91期
关键词:内容效度

张珊��

摘要:英语专业四级考试(TEM4)作为国家级测试,旨在检查各高校基础阶段的英语教学和学习情况,该测试的内容效度成为试题使用者最关心的问题。本研究以2012-2016年的TEM4阅读真题为对象,采用Bachman & Palmer的任务特点框架(A framework of language task characteristic),结合阅读题型特点和新版《考试大纲》(2004)具体要求,通过分析语篇特征和期望回答特征来考查TEM4阅读题型内容与考试大纲的吻合度,即探究测试内容是否达到《考试大纲》的要求。结果表明:1)从语篇输入特征来看,题材、体裁、生词、篇幅、阅读速度基本符合2004年新版大纲的要求和规定;2)从预期回答特征来看,答题形式丰富,2016年呈现出新形式,阅读技能覆盖广泛,侧重细节提取和逻辑推理能力。总而言之,近五年的专四阅读材料符合了《考试大纲》的基本要求,测试内容和测试目的基本一致。

关键词:TEM4阅读;Bachman & Palmer任务框架;内容效度

一、 研究背景

TEM4是由高等院校外语专业指导委员会实施的唯一的全国性考试,旨在检查各高校英语专业基础阶段教学大纲的执行情况,其具有极大的权威和影响力,也受到众多机构、专家的认可。2004年颁布的《高校英语专业四级考试大纲》也对旧大纲做了重大改革和调整。阅读是语言学习的最主要输入方式,是获取信息和扩大知识最根本的途径,对培养扎实的语言基础知识具有重要的意义,在听、说、读、写、译五项语言技能中的重要地位不可动摇。在TEM4中,阅读题型占有非常重要的地位,占总分的20%。为了更好地反映新大纲的实施力度,帮助英语专业学生和教师了解专四考试的测试效度,本研究将对2012-2016年的TEM4阅读真题进行内容效度分析,探讨TEM4阅读内容和《考试大纲》的吻合度。

二、 核心概念

(一) 测试效度和内容效度

Brown,J.D.认为测试效度是指对想要测试的内容的测试程度,对想要测试的内容的预期测试效果。测试效度在教师评价学生、安排教学中都起到特殊的作用。在语言测试效度中,通常有三种主要辅助效度测试的策略,即内容效度、结构效度和效标关联效度。其中,内容效度(content validity)即内容的有效性,指测试内容应符合测试的目的和要求,测试项目与教学内容要一致,不涉及无关内容。TEM4测试是一种语言测试效度,内容效度是最核心的部分,能够体现出语言测试的基本要素和基本技能。国内对TEM4效度研究总体呈现两个趋势:第一,研究视角的多元性。具体表现在8个方面,分别是:效度分析、效度检验、效度和信度、效度的正用和误用、效度与学业测试、效度测量以及效度理论的变迁。第二,研究题型的全面性。不仅涉及TEM4阅读题目的研究,还涉及听力、完形、语法与词汇以及写作这五方面的研究。

(二) Bachman & Palmer的考试任务特点框架

Bachman & Palmer(1996)提供了一个详细的、可供参考的语言使用任务特征框架(A framework of language task characteristic)。该框架包括五部分:环境特征、测试规则特征、输入特征、期望回答的特征以及输入和回答的关系特征。本研究基于已有框架,结合阅读测试的特點,从输入特征和预期回答特征两方面分析TEM4阅读题的内容效度,同时对基本的特征做了局部调整,输入特征由体裁、题材、生词、篇幅和阅读速度五部分组成,预期回答特征主要分析测试答题形式和题目覆盖阅读技能。

输入特征形式输入的语言体裁、题材、生词、篇幅、阅读速度

期望回答特征形式期望回答的语言

测试答题形式、题目覆盖阅读技能

三、 研究设计

一方面,采用数据统计法。依照Bachman & Palmer(1996)的语言使用任务特征框架,对2012-2016年阅读真题从输入特征和预期回答的特征两方面,即篇幅、生词、体裁、题材、阅读速度、答题形式和阅读技能覆盖这7个维度进行整理,输入原始数据,进行分类统计。另一方面,采用内容分析法。比较新版《考试大纲》对TEM4阅读题型的具体要求和已收集的真题数据,并结合量性分析进一步探究以上7个维度的与大纲要求的一致性。

四、 数据分析与讨论

(一) 输入特征

1. 题材

《考试大纲》规定:题材广泛,包括社会、科技、文化、经济、日常知识、人物传记等。由下表可知,2012-2016年专四阅读题材基本能够契合大纲要求,19篇阅读材料包括了社会类、科技类、文化类、经济类以及人物传记类,依次是社会类(42%)、文化类题材(21%)、人物传记(15%)、科技类(11%)、经济类(11%),日常知识类基本无涉及。可看出,题材选择较偏向社会类和文化类。同时,除了2015年题材安排失衡,其他年份的题材安排得当。总体来说,改革后的阅读题材基本符合大纲的考试规定和要求,不仅增加了关于社会类题材的阅读量,也比较重视文化类题材,预期近几年阅读题材会有这两方面的偏向。

2. 体裁

《考试大纲》规定:体裁多样,包括记叙文、描写文、说明文、议论文、广告、说明书、图表等。从下表可知,近五年的阅读材料主要涉及记叙文、描写文、说明文和议论文,未涉及广告、说明书、图表。具体来说,广告、说明书、图表也属于说明文类。因此,2012-2016年英语专业四级阅读理解的体裁也符合了大纲规定,类型多样,依次是记叙文(43%)、说明文(27%)、描写(15%)和议论(15%)。2012年对体裁的安排最为合理,2013-2015年涉及了3种体裁,2016年仅涉及两种体裁,但是看得出改革后出题人在体裁选择上偏向记叙文,说明文,重点培养考生对语言的基本应用能力。endprint

3. 生词(难易度)

生词在阅读材料中占有比例直接反映了阅读材料的难易度。《考试大纲》规定:阅读语言材料难度中等,关键词汇基本上不超过《大纲》规定的范围。换言之,阅读材料中的词汇不能偏离专四基础词汇识记范围。通过对近5年专四真题阅读材料的生词统计,如下表所示,整体超纲比例不到2%,即98%以上的单词都在考生被要求识记的单词范围以内,基本符合《大纲》要求,阅读难度也就控制在可阅读范围内,2014年和16年的生词不到1%,阅读难度相对更低了。

Krashen曾提出,在学习过程中,学习任务应该稍微比学习者已有水平高一个层级,也就是著名的i+1理论。因此,这不到2%的生词利于考生阅读能力和阅读技巧的提升,其目的是给考生提供一个合适的空间,刺激已有认知词汇,结合阅读材料上下文和阅读语境,进一步强化个人的阅读语感和猜词意识。因此出题者应适当给考生提供有生词的阅读材料,在实施考纲要求的同时,为学习者提供一个更好的学习园地。

4. 篇幅长度

《考试大纲》规定:专四阅读部分由数篇阅读材料组成,阅读材料共长1800个单次左右。由下表可看出,2012-2015年阅读材料篇章总体在1650词左右,仅2016年的篇幅字数达到2100个词,比《大纲》要求的篇章长度略多。近五年专四真题阅读材料总计字数,包括题干字数,总体是在2100左右,尤其2016年总字数达到2400个单词。总体来说,改革以后专四篇幅长度基本符合了《大纲》基本要求。16年的篇幅长度明显增加,预期未来的考试篇幅可能会延长,对考生的阅读速度也提出了新挑战。

5. 阅读速度

《考试大纲》规定:考查学生阅读技能的同时,既要求准确性,也要求一定的速度,并能根据需要自觉调整阅读速度,考试时间为25分钟,阅读速度为每分钟120个单词。上表对近五年的阅读速度做了粗略统计,将每年的篇章字数和总字数与考试时间比算出,得到了阅读速度的区间,可看出在规定时间内,阅读速度总体维持在1分钟60-80个单词,比规定的1分钟120个单词略慢。因为计算忽略了考生思考、做题的单位时间,得出的阅读速度是有偏差的,也就是说考生的最慢阅读速度可维持在1分钟80个单词。总体上也是接近《考试大纲》要求的。

(二) 期望回答特征

1. 答题形式

新《考试大纲》明确提出阅读部分采用单项选择题形式,学生根据材料可从每道题的四个选项中选出一个最佳的答案,共20道题目。为了本研究数据的科学性,不仅观察了2012-2016年的测试真题,还分析了2004-2011年的考题形式,结果发现2004-2015年的阅读部分考题严格遵循了考纲的要求,历年都是20道单项选择题。但2016年题型有了变化,题目减少为15道,10道题目是单选形式,其他5道题目为简答题。尽管与《大纲》所要求的题型有一点出入,但这种新模式打破了之前的封闭式考题形式,添加了开放性题型,无疑是对考生阅读技能的新型考查,有利于练习了考生的信息提取能力、强化信息的输出能力,也更明确地反映考生的语言表达问题。

2. 阅读技能覆盖分析

《考试大纲》要求:能掌握阅读材料的主旨大意,了解说明主旨大意的事实和细节;即理解字面意义,又能根据所读材料进行判断和推理;即理解个别句子的意义,也能理解上下文的逻辑关系。基于《大纲》和考點,进一步将阅读技能细化成六部分:主旨类、细节类、态度类、推理类、词汇类和指代类。结合下图可知,2012-2016年95道阅读题目中考查细节类的题目约占29%,考查推理题型约占27%,17%考查词汇,14%考查主旨类题目,13%考查态度类,指代类题型无涉及。总体来看,这些题型既测试了考生对整篇短文的理解能力,又对文章提供的信息和事实进行提问;既测试了考生的推理和判断能力,又测试了考生在阅读中理解词义和词组意义的能力。总体来说,题型设计囊括了《大纲》所要考查的各种阅读技能,对阅读能力进行了综合的、全面的考查。鉴于细节题和推理题的高频次,预期未来考题会侧重在这两方面,因此,教师在考前辅导和考生在模拟练习时应该有所偏倚,把握考题的类型,为考试的成功做好充分准备。

五、 结论

(一) 从语篇输入特征来看,题材、体裁、生词、篇幅、阅读速度基本符合2004年新版《大纲》的要求和规定。题材具有广泛性,重视社会和文化类型;体裁具有多样性,侧重对记叙文和说明文的考查;词汇基本在考纲范围内,历年生词未超过总字数的2%;篇幅长短贴近考纲规定长度,仅2016年篇幅略有增加;考生的阅读速度也接近《大纲》的要求。

(二) 从预期回答特征来看,首先,答题形式呈现出新形式,既保持了《大纲》要求的封闭式的选择题,也出现了开放性的简答题,尤其是2016年的考题。其次阅读技能覆盖较全面,多样的题目设计考查了考生的阅读基本技能,包括主旨理解、细节提取、态度判断、逻辑推理、词汇词义的辨析,其中重点放在细节和推理题目上。

参考文献:

[1]Brown,J.D.Testing in Language Programs:A Comprehensive Guide to English Language Assessment[M].Beijing:Tsinghua University Press,2013(p220-223).

[2]常俊跃,刘雪莲,苏晓丽.英语专业四级考试指南及全真模拟[M].大连理工大学出版社,2011.5(p93-102).

[3]侯艳萍.近七年英语专业四级阅读理解内容效度评估[J].河北大学学报(哲学社会科学版),2012.7.

[4]龙玉梅.英语专业四级考试批判性阅读能力测试探析[J].淮北师范大学学报(哲学社会科学版),2012.2.

作者简介:张珊,新疆维吾尔自治区石河子市,石河子大学。endprint

猜你喜欢

内容效度
COSMIN方法介绍:评价患者报告结局测量工具内容效度的评分系统
新高考下浙江高考英语听力与新托福听力的对比研究
2015—2017研究生英语入学考试(一)阅读部分内容效度研究
广西普通高中学生学业水平考试英语书面表达内容效度研究
英语专八阅读理解部分内容效度的历时对比研究(2009—2017年)
英语专业八级考试阅读理解的效度研究
大学英语新四级阅读理解内容效度研究
浙江省2008—2012年高考英语完形填空测试内容效度研究
全国英语应用能力考试A级阅读题的内容效度分析