APP下载

高职种植类专业大学英语考试质量分析与评价

2023-12-08河南农业职业学院杨晨欣刘彦博张亚菲刘述忠

河南农业 2023年33期
关键词:区分度效度信度

河南农业职业学院 杨晨欣 姚 旭 刘彦博 张亚菲 刘述忠

考试是对学生、教师及教学管理各环节的集中检测,从中得出有益于教学决策的信息,即学生了解自己的学习情况,调整学习方法;教师了解学生的学习质量,及时发现教学过程中存在的问题和薄弱环节,以改进今后的教学;教学管理人员了解教师和学生的教与学质量,优化教学管理决策。但所有这些信息都是以正确有效的考试为前提。大学英语是高职院校种植类专业的基础课,是学生提升学历必考的课程。为了解大学英语教与学的状况,本文对河南农业职业学院种植类专业大学英语试卷质量及成绩分布进行分析,以期为大学英语教学改革提供有益参考。

一、材料与方法

以河南农业职业学院现代农业专业2020 和2021 级5 班次172份大学英语期末考试试卷为研究对象,试卷共有五类题,分别是单项选择、阅读理解、完形填空、翻译和写作(听力单独考试)。设参试考生为n(n=172)人,试卷由k(k=5)题组成。

考试质量评价分析包括试卷质量分析和考试成绩分析。以郭瑞林[1]、刘洪霞[2]的方法进行试卷质量分析,以盖钧镒[3]的方法进行成绩分布的正态性检验,以张戈[4]的方法对影响成绩的主要因素进行灰色关联度分析。

二、结果与分析

(一)试卷质量分析

试卷质量主要指试题难度、区分度、信度、效度,即“四度”指标,其中试题难度和区分度为试题质量的主要指标。

1、试题难度(P)。试题难度是试题难易程度的量化指标。试题难度既能反映试题本身的复杂程度,又可反映教师与学生间教与学的状况,其计算公式为:

式中,Qi为第i 题的满分值,Pi为第i 题的难易适合度。Hi为高分组第i题的平均分,Li为低分组第i题的平均分,Ei为试题的难度。

学校期末考试的试卷,应有一个合适的难度,从历次考试看,试卷难度控制在0.3~0.5 之间难度合适,有利于测量学生的真实水平,对不及格率也有较好的控制;Pi<0.3试题难度不合适,即偏难或偏易。

试题难度对成绩分布也具有重要影响。试题越难,得低分的学生就较多,成绩分布将会相对集中在低分段,分布呈正偏态;试题越易,成绩分布则呈负偏态;当试卷中等难度试题题目数量比例过大时,成绩分布呈陡峭峰形态。

本次大学英语试卷各试题的难度分析结果见表1。由表1 可以看出,第一、二试题难度值分别为0.321、0.401,难度值在0.3~0.5之间,表明这2题难度合适;其他三题的难度值分别为0.153、0.142、0.157,均小于0.3,表明难度较小。就整个试卷来说,难度基本合适,但为更好地测试学生的英语水平,还应适当加大试题难度。

表1 试题质量评价指标及结果

2、试题区分度(D)。区分度是反映试题对学生学业水平的区分程度,体现试卷对考生真实水平高低的鉴别能力。试题只有具备良好的区分度,考试才会有一定的效度。其计算公式为:

式中,Di为第i 题的区分度。试题区分度评价一般采用美国测量学家伊贝尔的评价标准,Di>0.4,试题区分度很好,0.3≤Di≤0.39,试题区分度良好;0.2≤Di≤0.29,试题区分度尚可;Di<0.19,试题区分度差,在题库建设中,类试题应淘汰。

本次大学英语试卷各试题的区分度分析(见表1)表明,第一题(0.423)区分度很好,第四题(0.314)区分度良好,第二题(0.226)、三题(0.276)区分度尚可,第五题(0.144)区分度稍差。就整个试卷来说,区分度尚可。区分度高低与试题难度有关,试题难度过大或过小,都会使考生得分比较集中,导致区分度较低;难度适中的试题,不同水平的考生将有较大差异的得分反应,从而有较高的区分度。所以,作为命题者,对试题的难度控制是提供一份优质试卷的关键,这依赖于命题者对教学大纲的理解程度,对教学内容的熟悉程度,对学生水平的了解程度。

3、试卷信度(C)。试卷信度是指测量结果的稳定性或可靠性的程度,即测量结果是否真实、客观地反映了考生的实际水平。其计算公式为:

式中,S 为学生成绩标准差,zj为第j 人的试卷总成绩,z为所有考生试卷总成绩的平均分。一般认为0.5<C<1,试卷高度可信,0.35<C≤0.5,试卷基本可信,0<C≤0.34,试卷一般可信,C<0,试卷不可信。

本次大学英语试卷信度分析(见表1)表明,试卷信度仅为0.1091,为一般可信。试卷信度低的原因,与难度和区分度较低有关。试题越难或越易均使信度较低,试题越难,学生猜答案的可能性越大,造成成绩的不稳定;试题越易,得分容易,导致分数的离差偏小,使信度偏低。

4、效度(T)。效度指考试结果能否准确地表征所要测量的特征的程度,它反映了测验结果与测验目标的符合程度。根据不同的测验目的,采取不同方法编制试题,就可以达到不同的测验效果。本文采用各试题得分与试卷总分的一致性或者相关性表征试卷效度,其计算公式为:

式中,Ti为第i题的效度,yij为第j人第i题的得分,yi为试卷第i 题的平均分。一般认为T>0.7 时,试卷效度高;0.4≤T≤0.7时,试卷效度较高;T<0.4时,试卷效度低。

本次大学英语试卷各试题的效度分析(见表1)表明,第二题(0.721)效度高,第三题(0.412)、四题(0.405)效度较高,第一题(0.341)、五题(0.270)效度低,试卷总效度为较高,表明该试卷的有效性尚可。为较好试卷,能较好地检查学生的知识水平和评价教师的教学水平。

(二)成绩分布的正态性检验—χ2拟合检验

学生成绩在外界条件相同情况下,受智力影响较大,应呈正态分布。也就是说,如果考试能反映考生的能力,其成绩应呈正态分布。因此,学生成绩分布正态性检验是试卷评价的又一个主要指标。

首先,对五班次172名学生每试题得分及总分计算基本特征数,结果见表2。其中,总分平均分79,变异程度为4.86。然后,对学生总成绩排序并进行分组,依据学生人数,本资料分成9 组较为合适,组距为3,各组的频数见表3,据此绘制频数直方图,平滑后即为近似的χ2分布密度图,如图1。

图1 正态曲线拟合图

表2 学生成绩基本特征值

表3 正态分布卡方拟合度检验

对学生成绩分布χ2检验的χ2值为8.536(见表3),即χ2=8.536<=12.59,表明学生成绩的频数分布服从正态分布,本次大学英语期末考试学生能正常发挥。

(三)影响成绩因素的灰色关联度分析

关联度分析是根据灰色理论,揭示相关因素间的主次关系,找出影响目标性状的主要因素。为了解学生考试在哪个环节失分最多,即影响成绩的主要因素,以便有针对性地加强教学和引导,对试卷中每试题得分与总分进行灰色关联度分析。即以学生总分为参考数列,以每试题得分为比较数列,计算每试题得分与总分的关联系数(ζi(k))和关联度(γi),其计算公式如下:

关联度分析结果见表4。表4 表明,以第二题得分与总分的关联度最大,为0.706,然后依次是第三题(0.685)、四题(0.661)、五题(0.609)、一题(0.553)。第二题是阅读理解题,词汇量大,覆盖面广,重点考查学生分析问题的能力。学生失分的主要原因是基本功不过关,往往因为一个知识点没有掌握好,而影响了整道题的理解。因此,在今后的教与学中,应在阅读理解方面加强,具体应做到:一是阅读题材要广泛,如科普类、文史类、应用文类等;二是提高阅读速度,平时可以运用一定的阅读技巧进行限时训练;三是注重课外阅读,要坚持每天阅读,适量的课外阅读,能提升使用英语的能力。英语学习,重在夯实基础,完善语感,提高语言应用能力。

表4 每试题得分与总分的关联度

三、讨论

在传统情况下,一次考试往往以评分而告结束,而考试中大量有益于改进教学的信息产生于考后分析。因为通过试卷质量分析与评价,获取有关试题质量的各项指标,以判断考试的有效性,发现学生错误的集中点,明确教学过程中的薄弱环节及存在问题,有助于教师有针对性地改进教学方法和手段,改进考试设计,完善命题工作,减少考试设计中的随意性。因此,考试成绩的分析与评价是教学过程中的一个重要环节,特别是在提倡教考分离的时代,通过试题质量分析,积累一定数量的好试题,是逐步建立科学规范试题库的基础。

作为教师,应能根据教学决策的需要组织相应的考试,善于分析、解释和运用各种考试资料,以获取教学决策所需要的信息,这是提高教师素质的重要环节。

猜你喜欢

区分度效度信度
《广东地区儿童中医体质辨识量表》的信度和效度研究
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
浅谈试卷分析常用的几个参数及其应用
图形推理测量指标相关性考察*
浅观一道题的“区分度”
科技成果评价的信度分析及模型优化
单维参数型与非参数型项目反应理论项目参数的比较研究*
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
外语形成性评估的效度验证框架