APP下载

传染病学考试成绩和试卷分析的评价与教学策略思考

2022-03-04高宁石娟娟李梅张欣党双锁贾晓黎

中国继续医学教育 2022年4期
关键词:峰度区分度信度

高宁 石娟娟 李梅 张欣 党双锁 贾晓黎

传染病学所覆盖疾病仍然是威胁人类健康的公共卫生问题,该课程知识点繁多零散、对于尚未进入生产实习的临床本科生学习和理解的难度较大,教师的教学质量和效果的优劣程度对临床医学生是否选择或从事传染病学及公共卫生相关工作的实际能力有深远影响[1-2]。考试是检验教学质量优劣的最基本、最有效、最直接的手段之一,也是教学效果形成性评价的重要一环[3-5]。通过分析和总结考试分数和命题的科学性,一定程度上可以反映学生对该课程讲授重点知识的理解和掌握情况,同时可以评价带教教师的教学效果和试题命题的质量,为改进教学工作、提高教学质量及命题计划提供重要的反馈价值[6-7]。目前我国最常用的试卷分析指标有试卷难度系数(P)、信度(α)、区分度(D)及效度(R)等[8-9]。本研究对西安交通大学第二临床医学院2016 级五年制临床医学生在《传染病学》课程的考试成绩和试卷质量进行了统计分析的理论和方法进行探讨,反馈教学方法效果,评估教学的质量,总结教学中的不足,为往后教学工作改进提供有力的依据。

1 资料与方法

1.1 研究资料来源

2019 年9 月—2020 年1 月选取西安交通大学第二附属医院传染病学系2019—2020 学年第一学期临床医学生145 人,其中五年制临床医学专业81 人、“5+3”一体化临床医学专业64 人。传染病学考试试卷,采用人民卫生出版社《传染病学》第9 版(李兰娟主编)作为理论授课的教材[10]。考试前组织召开命题小组专题讨论会,试卷由任课教师根据教学大纲和命题计划要求出题(A 卷和B 卷),每套试卷按照所授章节内容和课时占比合理分配分值,以知识的认知程度分级(掌握、熟悉、了解)和教学目标分层(记忆、理解、应用)来确定具体分值的分布,最终由指定命题老师出题组卷。由教务处统一组织安排考试,闭卷方式,时间为150 min,由六位老师监考,采用流水阅卷。

传染病学试卷满分100 分,试题类型包括客观题和主观题,详细题型、分值及分布见表1。理论试卷中客观题占25%,主观题占75%,知识点涵盖总论、病毒感染性疾病、细菌感染性疾病的各个章节见图1 所示,紧密结合学生重点掌握的相关内容。

表1 试卷题型、分值、题量及分布情况

图1 各章节知识点所占百分比

1.2 方法

1.2.1 评分方法

根据考试前命题小组制定的标准答案和评分标准,所有授课教师共同流水阅卷,客观题参考标准答案的评分标准,最后由学科系教学主任和教学秘书统一复核后,进行数字化自动阅卷后成绩录入。

1.2.2 数据处理

根据所有考生试卷得分,采用SPSS 26.0、Excel 统计软件及教学测量学的原理和方法对传染病学考试分数和试卷命题质量进行统计分析和处理。考试成绩分析主要侧重于考试的整体水平,分析指标有最高分、最低分、平均分、标准差、优秀率、及格率等成绩分布。试卷质量综合分析指标主要包括试卷的难度系数(P)是衡量试题难易程度的数量指标;区分度系数(D)是对考生能力水平高低的区分指标;信度系数(α)是考试取得结果的一致性程度或稳定性;效度系数(R)是衡量考试结果对考试目标实现程度的指标,也反映了考试的准确性和有效性。

2 结果

2.1 卷面成绩分析

参加考试和纳入成绩统计的同学为145 人,考试成绩等级评价指标:60 分以下为不及格,共2 人;60~69 分为及格,共14 人;70~79 分为中,共29 人;80~84 分为良,共41 人;85~100 分为优,共59 人;及格人数143 人,及格率98.62%;平均分73.61 分,标准差为10.58 分,最高分为95 分,最低分为31 分,各分数段频数分布见图2,试卷成绩不符合正态分布且呈负偏态(左偏)分布。

图2 各分数段频数分布情况

2.2 试卷质量分析

2.2.1 难度系数

难度系数(P)是试卷难易程度,系数越大说明试题越难,反之则简单。所用试卷分析软件难度等级的划分为:P在0.3~0.7 表示试卷比较合适,整份试卷的难度最好在0.3 左右,P<0.3 提示试卷难,P>0.7 提示试卷易,因此高于0.7 和低于0.3 的试题不太宜多。

2.2.2 区分度

区分度(D)是区分考生实际能力水平高低的指标,也是评价试卷质量的主要指标和依据。试题区分度高,可以拉开不同能力水平考试分数的距离。区分度指标的评价:-1.00 ≤D ≤+1.00,区分度指数越高,试题的区分度就越强。一般认为,试题的区分度在0.4 以上提示试卷的区分度非常好,0.3~0.39 提示试卷的区分度较好,0.2~0.29 表明此题的区分度不太好,需重新修改,D <0.19 提示试卷的区分度差,应淘汰或大的改进。

2.2.3 信度

信度(α)是考试成绩的可信程度,可反映试题分值的一致性、可靠性及稳定性程度的指标,数值越大,信度越高。信度系数分布在0~1,1.0 提示试卷完全可靠;一般情况下,信度系数最好在0.8 以上,0.7 为可接受的底线,低于0.7 考虑重新调整试题;信度系数为0,则该试卷完全不可靠。

2.2.4 效度

效度(R)是试题测试出它所要考核内容的程度,即衡量考试结果与考试目标的符合程度的指标,也是反映了试题的准确性和有效性。效度是一个相对概念,只要高低之分,没有全部有效和全部无效之分。提高考试的效度需要注意的问题:(1)考试目标的明确性:考核学生对基本概念的掌握程度还是基础知识综合应用、推理判断的能力,或者是二者兼有;(2)命题设计有效体现考试的目标,客观题考核学生对基础知识的掌握程度,主观题考核学生应用基本知识进行推理判断的能力。

2.3 各题型分值分析

2.3.1 选择题分值分析

选择题中记忆题型占49%,理解题型占21%,综合应用占30%。总分为40 分,平均得分为33.21;难度系数(P)为0.17,区分度(D)0.22。选择题区分度在0.19以下,共有22 道题,表明此类题的区分度不好,以后减少此类题量;正答率在50%以下共2 道题。

2.3.2 简答题和病案分析题分值分析

简答题和病案分析题的得分率统计结果见表2,总分为60 分,平均得分41.05 分,难度系数(P)为0.32,区分度(D)0.27。

表2 简答题和病案分析题的区分度和得分率

3 分析与讨论

3.1 试卷成绩分析

采用Shapiro-Wilk(S-W)检验法,对考试成绩进行正态性检验。试卷成绩分布正态性检验结果,偏度系数g1 为-0.86,偏度标准误Sg1 为0.2,偏度u检验u 1为4.3,偏度系数是描述分布偏离对称性程度的一个特征数。当偏度系数<0:即重尾在左侧时,该分布为负偏或左偏。因此该试卷成绩为负偏态分布。试卷峰度系数g2 为0.37,峰度标准误Sg2 为0.4,峰度u检验u 2 为0.93,峰度系数是描述某变量所有取值分布形态陡缓程度的统计量。它是和正态分布相比较的。当峰度系数<0:比正态分布的高峰来得平坦。若u 1 <1.96。则总体偏度系数为零,总体分布对称;若u 1 ≥1.96,则当偏度系数g1 <0 时,总体为负偏态分布(偏向高分端),当偏度系数g1 >0 时,总体为正偏态(偏向低端);进行学生成绩分布的正态性检验时,当1.96 ≤u 1 ≤2.58,且偏度系数g1<0,成绩分布属于可以接受的“偏向高分数端”。当u 2 <1.96,则总体峰度系数为0,总体成绩分布为正态峰;u 2 ≥1.96,峰度系数g2 <0,成绩分布总体为平阔峰,峰度系数g2 >0,成绩分布总体为尖峭峰;进行试卷成绩分布的正态性检验时,如1.96 ≤u 2 ≤2.58,属于可以接受的峰度值。

3.2 题型分值分析

该试卷主观题占80%,客观题占20%,比例尚可,知识点涵盖总论、病毒感染性疾病、细菌感染性疾病的各个章节。但主观题过于简单,区分度不佳,不能较好的体现和锻炼临床医学生临床思维能力。应在以后试卷中增加不定项选择题和共用题干的占比,更好的考察学生运用理论知识进而分析临床问题的能力。掌握较好的知识点是总论、水痘和带状疱疹、流脑及乙脑,其中题型主要为客观题目,难度系数相对较低,学生答对率较高;病毒性肝炎章节掌握度尚可,与大纲要求是教学重点和难点有关,理论授课和见习课学习各为4 个学时;肾综合征出血热、艾滋病、伤寒等章节掌握不太理想,主要集中在主观题,存在的问题可能是相应知识点未能掌握,也可能是应用知识分析问题的能力有待提高,这个环节应该在见习课授课中注意加强;特别是肾综合征出血热为陕西省地区性高发自然疫源性传染病,是教学的重点难点内容,但相对病毒性肝炎的学时数少,学生掌握度不理想,且见习课时间与肾综合征出血热发病季节不吻合,学生不能见习到具体患者,不能实际感受该病具体的临床特点、体征及病情演变过程;肠道和神经系统感染疾病发病例数逐年减少,缺少实际病例。学生在综合应用能力方面有待进一步提高,由于理论授课学时有限,学生只能在短时间内掌握重点的理论知识,对于较为细节的知识点以及应用到横向比较、纵向比较、病案分析题中容易出现知识点混淆,如肾综合征出血热的临床分期和流行性脑脊髓膜炎的临床分型不清楚,导致拟定的治疗方案不恰当从而得分率较低。

3.3 试题质量分析

对本次试卷分析指标难度系数(P)、信度(α)、区分度(D)及效度(R)进行总体分析详见表3,试题的总体难度系数(P)为0.26,区分度(D)为0.25,表明试卷整体较容易,区分度较好。其中客观题部分难度系数偏低且区分度一般,提示此类题目较容易且缺乏区分度,在以后的考试中应减少比例或调整出题方式。试卷各题型总体信度(α)在0.82,信度良好,表明此份试卷信度、稳定性和可靠性均较好,考试结果受随机因素的影响较小,考试成绩能够真实、可靠地反映出考生的整体学业水平。该试卷各题型总体效度(R)在0.22,信度良好,此次测试的考试内容和教学大纲基本吻合,各单元的命题基本跟学时成正比。

表3 试题总体难度系数、区分度、信度及效度指标

4 结语

通过对西安交通大学第二临床医学院2016 级五年制临床医专业传染病学的考试成绩和试卷质量的统计分析,得出以下教学策略的思考:(1)授课方式:因传染病学授课学时有限,尤其是重点、难点知识不容易消化,在理论授课的基础上,在现有的学时内突出重点知识,在见习课学习中强化重点及难点,多种教授方式和方法,尤其通过病案讨论的形式锻炼学生的临床思维能力,增加见习患者的机会,如果非教学时期遇到典型病例,可采用录制视频的形式、储备丰富的教学素材,进而提高学生的学习兴趣。(2)试卷分配:调整各章节试题占比,调整试卷结构和题型,变换出题思路,在符合大纲要求的基础上,增加病案分析、共用题干及多选题,减少单选题。根据此次考试成绩分析和试卷质量评价情况提示学生能够掌握传染病学课程所授基本知识和方法,但是综合性试题相对较少,未能真实反映学生对基本知识的综合应用分析的能力,对于此后制定命题计划时,既要考虑到基本理论和知识的认知层次,也要增加学生的综合应用能力,开展探索性考试结合课堂表现成绩、案例分析展示等的多种考核手段,真正全面体现学生掌握知识、分析问题、解决问题的能力和程度[11]。(3)沟通与反馈:在理论课开始后充分利用线上传染病学学习平台,便于学生与带教老师沟通课堂未理解内容,及时答疑解决困惑。通过雨课堂、翻转课堂及思源学堂等平台的投票题、弹幕、发红包等方式提高课堂的趣味性,激发学生对传染病学的兴趣,增加师生间的互动。在保证“宽覆盖、强基础、重应用”的基础上,扩大知识点的考核范围,增加学生过度到临床综合分析的能力,体现各层次的区分度[12-13]。(4)教师需掌握一定的教育统计、评价的理论与方法,与往年试题及试卷分析比较,进而提高学科题库建设和命题的水准,促进考试更加科学化和规范化[14-15]。

综上所述,传染病学教学仍需不停探索和经验积累,结合教学成绩和试卷质量分析总结制定并完善教学体制、教学方法,加强传染病学教学,使临床医学生们认识和了解新、老传染病的知识是十分必要的,力求获得最佳的教学效果。

猜你喜欢

峰度区分度信度
酰胺质子转移成像和扩散峰度成像评估子宫内膜癌微卫星不稳定状态
作为数学教育研究质量分析的信度
扩散峰度成像技术检测急性期癫痫大鼠模型的成像改变
来华留学生对全英文授课教学服务满意度量表的信度和效度分析——以昆明医科大学为例
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
随吟
图形推理测量指标相关性考察*
基于自动反相校正和峰度值比较的探地雷达回波信号去噪方法
浅观一道题的“区分度”
利用垂直平分线的定义巧解题