医学生PBL自评量表的编制及量表评分与考试分值相关性研究

2021-12-24杨喜媚麦英杰朱庆棠

科学咨询 2021年41期

杨喜媚麦英杰朱庆棠王波

（中山大学医学院广东广州 510080）

复习型PBL是以问题为复习切入点，以学生为教学中心的教学模式，在学生学习完相关的基础内容后进行PBL学习。PBL应用广泛，复习型PBL的应用不及教学型PBL，教学效果被证实有效。当今，PBL为何有效仍然不知，而且由于PBL是开放性学习，PBL教学效果也不能由基于课本知识的闭卷考试来衡量。当今国内PBL多以学生自我评价量表作为评价学生学习情况的依据，其中只有少数通过信效度检验。此外，通过信效度检验的自评量表忽略了部分影响学生学习效果的因素，也没有试图验证自评量表的得分与PBL学习范围内的传统闭卷考试成绩是否有相关性。因此，本研究旨在编制一个更完善的PBL自评量表，并探索PBL自评量表的得分与PBL学习内容有关的传统闭卷考试的成绩的相关性。

一、对象和方法

(一)对象

2019年10月，对5个教学班中自愿拓展细胞生物学课程外知识的中山大学中山医学院一年级临床专业的165名本科生进行预实验并确定暂行版PBL自评量表，2019年11月用同样方法选取152名中山医学院临床医学专业的一年级本科生进行实验。预实验与正式实验的研究对象入选标准为：了解PBL且知道如何进行PBL学习，自愿参加本实验，且正在学习细胞生物学课程的本科生。

(二)方法

1. PBL自评量表的构建

PBL自评量表参考量表法评价法的制作，将可能的PBL学习过程按时间顺序认为划分成7个维度，即早期的知识探索、团队合作、中期的问题完成度、思维方式、成果展示和后期的学习效果和主观感受。PBL自评量表包括标题、学生基本信息、相关注意事项说明、指导语、条目、选项和主观学习时长统计，选项使用Likert5级计分法，按问题设置从完全同意到完全不同意分别计为1-5或5-1。

2.PBL自评量表条目的确定，形成初期版PBL自评量表

按照PBL病例学习的全过程时间顺序，以及该过程中可能出现的问题，预设可能用于量表的条目，并且结合国内外相关文献进行参考、收集条目，接着对条目进行整理、分析、筛选，将重复和意义相同以及对此研究意义不大的条目进行删减、合并和舍弃。随后两位第三方专家审批量表，再对表达有误或表达不清的地方进行修改，最终形成初期版量表的条目共37条。

3.预实验，形成暂定版PBL自评量表

2019年10月，选取中山大学中山医学院5个教学班中自愿拓展细胞生物学课程外知识的一年级临床专业的152名本科生进行预实验，发放量表和测试题，共回收152份量表和143份测试题（回收率分别为100%和94.08%）。然后，通过预实验收集的数据结果，咨询统计学专家，征集专家建议，并对该数据进行详细的统计学分析，对初期版量表中的部分条目进行修改和筛选，并确定含有35个条目的暂行版PBL自评量表。

4.正式实验，形成最终版PBL自评量表

2019年11月用相同的方法选取中山大学中山医学院临床医学专业的152名本科一年级本科生进行正式实验，使用暂行版PBL自评量表。正式实验共发放量表152份，回收115份，回收率为75.66%。

表1 高分组和低分组区分度检验

题号 t P 15 -4.977 ＜0.001 16 -6.360 ＜0.001 17 -2.924 0.005 18 -4.140 ＜0.001 19 -5.777 ＜0.001 20 -4.219 ＜0.001 21 -5.412 ＜0.001 22 -5.490 ＜0.001 23 -7.675 ＜0.001 24 -8.114 ＜0.001 25 -8.788 ＜0.001 26 -10.337 ＜0.001 27 -6.291 ＜0.001 28 -8.925 ＜0.001 29 -6.085 ＜0.001 30 -8.402 ＜0.001 31 2.232 0.030 32 -6.566 ＜0.001 33 -2.952 0.004 34 -.459 ＜0.001 35 -2.230 0.030

5.统计学方法

使用SPSS 25.0软件进行统计分析，首先对量表进行计量心理学考核，包括计算克拉巴哈系数检验内部一致性，分别计算折半信度、重测信度和肯德尔W系数进行信度检验，以及使用因子分析和区分度检验进行效度考核。其次是使用Mann-Whitney U检验对成绩进行分析。

先通过计算量表结果和重测量表结果的正态性验证两次量表结果是否一致。

对试验结果计算克朗巴哈系数后，将评价量表按照题目的奇偶分为二份，分别计算两部分的克朗巴哈系数，进而得出该量表的折半信度等长spearman-Brown系数以验证其信度。

计算KMO系数和Bartlett’s Test和因子分析和区分度检验来验证其效度。

将PBL自评量表得分取前27%和后27%的临界点上的得分作为高低分组的临界点，将每题前27%和后27%的数据分成高分组和低分组，对高分组和低分组进行区分度检验。

计算PBL量表与测试成绩的相关性。

二、结果

(一)预测试条目筛选

预测试问卷的克朗巴哈系数为0.746，分半信度测试测得Spearman-Brown系数为0.683，旋转成分矩阵各成分得分在0.554～0.800之间。

(二)重测信度

由于得分为连续型变量，对两次量表得分进行正态性检验。

第一次量表得分的正态性检验p=0.853（＞0.05），第二次量表得分的正态性检验p=0.288（＞0.05）。

Pearson相关系数为0.879，大于0.7（p＜0.001）。

肯德尔协同系数为0.276（p＜0.05）。

(三)SSPBL信度检验

计算各题项之和的均值，方差，项间协方差和项间相关性的均值，极值，极差和方差，没有发现比较极端的项目

对第一次得分进行效度检验，计算第一次得分的克朗巴哈系数为0.871（p＞0.8）。然后计算折半信度，得等长spearman-Brown系数为0.834。

(四)SSPBL效度检验

计算KMO系数得，KMO系数为0.783＞0.7，且Bartlett’s Test结果p＜0.01。进行效度检验，见图1。

图1 总方差的解释

图1中，基于特征值大于1时累计百分比为64.703%＞60%。

从旋转后的成分矩阵表可得，第14题、第31题、第19题和第6题没有分值。

(五)SSPBL区分

见表1，区分度检验中，除了第四题，所有题目的高分组和低分组差异p值都小于0.05。

(六)SSPBL成绩与测试成绩的相关性检验

由于有9位同学没有考试成绩，故用考试成绩均值50.54分进行填补。

对问卷总得分按均值划分为平均分74分为界限的两组，见表2。

表2 SSPBL得分划分组的成绩（分）

由于成绩是离散分布，不属于正态分布，采用非参数检验对比两组数据，发现Mann-Whitney U统计量为1 351，P为0.451，大于0.05。

三、讨论

(一)重测信度

计算重测信度得：Pearson相关系数小于0.001，肯德尔协同系数小于0.05，认为重测信度良好，表明测试分数的稳定性较好，各评分者的一致性较高，说明量表结果的稳定程度高，量表测出的结果是不会随时间而改变的，误差变异小。

(二)信度检验

由于重测信度良好，故只对第一次量表的得分进行信效度检验。

克朗巴哈系数为0.871（0.8～0.9），说明量表信度非常好，内部一致性较高，则可计算其折半信度。

计算各题项和的统计量，没有发现比较极端的项目，说明数据没有极端值或者异常值，比如说有人是不认真甚至恶意填写这个量表的，就容易出现极端值，需要进行数据处理后再次进行分析，剔除这个影响。

计算折半信度得，等长spearman-Brown系数为0.834，说明量表内部具有一致性。

(三)效度检验

见图1，基于特征值大于1的时候累计百分比为64.703%，大于60%，说明现在探索出来的8个维度能较好地代表整个数据，能准确反映需要考察的内容。

从经旋转后的成分矩阵可得，横向看，第14题，第31题，第19题和第6题不属于任何一个维度，所以属于无效题项，应当删除。纵向看，删除以上4题后，维度7只有第5题一题，所以这个维度和题目也是无效的。综上，删除第5题，第6题，第14题，第19题和第31题。删除后可划分为7个维度，分别是维度1（第25-30题和第32题）维度2（第12，16，18，23和24题），维度3（第7，21和22题），维度4（第11，15，17和35题），维度5（第8，9和13题），维度6（第4，20和33题）和维度7（第10和34题）。

综上，第14题，第31题，第19题和第6题建议结合专业知识来判断是否需要删除。

(四)区分度检验

除了第四题的高分组和低分组得分比较P为0.795大于0.05外，其他均小于0.05，差异有统计学意义，说明高分组和低分组在每一道题上都有非常好的区分性。除第4题以外，所有题目都通过了区分度检验，说明每一道题都可以与其他题目相区分，没有重复测量的内容。

(五)相关性检验

由于成绩是离散型分布，所以用非参数检验对比两组成绩，发现Mann-Whitney U统计量为1 351，P为0.451，大于0.05，说明差异不具有统计学意义，尚不能认为两组成绩有相关性。

两组成绩没有相关性的可能原因如下：1. 小测题目数目较少，成绩不呈正态性；2. 学生的积极性下降；3. 样本量不足；4.本科生暂无足够知识和充足时间深入挖掘病例；5. 半数以上小组采取分工合作的方式，将问题分配给不同组员回答，事后仅生搬硬凑，没有进行组内知识共享和消化；6.SSPBL包含与成绩相关与不相关的内容，考试题目也包含仅靠自主学习就能掌握的基础知识和与PBL复习内容有关的拓展问题，SSPBL总得分与考试总得分无相关性的原因可能源于此。