使用Bootstrap方法计算认知诊断评估中的信度*
2018-11-08张金明
郭 磊,张金明
(1.西南大学心理学部,重庆 400715;2.西南大学统计学博士后科研流动站,重庆 400715; 3.中国基础教育质量监测协同创新中心西南大学分中心,重庆 400715;4.重庆市脑科学协同创新中心,重庆 400715; 5.伊利诺伊大学香槟分校教育心理学系,香槟,伊利诺伊州 61820 美国)
1 引言
认知诊断评估(cognitive diagnostic assessment,CDA)已成为国内外测量学研究的关注热点。CDA优势为不仅能获得被试能力水平,还能诊断其在知识点上的掌握情况。通过对知识状态的估计,可知晓强项与弱项,指导教师开展针对性的教学补救,实现个性化教学。由此,认知诊断被视为新一代心理测量理论的核心(涂冬波,蔡艳,丁树良,2012)。
CDA依赖测验进行评估,因此,测验质量决定了评估质量。测验信度是衡量测验质量的一个重要指标(温忠麟,叶宝娟,2011)。一个良好的测验,首先应该保证在评价同一批被试时,在不同时间或场合得到的测量结果是一致的。在心理与教育测验中,常用信度来衡量测验的稳定性,信度越高,稳定性越强。信度向来都是心理测量学的重要研究领域,国内外有关信度的研究数不胜数,但大多都属于经典测验理论或项目反应理论框架内的研究。而在CDA中,却很少看见信度方面的研究。因此,对于同样依赖测验的CDA,对其信度的研究也就非常有必要和有价值。
目前,CDA中的信度研究刚刚处于发展阶段,国内外相关研究主要有:(1)Templin等(2013)提出了属性信度的计算方法,但未关注到模式信度的指标。本文将Templin的方法称作“四分相关法”。(2)Cui,Gierl和Chang(2012)基于后验概率分布信息,构建了分类一致性指标以衡量CDA中的模式信度,但未提出属性信度。……
