APP下载

计算机自适应测试模型研究

2016-05-26张皓博向洪波尹衍林李晓艳包贵鑫黑龙江工业学院黑龙江鸡西158100

山东工业技术 2016年2期

刘 锋,张皓博,向洪波,尹衍林,李晓艳,包贵鑫(黑龙江工业学院,黑龙江 鸡西 158100)



计算机自适应测试模型研究

刘 锋,张皓博,向洪波,尹衍林,李晓艳,包贵鑫
(黑龙江工业学院,黑龙江 鸡西 158100)

摘 要:文章针对传统测试过程中存在的问题,在项目反应理论研究基础上,主要对二参数和三参数Logistic模型进行对比研究,通过研究提出了一种改进的计算机自适应测试模型,从而实现了因人施测,并通过测试结构有效的对被测试者的能力水平进行估计。

关键词:项目反应理论;计算机自适应测试;Logistic模型

1 引言

随着计算机技术的迅速发展,考试形式也从传统的笔试考试逐渐向计算机辅助化进行转变,计算机自适应测试(Computer Adaptive Testing,简称CAT)是在传统考试固定试卷基础上提出的一种新型的考试模式,考核过程中并不是提供固定的试卷,而是针对测试者的具体情况在试题的难度和试题的数量上自动适应考生,即在测试的过程中不断地从已经建立的试题数据库中选取与测试者实际水平和实际能力相当的题目进行测试,并对被测试者的能力水平进行实施实时评估,根据测试精度从而判断被测试者的真实能力水平。

2 计算机自适应测试概述

经典的测试中所有被测试者不论能力水平的高低都使用了相同的测试项目进行测试。这种测试方法有两种基本类型:所有试题(项目)难度相同,即所谓“尖峰”型测试。这种情况下,当被试水平与题目难度接近时,具有较高的测试精度,两者偏离越大,测试精度越低;第二种类型为所谓“平矩”型测试,试题中有较难、难度中等、较易等不同难度的题目,因此在多数水平上能提供相对均等的测试精度,但整体精度却相对较低。从上述分析不难看出,经典的测试难以很好兼顾到测试的精度和精度的跨度问题。

因此,计算机自适应测试与传统的测试方式相比具有明显的优势。第一,测试试题是变化不固定的,试题选取的范围是在被测试者的能力范围附近上下浮动,所以自适应测试更容易测出考生真实能力值,从而可以缩短测试时间;第二,通过测试结果能够更加准确的反映被测试者的实际水平,从而可以提高测量精度;第三,测试的方式灵活,不必选取集中的时间和相同的地点进行测试,采用计算机进行评分,避免人为因素,使测试结果更加真实可靠。

3 模型建立

被测试者的能力水平是一个连续变化的数值,这里用θ来表示,该值与能力水平成正比关系,也就是值越大能力水平也就越高;被测试者能否准确在回答测试问题存在一定的随机性与偶然性,所以,这里引入了P()θ函数,用于表示被测试者准确回答测试问题的概率,函数的值越大被测试者准确回答问题的可能性就越高;用a和b来表示难度参数与区分度参数。项目反应理论的模型有多种,我们分别用二参数和三参数Logistic模型来进行说明。

三参数Logistic模型中增加了一个猜测参数c,因为在测试者回答问题的过程中,由于能力水平比较低,不能够准确的回答测试的问题,被测试者通过经验进行猜测问题的答案,该参数则反映了被测试者正确猜测回答的概率,引入参数c的模型为:

如果分别利用P2和P3来表示二参数模型和三参数模型,通过计算可以得到P2与P之间存在特定的关系:3在P3的表达式中P2表示二参数模型中被测试者准确回答的概率,c(1−P2)可以理解为被测试者对项目不太清晰而通过猜测得到的准确回答的概率。

4 项目测试信息函数

当被测试者回答一个问题后,回答的结果能给我们带来什么信息,被测试者能力水平的精准度判别有多高,计算机自适应测试系统根据该信息如何给被测试者列举下一个测试问题。为了解决这一系列问题,在项目反应理论引入了一个项目测试信息函数,通过计算可以获得项目测试信息函数:

根据得到的项目测试信息函数,当θ一定时,信息量由项目参数所决定。为了验证将一些数值代入到公式中进行分析。测试数据1(θ= 1,b=0.921,c=0.25)表明项目测试信息函数值与项目区分度参数a成正比;测试数据2(θ= 1,b=0.815,a=1.8)表明猜测参数c越大,项目信息函数就越小;测试数据3(a=1.8,b=0.815,c=0.25)表明同一个测试项目针对被测试者层次不同时,所反映出来的信息量是有区别的,如果能力水平与项目难度参数非常接近时,信息函数的值最大。通过上面的分析,可以计算出信息函数最大时的能力参数为:

5 结束语

计算机自适应测试技术已经在国外得到了广泛的应用,与常规测试相比,自适应测试具有明显的优点,它能兼顾测试的测量跨度和精度,提高了测试的效率与准确性,同时对能力水平高、低的应试者也能对其能力水平进行精确的估计,具有较高的信度和效度。

参考文献:

[1]刘锋.基于项目反应理论的计算机自适应测试算法的研究与实现[J].软件,2014(07).

[2]郭维威.基于技能空间理论的计算机自适应测试组卷策略研究[J].曲阜师范大学学报,2015(01).

[3]刘艳花.基于扩展知识空间理论的技能自适应测试过程[J].计算机系统应用,2010(07).

[4]刘锋.试题组卷算法的研究与应用[J].鸡西大学学报,2008(06).

项目:本文系2014年黑龙江省教育厅科学技术研究项目“基于扩展知识空间的计算机自适应测试方法的研究”的阶段成果,项目编号:12543049;2014年黑龙江省大学生创新创业训练计划项目201411445009阶段成果。

DOI:10.16640/j.cnki.37-1222/t.2016.02.120