高瑞 朱荣

摘 要： 以往在线学习成绩检测系统，仅能给出得分情况，测评效果差。设计智慧学习视角下在线学习成绩智能测试系统，由初级资源层、中级平台层、高级应用层构成，通过学习科目、电子图书、在线测试、自我信息四大功能模块实现在线学习成绩的智能处理分析。采用基于IRT的知识水平诊断方法测试用户知识水平，通过MCMC方法推算考核参数，实现在线学习成绩的准确测试。实验结果表明，系统能够对用户的六级词汇水平进行精确测试，用户满意度和性能高。

关键词： 智慧学习； 在线学习； 成绩测试； IRT； MCMC方法； 系统设计

中图分类号： TN915.5?34； G434 文献标识码： A 文章编号： 1004?373X（2018）14?0154?04

Design of online learning performance intelligent test system from

intelligent learning perspective

GAO Rui1， ZHU Rong2

（1. Department of Automotive and Electronic Engineering， Hanjiang Normal University， Shiyan 442000， China；

2. Department of Computer Science， Hanjiang Normal University， Shiyan 442000， China）

Abstract： The past online learning performance test system can only present scores， and has poor test and evaluation results. Therefore， an online learning performance intelligent test system from intelligent learning perspective is designed. The system is composed of the primary resource layer， intermediate platform layer， and advanced application layer. The intelligent processing and analysis of online learning performance are realized by means of four functional modules of learning subjects， electronic books， online test， and self information. The IRT?based knowledge level diagnosis method is used to test users′ knowledge level， and the MCMC method is used to calculate assessment parameters， so as to realize accurate test of online learning performance. The experimental results show that the system can accurately test users′ vocabulary level of CET6， and has high user satisfaction and performance.

Keywords： intelligent learning； online learning； performance test； IRT； MCMC method； system design

多元智能测评系统已经进入人们的生活，但它只是提供给用户一些智能状况分析。智慧学习视角下在线学习成绩智能测试系统是利用大量的数据与云计算来实现成绩在线智能测试，并通过对用户学习情况的分析，提供具有个人特点的学习服务[1]。智慧学习视角下在线学习成绩智能测试系统采取有关数据实施专项学习，满足学习者的学习需求。

1 智慧学习视角下在线学习成绩智能测试系统

1.1 系统总体结构设计

在大数据与云计算服务的基础上创建在线学习成绩测试系统，即智慧学习视角下在线学习成绩智能测试系统[2?3]。该测试系统由初级资源层、中级平台层、高级应用层三个部分组成，具体见图1。

1.2 组织结构设计

成绩智能测试系统为每一位需要学习的人创建了一个在线学习、成绩智能测试、相互沟通的地方[4]。图2为系统的组织结构图。

1.3 在线测试模块设计

在线测试是一个智能的题库系统。该系统可以满足用户完成各种各样科目训练检验的需求[5]。图3展示了在线测试模块的详细功能结构。

1.3.1 题库训练

题库训练的主要功能是方便用户在线进行知识考核及训练。其由特定智能训练、章节训练、错题智能训练与真题演练4个板块组成[6]。

1.3.2 能力测评

系统将根据各个用户参加训练的数据实行储存并总结。按照所参加题目数量、正确度、平均分等部分提供具有个人特点的能力测评。这样用户可以实现自我评价和特定习题训练[7]。

2 系统诊断实现

2.1 基于IRT的知识水平诊断方法

系统以IRT为基础对用户的学习知识水平进行测试。IRT主要包括：三参数模型、双参数模型和单参数模型，文中构建的系统使用三参数模型[8]。

在IRT的基础上，对用户学习知识水平进行判定程序是：用户知识掌握的基本程度，通过对用户整体能力的了解来决定相应的试题，在每一题答完后，还要对用户的能力再一次进行了解，然后接着考核，最终达到可以考核结束要求才会完成考核。

2.2 用户知识掌握的基本程度

新用户在考核前无法了解自身对知识的掌握程度，因此有必要了解新用户的能力[9]。假设不能了解用户的基本情况，则认为用户对知识的掌握程度为一般，在题库中选择难易程度一般的试题，若回答正确，升为较难的试题考核，否则降低到简单的试题进行考核，推算出用户知识掌握的基本程度。

2.3 采用MCMC方法推算考核参数

系统考核回馈理论本质在于对考核参数的推算[10]，马尔科夫链蒙特卡洛算法（MCMC）使用多元后验分布对随机样本进行模仿，能更快更准确地推算出所需参数。本文使用MCMC方法来推算参数。

MCMC方法推算参数的过程为：创建Markov链，符合稳态分布；利用Markov链进行试验；获取试验结果推算参数。

3 实验分析

3.1 六级英语词汇测试性能分析

实验采用智慧学习视角下在线学习成绩智能测试系统对123名考核者实施检测。对参与测试人员进行大学六级英语测试，将他们的六级测试分数逐一记录下来，借助本文系统的分析软件将考核人员的词汇本领与测试分数二者信息进行有关研究，获得本文系统推算大学英语六级词汇本领的精准度。Ability代表考核者的词汇水平，Score代表考核者的六级分数，图4展现了二者的散点排列图。

图4的散点排列显示，横坐标为六级分数与纵坐标为词汇本领相互对比可知二者宏观上体现为线性正关联，说明本文系统检验出考核人员的六级词汇掌握程度和考核人员的六级本领在一定条件下有相似性。

实验通过关联系数与突出性程度的值对六级分数与词汇本领进行具体关联深度的验证。突出性概率P在非假设条件下进行分析，先设想二者变量并没有线性关联，通常设想检测的突出性值是0.049 9，若P值比该值低，则二者变量存在线性关联，否则不存在线性关联。表1与表2是本文系统获取用户六级分数同词汇本领变量关联性情况。

表2中Confidence Intervel为94%；关联系数大小只负责表示数据之间关联性的大小，和正负无关。

根据表1、表2数据得知，智能学习视角下在线学习成绩智能测试系统获取的考核人员六级词汇本领和他们的六级测验分数间存在的关联系数为0.801，突出性概率值是0.026，证实六级词汇本领与六级分数的变量值极其有关。关联性研究成果里展示的关联系数0.801符合统计学运算，它们的确具有关联性。实驗得到的关联系数，说明词汇本领和相应得分间的关联深度是0.801，说明本文系统可以较精准地了解考核人员六级词汇掌握本领情况，也可对考核人员的实际能力情况进行准确测试。

3.2 调查报告统计测试分析

实验检测本文系统运行的满意度情况，从表3，表4可以看出，用户对本文系统的满意度较高。表3中，92%的考核人员对在线成绩测试系统的运行持有“支持”态度，95%的人表示对智慧学习视角下在线学习成绩智能测试系统的运行步骤了如指掌，100%的人表示该系统能够是他们参加考核不受时间地点的限制，存在4.3%的人因个体设备差异而对对本文系统持有“否决”态度。能够得出用户对本文系统的运行情况满意度高。

表4展示了此系统可以加强考核人员的学习状态的满意度，能够得出有96%的人表示该系统方法使他们对英语词汇更加喜欢，有94%的人员表示系统了解的真正六级词汇能力，92%的人表示明确了学习的重点，能够自行复习。

表5主要是用户提出关于该系统的意见总结，获取本文系统优势以及劣势情况。能够看出，95%的用户觉得本文系统可以减少考核用时，并且能够什么时候需要就什么时候开始考核，非常方便；98%的用户觉得本文系统考核试题的难易程度合理，符合自身实际情况；94%的用户则表示本文系统适合不同情况的用户，可以说是“对症下药”。

实验基于考核人员满意度访问情况检测本文系统的性能，说明本文提出的系统可以检验考核者的真实六级词汇掌握情况。而在问卷访问中可以证实本文系统可以达到大部分考核者的要求，获取使用人员的认同。

4 结 论

本文设计出智慧学习视角下在线学习成绩智能测试系统，对系统结构和组织构架进行设计，系统采用基于IRT的知识水平诊断方法测试用户知识水平，通过MCMC方法推算考核参数，实现用户在线学习成绩的准确测试。

参考文献

[1] 谢幼如，刘嘉欣，孙宁蔚，等.智慧学习环境下学生科学探究心智技能的培养[J].开放教育研究，2016，22（2）：104?112.

XIE Youru， LIU Jiaxin， SUN Ningwei， et al. Research on cultivating elementary students′ scientific inquiry intellectual skills in a smart learning environment [J]. Open education research， 2016， 22（2）： 104?112.

[2] 张伟，许爱强，高明哲.一种基于积累一致性测量的在线状态预测算法[J].上海交通大学学报，2017，51（11）：1391?1398.

ZHANG Wei， XU Aiqiang， GAO Mingzhe. An online condition prediction algorithm based on cumulative coherence measurement [J]. Journal of Shanghai Jiao Tong University， 2017， 51（11）： 1391?1398.

[3] 李爽，王增贤，喻忱，等.在线学习行为投入分析框架与测量指标研究：基于LMS数据的学习分析[J].开放教育研究，2016，22（2）：77?88.

LI Shuang， WANG Zengxian， YU Chen， et al. Mining LMS data for behavioral engagement indicators in online learning environments [J]. Open education research， 2016， 22（2）： 77?88.

[4] 杨红红，曲仕茹，米秀秀.基于权值分配及多特征表示的在线多示例学习跟踪[J].北京航空航天大学学报，2016，42（10）：2146?2154.

YANG Honghong， QU Shiru， MI Xiuxiu. Tracking approach based on online multiple instance learning with weight distribution and multiple feature representation [J]. Journal of Beijing University of Aeronautics and Astronautics， 2016， 42（10）： 2146?2154.

[5] 李宇翀，魏东，罗兴国，等.基于多元增量分析的全网络在线异常检测方法[J].上海交通大学学报，2016，50（9）：1368?1375.

LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiao Tong University， 2016， 50（9）： 1368?1375.

[6] LIU R， ZHONG G， CAO J， et al. Learning to diffuse： a new perspective to design PDEs for Visual analysis [J]. IEEE transactions on pattern analysis and machine intelligence， 2016， 38（12）： 2457?2471.

[7] 王益斌，黄加亮.海船船员考证网络在线平台软件的开发[J].中国航海，2017，40（1）：88?92.

WANG Yibin， HUANG Jialiang. Development and application of online platform for seafarer training [J]. Navigation of China， 2017， 40（1）： 88?92.

[8] 郭修敏.汉语口语成绩测试评分员培训体系建构及实证研究[J].语言教学与研究，2016（1）：24?31.

GUO Xiumin. A rater training program for the Chinese oral achievement test： its design and a related empirical research[J]. Language teaching and linguistic studies， 2016（1）： 24?31.

[9] 高媛，黄真真，李冀红，等.智慧学习环境中的认知负荷问题[J].开放教育研究，2017，23（1）：56?64.

GAO Yuan， HUANG Zhenzhen， LI Jihong， et al. Analysis of cognitive load in smart learning environment [J]. Open education research， 2017， 23（1）： 56?64.

[10] GUILLY T L， NIELSEN M K， PEDERSEN T， et al. User constraints for reliable user?defined smart home scenarios [J]. Journal of reliable intelligent environments， 2016， 2（2）： 75?91.