李童 杨楠 王煜

摘 要：传统学习行为分析注重事后分析，即根据学习结果评价学习效果。计算机类课程不同于其它领域课程，实践性很强，对学生动手能力要求较高。由于学生在该课程中的学习行为涉及大量动手操作，如建模、编程、测试等，通过监控、存储与分析相关数据，可对学生学习过程持续进行学习行为分析，从而及时发现学生学习中的困难，并给予相应反馈。设计并实现一个BJUTModeling系统平台，以持续监控与记录学生的建模操作数据，并利用频繁序列挖掘技术进行学习分析，取得了较好的实际教学效果。

关键词：过程监控;行为模式挖掘;学习行为分析;学习效果评价;本科教育

DOI：10. 11907/rjdk. 191966 开放科学（资源服务）标识码（OSID）：

中图分类号：G434文献标识码：A 文章编号：1672-7800（2020）002-0249-05

英标：Analysis of Learning Behaviors in the Courses of Computer Sciences Based on Learning Process Monitoring

英作：LI Tong1，YANG Nan2，WANG Yu1

英单：（1. Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China;2. Institute of Higher Education， Beijing Academy of Educational Sciences， Beijing 100036， China;3. Fan Gongxiu Honors College， Beijing University of Technology， Beijing 100124， China）

Abstract： Traditional learning behavior analysis focuses on ex-post analysis， which is to evaluate learning effectiveness based on learning outcomes. Computer courses are different from those in other fields， and they are highly practical and have high requirements for students hands-on ability. Therefore， student learning behavior involves a lot of hands-on operations such as modeling， programming， testing， and so on. This study proposes to monitor， store and analyze these data to achieve continuous learning behavior analysis in the learning process， so as to find out the difficulties of student learning in time and provide corresponding feedback. Specifically， this study designs and implements the BJUTModeling system， continuously monitors and records studentsmodeling operation and uses frequent sequence pattern mining， which achieves a good result of teaching.

Key Words： process monitoring; behavior pattern mining;learning behaviors analysis;learning effectiveness assessment; undergraduate education

0 引言

2016年我国正式加入《华盛顿协议》，标志着中国高等工程教育质量标准与国际实质等效。党的十九大提出建设教育强国是中华民族伟大复兴的基础工程，教育质量标准建设是提高教育质量的基础工程。2018年1月，教育部发布《普通高等学校本科专业类教学质量国家标准》（简称“国标”），这是我国面向全国、全世界的第一个高等教育教学质量国家标准。工程教育在我国高等教育中占有重要地位，高素质工程科技人才是支撑产业转型升级、实施国家重大发展战略的重要保障。计算机类专业包括计算机科学与技术、软件工程、网络空间信息安全等学科，是工程教育的重要组成部分。对计算机类课程教学质量评价开展研究，是提升计算机类专业人才培养质量的重要抓手，更是对“国标”实际应用的有益探索，具有重要意义。

1 相关文献梳理

1.1 学习分析领域及其主要研究分支

大數据和人工智能的发展为各领域带来了一场技术变革，教育领域也不例外。学习分析作为教育大数据的重要应用方向，是一个新兴的交叉学科研究领域[1]。2011年3月，加拿大班夫召开了第一届学习分析与知识国际会议。学习分析是指通过对学习者及其学习情境进行测量、收集与分析，并形成报告，从而优化学习环境，提升学习者的学习体验和学习效果[2]。

现有国内外学习分析研究可分为两大类型：理论性和实证性。理论性研究涉及论述学习分析的重要性[3-4]、学习分析的挑战与伦理问题[5-7]、学习分析与其它领域（诸如学习设计、教育数据挖掘）关系[8-10]、学习分析质量评价[11]以及学习分析新趋势[12-13]等;实证性研究可细分为话语分析、预测与早期预警、学习轨迹、智能辅导等多个方面。

具体而言，话语分析类研究主要通过论坛讨论[14-15]、写作[16]、学术论文[17]、访谈[18]等相关数据分析学生学习效果。例如，文献[16]使用WordNet作為词法参考进行工具开发，自动可视化学生写作中首次出现的原创思想和用语，帮助教师掌握学生学习进展并根据学生已掌握的知识调整教学计划;文献[18]运用计算语言学方法自动分析访谈数据（以54位中学生对四季的解释为例），以了解学生对科学概念的理解程度。

预测与早期预警主要运用推论统计分析方法探索各种因素对学生学习效果的影响[19-22]。例如，文献[19]根据学生人口统计特征、以往学术表现、学生努力程度和考试成绩等因素，预测学生学术表现;文献[20]探索学生在多项选择题中正确与错误答题用时对其最终成绩的影响。

学习行为轨迹类研究主要利用数据挖掘方法及可视化技术展现学生实际学习特定内容的过程[23-24]。文献[23]研究学生如何在游戏环境中进行数学学习;文献[24]收集37名学生在解决线性函数问题时的眼动数据，通过分析发现学生注意力在兴趣区域间转换的通用模式。

智能辅导主要通过数据挖掘技术分析用户行为，从而判断用户学习状态，并为用户提供个性化辅导方案[6，25-27]。例如，文献[27]在一个拥有超过44万条数据的关于九九乘法表的答题数据库中应用马尔科夫链，根据不同顺序的马尔科夫链识别学习者答题模式，判断学生对乘法表的掌握情况，并根据个体情况优化出题顺序。

1.2 基于学习过程数据的学习效果相关研究

学习分析领域研究与传统教育教学研究的最大区别在于对学习过程数据的收集与分析。首先，学习过程数据较以往变得异常丰富，这些数据包括学生学习过程中的情绪状态[28]、学生答题过程中的具体解题步骤[29]、学生鼠标点击流数据[30]、考试中题目应答时间及正确与否[31]、在线学习环境中的专注时间[32-33]、学生姿势或体力活动[34-35]等。其次，面向数据的分析方法更为复杂。例如，递归定量分析方法可探测出学生在阅读与学习过程中发生的改变，如学习策略和参与程度等[36];多元回归模型可对学生成绩进行预测[37]; Monte Carlo贝叶斯知识追踪模型可通过分析学生的在线学习活动数据，从而发现“有问题的学生”[38];隐朴素贝叶斯模型可自动检测在线学习中的不专注行为[33];知识成分模型可针对学生的错误理解进行建模，从而预估隐性知识[39];概率图模型可用于提升对学习效果的预测准确度[40]等。另外还可运用逐步线性回归、随机森林和线性混合效应模型对学习效果进行预测[41]，运用N-gram技术进行日志数据的时间序列分析[29]，使用Coh-Metrix工具进行文本分析[39]，运用模糊集定性比较分析方法对学生测验中的应答时间和前后测数据进行建模[31]等。

1.3 小结

总体而言，目前学习分析领域研究内容丰富且广泛，既有相对宏观层面的研究，如学校利用人口统计数据、以往学术成绩表现预测学生在所读专业学习期间是否会辍学等;也有相对微观层面的研究，如利用在线学习环境的日志数据和学生在线学习表现，了解学生学习行为及对所学内容的掌握程度等。基于学习过程数据的学习效果研究是学习分析与传统教育教学研究的主要区别所在。学习行为轨迹是学习过程中的一个具体方面，侧重于研究学生思考过程，这些原本只存在于学生大脑的数据在传统教育情景中几乎无法获取与分析，大数据技术将“不可能”变为了“可能”。聚焦学生思考过程的学习行为轨迹类研究无疑是学习分析中一个极具价值的研究方向，更是教育研究的一个重要组成部分，有助于教师通过分析学生学习思路，了解学生对所学内容的实际掌握情况，从而创新教育教学方法，培养出更多高质量的人才，最终实现高等教育的内涵式发展。

2 学习行为轨迹监测平台BJUTModeling设计

2.1 系统功能简介

BJUTModeling是面向《软件工程导论》课程设计开发的基于用户建模行为的学生学习效果评价系统。尽管目前市面上存在大量建模工具，如ProcessOn、Lucid Chart、Draw.io等，但这些平台采用的是封闭数据集，用户数据由平台公司保密。BJUTModeling的开发旨在收集学生建模行为的第一手数据，方便教师了解学生对建模知识的掌握程度。BJUTModeling的前端开发语言涉及html、css与JavaScript。JavaScript中的GoJS包提供了对图形建模的强大支持，因此用户数据可以在结构清晰的服务器中进行记录。从BJUTModeling在线建模平台收集的数据采用JSON格式，之后可利用机器学习和数据挖掘算法轻松识别，从而保证了平台的灵活性和可用性，为数据分析提供了极大便利。

2.2 数据预处理与数据清洗

记录在服务器中的数据由两部分组成：日志数据和模型数据。模型数据显示数据流图（DFD）的最终视图，缺少处理数据。相反，Log数据将所有用户行为记录为操作，其中包含大量信息，在学生建模行为分析方面具有很大潜力。因此，该项目专注于BJUTModeling在线建模平台的日志数据研究。用户日志原始数据存储在具有JSON格式的txt文件中，txt日志数据示例如图1所示。

单个用户日志包含该用户在在线建模平台BJUTModeling中进行的所有操作，因此txt文件需要进行操作分离。使用Python可以轻松地将每个操作与“＼ n”字符分开，代表操作的结束（一行）。因此，每个用户的日志清理结构化数据如图2所示。

2.3 操作编码

BJUTModeling系统上有16种操作，从清洗后的学生数据中可明确标注不同操作类型（见表1），从而准确地表示操作序列。具体而言，每一种操作类型表示一种原子操作，而不同原子操作所组成的序列则可能包含特定语义模式。通过对这些模式的挖掘与分析，能够有效分析学生建模行为所蕴含的信息。

2.4 频繁序列模式挖掘

在对操作进行编码后，即可与符号化序列数据库一起进行频繁序列模式挖掘。很明显，单个操作序列长度不是均匀分布的，有些学生的操作顺序很长，而有些学生的日志相对较短，因此需要为FreSeqPat算法设置最大长度阈值以避免序列爆炸。通过考虑数据流图、结构分析特征以及实际任务要求，单个频繁长度中50个操作的最大长度是合理值。此外，基于在数据流图分析中所积累的关于学生建模的经验知识，将FreSeqPat算法中的参数min_sup设置为4。这两个限制可以避免对操作过多的模式进行计数，并排除操作序列中的异常，从而挖掘并发现有效行为特征。

2.5 基于行为模式的特征工程

根据特征工程的方法论，好的特征在数据挖掘中将起到至关重要的作用。因此，通过软件设计的领域知识，本文总结了来自操作序列数据集的新特征，以更好地分析学生建模行为。

（1）操作时间。根据网站运营特点，可以很容易地发现运营时间对于用户行为分析非常重要。无论用户是不假思索地进行频繁操作，还是在不同步骤间进行长时间思考，这种操作时间特征对于该项目而言都是非常重要的。

（2）元素移动距离。从操作序列数据集概述可以清楚地看出，元素移动距离是一个重要特征。原始数据仅记录操作的旧位置和新位置，而不记录移动距离，因此需要导出该计算结果。

（3）添加新元素位移。考虑绘制数据流图的真实情况，重要的是要考虑用户在添加元素操作后立即移动新添加元素的位移，该功能也是度量用户建模习惯好坏的一个重要指标。

3 基于真实课堂数据的学习行为模式分析

本文研发的系统已在北京工业大学2018-2019春季学期的《软件工程引论》课程中投入使用（出于隐私保护考虑，以序号代替学生学号）。该课程中布置了数据流图建模作业，并要求学生在建模平台上完成作业，最终平台在作业期间总共获取到30位学生的建模信息，其中学生的建模操作数如表2所示。

通过频繁序列模式挖掘，本文在学生实际建模行为中，观察与挖掘到以下两种有意义的用户行为习惯模式：

（1）学生更有可能先完成一种类型的所有动作，然后再做其它类型动作。以编号12的动作序列为例，如图3所示。学生首先执行更改链接和更改元素的动作集，然后执行更改链接和编辑文本的操作集。这些顺序模式表明该学生更喜欢一次性做同样的动作，然后转向另一种动作。

（2）根据统计数据，改变的元素除以新添加元素的平均值为21.2，改变的链接除以新添加链接的平均值为21.4。这些极高的比值证实了学生在添加元素或链接后倾向于作大量的模型调整。

4 结语

本文针对计算机类课程实践性强、对学生动手能力要求高的特点，设计并实现了一个学习行为检测与分析系统。系统利用频繁序列挖掘技术分析学生操作模式，从而可以有效分析学生学习过程中的优点与不足，并及时给予必要的支持和帮助。未来计划在更多课堂上进行实践研究，从而对该系统作进一步完善。

参考文献：

[1] 黄志南，陆星儿，胡贺宁，等. 学习分析主题结构研究及可视化分析[J]. 开放教育研究，2016，22（5）：102-111.

[2] FERGUSON R. The state of learning analytics in 2012： a review and future challenges [M].  Knowledge Media Institute，The Open University， 2012.

[3] 刘清堂，王洋，雷诗捷，等. 教育大数据视角下的学习分析应用研究与思考[J]. 远程教育杂志， 2017， 35（3）：71-77.

[4] ELIAS T. Learning analytics： definitons， processes and potential[EB/OL]https：//pdfs.semanticscholar.org/732e/452659685fe3950b0e515 a28ce89d9c5592a.pdf.

[5] DRACHSLER H， GRELLER W. Privacy and analytics： it's a DELICATE issue a checklist for trusted learning analytics[C]. Proceedings of the sixth international conference on learning analytics & knowledge， 2016：89-98.

[6] NIEMANN K，WOLPERS M，STOITSIS G，et al. Aggregating social and usage datasets for learning analytics： data-oriented challenges[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge， 2013：245-249.

[7] SWENSON J， DUIN A H. A matrix to address ethical concerns in the design， application， and documentation of learning analytics in postsecondary education[M]. The Wiley Handbook of Educational Policy， 2018： 551-573.

[8] 李艷燕，马韶茜，黄荣怀. 学习分析技术：服务学习过程设计和优化[J]. 开放教育研究， 2012， 18（5）：18-24.

[9] DYCKHOFF A L，LUKAROV V A，CHATTI M A，et al. Supporting action research with learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2013：220-229.

[10] BAKER R S J D， DUVAL E， STAMPER J， et al. Panel： educational data mining meets learning analytics[C]. International Conference On Learning Analytics and Knowledge. ACM， 2012：20.

[11] SCHEFFEL M， DRACHSLER H， SPECHT M. Developing an evaluation framework of quality indicators for learning analytics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：16-20.

[12] DAWSON S， GA？EVI？ D， SIEMENS G， et al. Current state and future trends： a citation network analysis of the learning analytics field[C]. International conference on learning analytics and knowledge. ACM， 2014：231-240.

[13] 張琪， 武法提.  学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].  电化教育研究， 2016（9）：76-81.

[14] WISE A F，ZHAO Y，HAUSKNECHT S N. Learning analytics for online discussions： a pedagogical model for intervention with embedded and extracted analytics[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM， 2013：48-56.

[15] LIDDO A D， SHUM S B， QUINTO I， et al. Discourse-centric learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2011：23-33.

[16] LáRUSSON J A，WHITE B. Monitoring student progress through their written point of originality[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM， 2012：212-221.

[17] SIMSEK D， SANDOR A， SHUM S B， et al. Correlations between automated rhetorical analysis and tutors' grades on student essays[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：355-359.

[18] SHERIN B. Using computational methods to discover student science conceptions in interview data[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：188-197.

[19] ARNOLD K E，PISTILLI M D. Course signals at purdue： using learning analytics to increase student success[C]. International conference on learning analytics and knowledge. ACM，2012：267-270.

[20] LONN S，KRUMM A E，WADDINGTON R J， et al. Bridging the gap from knowledge to action： putting analytics in the hands of academic advisors[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：184-187.

[21] LAURíA E J， MOODY E W， JAYAPRAKASH S M， et al. Open academic analytics initiative： initial research findings[C].  Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM：150-154.

[22] PAPAMITSIOU Z K，TERZIS V，ECONOMIDES A A. Temporal learning analytics for computer based testing[C]. International Conference on Learning Analytics and Knowledge. ACM，2014：31-35.

[23] MARTIN T，AGHABABYAN A，PFAFFMAN J，et al. Nanogenetic learning analytics： Illuminating student learning pathways in an online fraction game[C]. International Conference on Learning Analytics and Knowledge. ACM， 2013：165-169.

[24] ZHU M，FENG G. An exploratory study using social network analysis to model eye movements in mathematics problem solving[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge. ACM，2015：383-387.

[25] VERBERT K，DRACHSLER H，MANOUSELIS N，et al. Dataset-driven research for improving recommender systems for learning[C]. Proceedings of the 1st International Conference on Learning Analytics and Knowledge. ACM，2011：44-53.

[26] SCH？N M， EBNER M，KOTHMEIER G. It's just about learning the multiplication table[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM，2012：73-81.

[27] TARAGHI B，EBNER M，SARANTI A，et al. On using markov chain to evidence the learning structures and difficulty levels of one digit multiplication[C]. Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. ACM， 2014：68-72.

[28] GRAWEMEYER B，MAVRIKIS M，HOLMES W，et al. Affecting off-task behaviour： how affect-aware feedback can improve student learning[C]. Proceedings of the sixth international conference on learning analytics & knowledge.ACM，2016：104-113.

[29] BROOKS C，THOMPSON C， TEASLEY S. A time series interaction analysis method for building predictive models of learners using log data[C].  International Conference on Learning Analytics and Knowledge. ACM， 2015：126-135.

[30] PARK J， DENARO K， RODRIGUEZ F， et al. Detecting changes in student behavior from clickstream data[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：21-30.

[31] PAPAMITSIOU Z， ECONOMIDES A A， PAPPAS I O， et al. Explaining learning performance using response-time， self-regulation and satisfaction from content： an fsQCA approach[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：181-190.

[32] KOVANOVI？ V， GA？EVI？ D， DAWSON S， et al. Penetrating the black box of time-on-task estimation[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge.ACM，2015：184-193.

[33] XING W， GOGGINS S. Learning analytics in outer space： a Hidden Na？ve Bayes model for automatic student off-task behavior detection[C]. Proceedings of the Fifth International Conference on Learning Analytics and Knowledge. ACM，2015：176-183.

[34] OKADA M， TADA M. Formative assessment method of real-world learning by integrating heterogeneous elements of behavior， knowledge， and the environment[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：1-10.

[35] WATANABE E，OZEKI T， KOHAMA T. Analysis of interactions between lecturers and students[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：370-374.

[36] LIKENS A D，MCCARTHY K S，ALLEN L K，et al. Recurrence quantification analysis as a method for studying text comprehension dynamics[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：111-120.

[37] ELBADRAWY A，STUDHAM R S，KARYPIS G. Collaborative multi-regression models for predicting students' performance in course activities[C].  International Conference on Learning Analytics and Knowledge. ACM， 2015：103-107.

[38] GWEON G H，LEE H S，DORSEY C， et al. Tracking student progress in a game-like learning environment with a Monte Carlo Bayesian knowledge tracing model[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：166-170.

[39] ALLEN L K，MILLS C，JACOVINA M E，et al. Investigating boredom and engagement during writing using multiple sources of information： the essay， the writer， and keystrokes[J].  LAK '16 Proceedings of the Sixth International Conference on Learning Analytics & Knowledge，2016：114-123.

[40] KASER T，HALLINEN N R，SCHWARTZ D L. Modeling exploration strategies to predict student performance within a learning environment and beyond[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：31-40.

[41] FANCSALI S E，RITTER S. Context personalization， preferences， and performance in an intelligent tutoring system for middle school mathematics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：73-77.

（責任编辑：黄 健）