余平 顾小清

关键词：学习资源;应用成效;用户使用数据

数字化学习资源的建设一直受到各方面的重视，从国家到各省市甚至学校已经建立了大量规模大小不一的资源库，期望能够更好地支持教与学。在建设的同时，各级教育部门也在大力推进优质教育资源的应用，探索多种信息化教育教学和教师教研新模式。但是这些学习资源的具体应用情况如何？如何来评价学习资源的应用成效？这是教育资源建设主管部门、资源建设者以及使用资源开展教学的教师都非常关注的问题。2018年4月13日教育部印发《教育信息化2.0行动计划》，其主要任务提到要将“优质资源班班通”实现提质增效，在持续推动信息技术与教育深度融合的同时，也要注重提升绩效。资源应用成效可作为评估资源建设者绩效的一种有效手段，教师也可根据资源应用成效筛选优质资源。而关注资源应用成效首先必须有一种科学的方法来计算应用成效。本文将聚焦学习资源应用成效计算方法的设计，以用户为中心，提出一种基于用户使用数据的学习资源应用成效计算方法，并通过实例来说明该方法的应用。

一、学习资源应用成效的概念界定

本研究中的学习资源是指数字化的学习资源，参考我国教育信息化技术标准《教育资源建设技术规范》（CELTS-41）中的相关定义，我们将数字化学习资源定义为：以数字信号在互联网上进行传输并可以在教学活动中被应用的教育信息，它属于学习对象的一个子集，包括媒体素材、试题、试卷、课件、案例、文献资料、网络课程、常见问题解答和资源目录索引等类型。“成效”一词一般指获得的效果和功效。成效的具体含义一般需要结合应用领域来进行界定。

学习资源的应用是基于一个具体的平台（学习平台或资源平台），这种平台可以视为一个信息系统。关于信息系统项目的应用效果如何评价有如下不同的观点[1]：

（1）目标观点，认为通过对比项目实施后预期目标的实现程度来确定项目的应用效果。

（2）收益观点，认为评价应用效果需要考虑成本和收益之间的关系，可以通过产品质量、种类和客户服务等多方面带来的综合利益来体现，而不仅仅是财务指标。

（3）用户观点，认为需要关注信息系统对用户（包括个人和部门）满意度的影响，并根据用户满意度的多个影响因素研究项目的应用效果。

（4）能力观点，认为企业内部对信息系统的管理能力都可能是影响项目应用效果的关键因素，这些能力包括战略、计划、认识和管理机构设置等等。

与之近似的一个词是“绩效”。绩效是与企业组织目标及价值追求一致的成就和业绩，是一种可测量的行为结果，与组织的总体目标与主流价值相关，是组织中投入和产出关系的体现。作为行为与价值的统一体，绩效是过程和结果两个方面的综合反映[2]。

综合上述观点，我们认为学习资源应用成效是学习资源在使用过程和使用结果的反映，对学习资源应用成效的评估应综合考虑应用的过程以及应用的结果，同时考虑支持这些应用的投入和产出的对比。成效的评价将主要基于用户观点和收益观点，以满足用户需求、用户满意、用户有收获为主要出发点。

二、学习资源应用成效评价的相关研究

关于学习资源的评价的研究可以分为两类，一类是从标准的角度，另一类是从应用的角度。

从标准角度，早期相关的标准主要是图书情报资源相关标准，包括ISO2789、NISO Z39.7、E-Metrics等。刘蔚和王长宇两位学者从适用范围、相关定义、实用性3个方面对这3个标准进行了比较分析[3]。数字化图书情报资源是较早出现的数字化学习资源，随着技术发展，学习资源的范畴大大扩大，图书情报资源目前只是学习资源中很小一部分。在国际上还未见专门针对更大范畴的学习资源的评价标准，只有相关技术标准，例如教育资源元数据标准、内容包装标准等。国内教育信息化技术标委会提出了《网络课程评价规范》（CELTS-22）[4]，但只考虑了网络课程这一特殊类型的学习资源，对于评价其他形式的学习资源不一定完全适用。

从应用角度，教育机构和研究机构更多地关注学习资源的质量，从教育维度和技术维度对学习资源质量评价进行规范。国外相关的标准规范包括：英国教育及通信技术局（Becta）2007年4月制定颁布的数字化学习资源质量标准[5]、挪威教育部发布的数字化学习资源质量评价标准[6]、加拿大西蒙菲沙大学的John C.Nesbit教授等人设计的用于评价数字化学习资源质量的指标体系[7]、Robin H.Kay提出的5维度的指标体系[8]。国内相关的研究包括：童小素等[9]以CELTS-22为蓝本建立的MOOC质量评价指标体系、万力勇[10]提出的多层面的数字化学习资源质量的评价指标体系、谢海波从使用者、开发者和管理者三个不同的视角设计的资源评价指标[11]等。

已有一些研究注意到了资源的应用成效，例如万立勇的资源质量评价体系中资源使用绩效就是其中的一个一级指标，肖君等[12]提出教育资源库使用效益评估指标体系。张家年等[13]认为，影响学习者学习绩效的主要因素包括学习内容的设计、学习过程的设计、学习过程中的交互和学习的支持四个维度。杨文正[14]等研究了教育资源的持续使用问题，该研究发现用户使用满意度和感知有用性对用户持续使用教育资源的意向有积极影响。柯清超等研究了国家教育资源公共服务平台资源评价机制[15]。国家资源平台的基本评价机制应包括准入与过滤机制、推荐与优化机制、保障与运行机制。其中包含了“用户评价”和“网络计量评价”的相关指标和方法。

关于评价的方法，已有研究一般都是主客观结合的方法，从评价指标的设计来看，主观因素仍占据主导地位，因此评价方法仍以专家主观评价为主。但近年来，由于技术发展，以及资源系统中采集的用户使用数据的积累，网络计量方法越来越受到重视，张家年和柯清超等的研究就采用了网络计量评价，利用客观数据来进行科学评价。

从上述相关研究可以看出，这些研究仍然是从一个大的框架来评价资源的整体建设和使用情况，一些评价指标仍然侧重定性的、主观的分析，尚未见有研究关注资源应用成效如何科学、客观地进行计算，也较少有研究關注应用成效对资源建设和管理的用途。

三、相关资源平台中的用户使用数据

笔者分析了几类相关的资源平台和互联网平台中已经提供的用户使用数据，这些平台包括以下类型：开放大学资源平台、终身学习资源平台、基础教育资源平台、商业学习平台（新东方等）、开放教育资源网站（Merlot等）、以及相关的互联网站（YouTube等）。归纳起来，这些平台上关于用户使用的数据针对不同的对象，这些对象包括网站、网站中的资源以及网站中的论坛/社区，各类使用对象相关的使用数据如下页表1所示。

在这三类使用对象中，网站是一个整体，因此与它相关的使用数据都是针对网站整体的，例如网站的注册人数、登录人数等;资源是网站中的具体的学习对象，与它相关的使用数据针对每个具体的资源，这些资源可以是一些细粒度的资源（例如一个视频、一个课件），也可以是一些大粒度的资源（例如一门课程），针对不同粒度的资源其相关的使用数据也不同，例如课程资源就有其特有的使用数据（如表1中的课程相关数据）;论坛/社区的使用数据有些与资源直接相关，例如针对课程开设的论坛，有些不与某个具体的资源相关。

因此如果从资源应用成效的角度来考虑，网站和资源的使用数据可以直接作为计算资源应用成效的基础数据，而论坛/社区这个对象的使用数据不适于直接用于资源应用成效的评价，如果该论坛与某个资源直接关联，其使用数据可以作为该资源使用数据的组成部分，在本文后续的设计中采用了这种处理方法（即将论坛相关使用数据作为课程资源的使用数据的组成部分）。

四、学习资源应用成效计算方法设计

（一）设计依据

学习资源成效评价重在“成效”，如何界定“成效”的高低？什么资源是应用得好的资源？笔者遵循“以用户为中心”的评价原则，开展计算方法的设计，资源使用率、用户使用满意度和用户学习效果的提升是我们用来评价资源成效的主要依据。这一出发点的主要理论依据是行为理论，包括计划行为理论（Theory of Planned Behavior，TPB）、技术接受模型（Technology Acceptance Model，TAM）和信息系统持续使用模型（ECM-ISC）[16]。

（二）设计思路

在这个依据确立后，笔者从资源平台运行环境中梳理与资源使用的相关要素，这些要素非常多，我们根据OECD的教育指标体系框架从输入、处理、输出这三个方面梳理尽可能完整的相关要素，并从这些要素中提取核心的观测变量，依据这些观测变量的值最后计算出资源应用成效。

在观测变量的选取上，笔者注意到一些要素是关于资源使用的影响要素，并不能代表资源的实际应用成效（这一点在大多数研究中都是将二者混在一起的），笔者在研究中进行了区分，最后将那些能够直接反映成效的要素（本文称之为评价要素）提取出来，作为观测变量。表2是经过初步梳理的资源应用成效影响要素和评价要素。

（三）观测变量的设计及资源应用成效的计算方法

根据资源应用成效评价框架（如图1所示），我们将评价的三个维度设计为一级变量，每个一级变量下设若干个观测变量，这里称之为二级变量。

资源有不同的组织粒度，研究中提出三种粒度：素材资源、课程资源、资源网站（如下页图2所示），这三种粒度由小到大，可以适应不同的评价需求。研究中针对这三种不同粒度的资源提出了相应的观测变量及其对应的资源的应用成效数值的计算公式。

1.素材资源的观测变量及其应用成效的计算

素材是指可以独立提供用户访问的单个资源，其内部不再包含其他独立的资源，例如一个PPT课件、一段视频、一篇文章等等。这些资源可以被用户单独访问，也可以隶属于某个聚合资源（课程）。素材资源的观测变量如表3所示。

素材资源的应用成效值M由各一级变量的综合得分加权累加得到。其中，xi为第i个一级变量的综合得分，λi为该一级变量的权重，n为一级变量的个数。具体的计算公式如下：

公式1中每个一级变量的综合得分xi的计算公式如下，其中，xij为其第j个二级变量的分值，ωij为其第j个二级变量的权重，n为该一级变量包含的二级变量的个数：

2.课程资源（聚合资源）的观测变量及其应用成效的计算

一个课程资源中可以包含多个粒度更小的素材资源，因此课程资源的应用成效包含两个部分，第一部分是构成课程资源的各个素材资源的平均成效，第二部分是课程作为一个整体资源的成效。课程资源的应用成效值C由这两部分的成效值加权累加得到，具体的计算公式如下：

公式3中，a1和a2为两部分的权重，Mi为第i个素材资源的应用成效值，N为该课程资源包含的素材资源的个数，C'为课程资源整体成效。C'由课程资源整体的两级变量（如表4所示）加权计算得到，具体计算方法与素材资源类似。

关于用户学习效果的评价，有研究表示，一些学习行为与学习效果（测评情况）有显著关系，例如孙月亚[17]的研究结果显示，作业完成率、课程登录次数、文本资源访问率3个因素能够预测成绩48.3%的变化量。因此在衡量课程学习效果时，在没有测试成绩数据的情况下，也可以采用客观学习行为（交互）数据来作为对学习效果的估计。

3.资源网站的观测变量及其应用成效的计算

整个资源网站的应用成效的计算与课程资源的计算方式类似，既包括其中各个组成资源（包括素材资源和课程资源）的平均应用成效，也包含对资源网站整体的应用成效。网站资源的应用成效值W由这三部分的成效值加权累加得到，具体的计算公式如下：

公式4中，a1、a2和a3为三部分各自的权重，Mi为第i个素材资源的应用成效值，Nm为该资源网站包含的素材资源的个数，Ci为第i个课程资源的应用成效值，Nc为该资源网站包含的课程资源的个数，W'为资源网站整体成效，由资源网站整体的两级变量（如表5所示）加权計算得到，具体计算方法与素材资源类似。

（四）观测变量权重设计

1.用户对资源的操作行为意愿分析、

为了应用上述计算模型，用户对资源的操作行为数据是主要的依据，那么用户是否愿意执行这些操作呢？本研究采用问卷调研方法初步了解用户对实施这些行为的意愿。问卷发放对象以学生为主，学历以本科为主，让他们对使用资源时的下载、收藏、分享、评论、评分、好评、设置标签等7种操作的实施意愿进行打分（从“非常不愿意”到“非常愿意”共五级），调研结果如表6所示（表格中的数据为选择该项的占比）。

假设用户选择“愿意”和“非常愿意”的表示用户对该操作的意愿是积极的，那么在这些操作中，积极意愿超过50%的操作有：收藏、下载、好评和设置标签，而分享、评论和评分操作的积极意愿相对较低。

总体来说，39%以上的用户是愿意进行这些操作的。因此，在资源平台中设置相应操作应该可以采集到一定量的这些数据用于分析和計算。当然实际应用中的用户是否会开展这些行为与很多因素有关，通过适当激励机制可以提升这些操作的实施频度。

2.观测变量权重初步设计

本研究采用层次分析法，对上述几种资源操作在计算应用成效的权重进行了初步研究。结合层次分析法的计算结果和相关领域的权重分布（YouTube在其视频排行算法中部分指标的权重分布[18]），对观测变量的权重设计建议如下：

（1）一级变量的权重：资源使用情况、用户使用满意度和用户学习效果的权重比例（进行了微调）分别为35%，25%，40%，其中学习效果占比最高。

（2）“资源使用情况”的主要二级观测变量的权重分为三类，其权重占比从低到高依次为：第一类（低，10%）：收藏、分享、好评/评分;第二类（中，20%）：下载、评论;第三类（高，70%）：访问次数、访问时长。

这样分类的理由是：（1）第一类操作对于用户所花的代价最小，也就是说用户点击一下就可以完成操作;（2）第二类操作用户需要花费更多的时间，例如下载的等待时间、评论的录入时间等，只有当用户觉得非常有需要的时候才会执行这些操作;（3）访问次数和访问时长是决定使用率的最根本指标，因此权重占比最高。

五、学习资源应用成效计算方法的应用及建议

（一）方法的应用

本研究提出的计算方法在具体应用时需要根据实际情况进行适当调整，主要建议：（1）观测变量调整。本研究中提出的观测变量，尤其是关于资源使用的观测变量较为完整，但实际资源平台中可能不能采集到所有数据，因此在计算资源应用成效时，根据具体可以采集到的数据的情况对观测变量进行取舍。（2）变量权重的设置。方案中对变量权重进行了设计，其中具体给出了三个一级变量的参考权重，同时对二级变量的权重分配给予了建议。在具体应用时，由于观测变量的调整，相关的权重也需要调整，调整时，注意各变量之间的比例关系保持一致即可。例如，如果有变量删减，那么根据剩余变量之间的相对值对变量权重进行重新计算。

当观测变量和变量权重根据实际情况调整完成后，就可以参照上述方案中的计算公式对平台中的各种粒度的资源的应用成效进行计算和分析。按照上述方法，研究中分别以某开放大学学习平台和某教育资源中心的部分资源使用数据为例，对上述计算方法进行了使用，并从中发现资源使用的问题以及呈现的一些规律。

研究中从学习平台中获取了一门课程及其中资源（该门课程包含57个资源，169名学生）的使用数据（案例一），包括学习者基本信息、资源访问情况、教学活动情况、作业完成情况、作业完成率、形考总成绩和上网时间。从教育资源中心以“计算机”“英语”“健康”为关键词爬取了相关资源的使用数据（案例二），其中“计算机”类素材资源520个，课程资源455门，“英语”类素材资源9241个，课程资源1271门，“健康”类素材资源2218个，课程资源820门，每个资源可获得的使用数据比较简单，包括资源的浏览次数和好评次数。

1.素材资源和课程资源的应用成效的计算

由于两个案例中既包含了素材资源，也包含课程资源，因此可以分别计算两种粒度资源的使用成效。根据实际采集到的数据的情况，两个案例中实际采纳用于计算应用成效的观测变量和权重的情况汇总如表7所示。

根据表7中的数据和公式1，案例一的每个素材资源的应用成效的实际计算公式M=浏览次数*0.4+平均浏览时间*0.6（注：这里浏览次数和平均浏览时间均为归一化后的数据）。根据这个公式计算出来的部分资源的应用成效如表8所示。

根据表7中的数据和公式3，案例一中的课程资源的应用成效的实际计算公式C=0.5*该门课程包含的所有素材资源的平均应用成效+0.5*（0.47*课程活动参与率+0.53*形考平均成绩），这里公式3中a1和a2的取值均设为0.5。根据获取的实际数据，所有素材的平均应用成效为0.218，课程活动参与率为0.02，形考平均成绩为0.364（按实际平均分数/100计算），因此该门课程资源的应用成效为0.21。

根据表7中的数据和公式1，案例二中的素材资源的应用成效的实际计算公式为M=浏览次数*0.6+好评次数*0.4。案例二中的课程资源，由于没有采集到课程整体的观测变量，公式3中的第二部分没有数据，因此a1和a2的取值分别为1.0和0。这样，该课程的应用成效的计算公式为C=1.0*该课程包含的所有素材资源的平均应用成效。根据这个公式计算出来的不同学科类型的课程资源和素材资源的平均应用成效如表9所示。

2.网站资源的应用成效的计算

为了说明本计算方法在网站资源的应用，我们将案例二中的三类学科的资源模拟成三个资源网站的资源，根据公式4，计算三个模拟网站的应用成效。公式中的Mi和Ci的值取自表9，资源网站整体的应用成效W'的计算只采用“资源使用情况”这个一级变量，其下的二级变量使用“活跃资源数”。在此例中英语、计算机和健康三个网站的活跃资源数（包括素材资源和课程资源）分别为9521，972和2950，占网站资源总数的比值分别为0.9057，0.9969和0.9710。