周鹏 李环 刘佩文 吴砥

摘要：以教育云为载体向广大基础教育师生集中提供数字化教育资源和在线教育应用对提升教育质量、促进教育公平具有重要意义。而如何构建一套量化评价教育云服务绩效的指标和方法，用于评价教育云服务对教育教学与教育管理的应用绩效，成为我国教育云推广中的关键问题。面向教育云服务绩效评价问题，该研究设计了基于教育云平台大数据的教育云服务绩效评价指标和方法体系，首先分析了教育云服务内容和服务过程，其次从提升教育质量和促进教育公平两个维度提出了教育云绩效评价目标和评价指标体系，再以教育云平台大数据为来源设计了评价指标的加工方法，最后以W市教育云为例验证了本研究所提出的绩效评价指标、方法的科学性和有效性。

关键词：教育云；公共服务；教育大数据；绩效评价

《教育信息化“十三五”规划》提出要“积极利用云计算、大数据等新技术，创新资源平台、管理平台的建设、应用模式”。从2012年以来，我国各级教育行政部门开始尝试以教育云为载体集中提供教育资源和教育应用，以提升教育服务质量、降低服务成本，各地教育云平台建设风起云涌，为基础教育提供了丰富的教育资源、多样化的教育教学和教育管理应用服务。随着教育云服务范围的不断扩大，政府对教育云平台的投入也不断增长。而投入大量资源建设的教育云平台能否为区域基础教育的教育教学和教育管理提供有效的服务，产生显著、可度量的绩效，成为各级教育行政部门在建设和推广教育云平台过程中重点关注的热点。而当前教育云建设实践中测算教育云服务提供的资源数量、服务种类、师生注册量、资源访问量等指标的评价方法，既不能反映教育云平台的实际绩效，也不能成为购买教育云服务决策、制定教育云平台发展策略的依据。因此，从教育云服务的内容和过程出发，构建一套量化评价教育云服务绩效的评价指标和评价方法，成为扩展我国教育云服务覆盖面亟待解决的关键问题。

“绩效”的概念源于管理学，作为一项政府向基础教育提供的公共服务，教育云服务通过支撑特定区域的师生、学校的教育教学和教育管理活动，使师生产生满意效果并提升学生综合素养水平，从而产生绩效。面向教育云服務绩效评价问题，本研究首先归纳了教育云评价相关的现有研究，其次分析了教育云服务的服务内容、服务过程和大数据产生过程，并基于教育云服务的绩效评价目标和教育云平台大数据的特征设计了教育云绩效评价指标体系，再从教育云平台大数据的内容出发设计了面向评价的大数据加工方法，最后以中部W市教育云的绩效评价项目为实例验证了本研究设计的评价指标体系和大数据加工方法的有效性。

一、研究综述

本研究从在线学习的效果评价、教育信息化公共服务绩效评价和信息化辅助课堂教学效果评价三个领域归纳教育云绩效评价的理论基础。

在线学习的效果评价领域，对在线学习的评价往往从服务和应用效果两方面展开评价。从提供服务的角度，Cann设计了对内容和链接评估在线学习资源内容和质量的方法以评价在线学习资源的使用情况，Misook等以认知负荷理论评估不同的在线学习工具对学生学习成效的影响，表明较小的认知负荷能提升学生的学习成效，Hosie等设计了基于教学法、资源和传递策略三方面的评价方法，用以评价高等教育在线教学的课件设计质量；更多的研究从学生的应用效果的角度展开，Griff等从考试成绩、课堂成绩、作业表现等方面评价了学生使用在线平台学习两门课程的效果；此外，Reevesi提出了在线学习环境的三种评价组合策略：认知评估、效果评估和组合评估。可见，包括资源内容、质量在内的在线学习服务的评价方法和包括学生作业表现、考试成绩在内的应用效果的评价方法，是两类主要的在线学习平台评价方法。

教育信息化公共服务的绩效评价领域，大多是从各种视角构建了评价概念模型。王海等从基础设施建设、资源建设、应用程度、主体发展和保障程度五个维度构建了农村基础教育信息化EEE评价模型，用以评价农村基础教育信息化发展水平；顾小清提出的区域教育信息化绩效的三维评估模型，从视角维度、发展维度和角色维度提出了区域教育信息化评估概念模型；李文光等设计了包括教育信息化建设、信息技术与教学融合、资源共建共享、教师发展、学生培养、政策和机制等6个一级指标、27个二级指标和184个三级指标的指标体系。虽然构建了较为全面的评价概念模型，但是这些研究并未进一步详细探讨作为评价证据的指标数据的采集方法，也未能进一步将这些概念模型具象化并通过实施评价验证概念模型。

教育云平台同样也用作支持信息化课堂教学，而在课堂教学评价领域，现有的研究往往从学生行为和应用效果出发设计了评价方法。早在2011年，孙沛华就通过文献综述，提出了包括教师、讲授、交流和实践在内的信息化教学评价框架；左明章等设计的基于多元智能理论的学生学习绩效评价方法，以任务驱动的方式评价课堂教学中的活动、项目和学生的学习绩效；余艳等基于社会交互模型将学生的课堂动作量化为可分析的行为矩阵，从测试和观察两个维度开展信息化课堂的评价。同样，信息化课堂教学的评价研究能为教育云平台支撑课堂教学的绩效评价提供理论支持。

设计基于大数据的教育云平台绩效评价模型与方法，就要综合在线学习评价理论、教育信息化评价理论和信息化课堂教学评价理论，结合教育云服务的内容与方式，提出具体的评价理论、模型和方法。

二、教育云的服务内容、服务过程和评价指标

本研究通过对国内多个教育云平台的调查，归纳了当前我国教育云的主要服务内容、服务过程和平台大数据产生过程。

（一）教育云服务内容

教育云是以云技术汇聚海量教育资源和各类教学应用程序，通过互联网提供给教师、学生和学校管理者，用于支撑课堂教学、备课教研、自主学习、学校管理等活动，旨在提升学生的能力和素养的在线平台。通过对国内多个教育云平台进行调查，发现海量数字化学习资源服务、课堂教学服务、自主学习服务、教师教研服务和学校管理服务是教育云提供的主要服务，如图1所示。

1.海量数字化学习资源服务：教育云平台的核心服务内容，与传统的教育资源分发方式不同，教育云平台具有海量、随时随地获取的特性，这种资源服务模式能以更低的成本覆盖更广泛的区域；

2.课堂教学服务：支持课堂教学是教育云平台的主要服务，基于资源服务和工具支持教师备课、上课、分组讨论、随堂测试和课后作业等教学活动，旨在提升课堂教学质量；

3.自主学习服务：支持学生自主学习也是教育云平台的主要服务，同样是基于资源服务和工具支持学生根据自身的需求获取、访问学习资源，并开展在线学习交互；

4.教师教研服务：旨在支持教师备课、提升教师能力和水平的服务，基于教育云平台上的教师交互和资源分享，为教师提供备课、教学的同侪建议、示范课程、资源共享和协同研究等服务；

5.学校管理服务：基于师生基础数据和师生日常教学活动，为学校日常管理流程和学校管理决策提供支持。

当前，各区域教育云为中小学师生、学校提供了这五类服务，旨在提升学生能力素养和学校管理水平；另一方面，师生和学校应用这五类服务的过程也是教育云服务产生绩效的过程。

（二）教育云服务过程和平台大数据产生过程

各地教育云平台在投入资源、建设运营方式、师生应用模式等方面存在较大的差异，本研究通过对多个教育云平台的调查，总结出教育云平台“服务一应用一产出”过程和大数据产生过程，如图2所示。

从提供教育云服务到服务绩效产出，教育云服务包含从教育云服务内容供给、师生应用教育云服务过程和教育云服务绩效产出三个过程：

1.教育云服务内容：指直接向区域师生提供教育云服务的硬件、软件、网络带宽、数字化学习资源等，这些是师生提供服务的对象；

2.服务应用过程：指以教育云服务支持课堂教学、自主学习、备课教研和学校管理等活动，用以满足师生的应用需求、提升学生的综合素养和学校的管理水平；

3.教育云服務产出：指区域师生接受教育云服务后产生的效果，直接地体现在师生的满意度上，间接地体现在包括知识、技能、情感和价值观等在内的综合素养的提升上。

教育云平台服务过程既是服务绩效的实现过程，也是教育云平台大数据的产生过程。在教育云“服务—用—产出”过程中，教育云平台不但存储了关于资源、工具等服务内容数据，还跟踪采集以师生等用户的行为轨迹为主的服务应用过程数据。而要采集教育云服务效果产出数据，一方面可以用抽样调查的方式采集师生对教育云服务的满意度，另一方面可以用教育评价方法评价学生应用教育云平台后在技能和素养上的提升。

（三）教育云绩效评价目标

Bredrup提出绩效评价是在服务预期和战略目标范畴内，通过对服务过程和效果的量化评价，支持对服务过程的重整和持续改进。绩效是一种多维构建，测量的目标和因素不同，其结果也不同。因此要评价教育云服务的绩效，首先要确定教育云服务绩效评价的目标。而教育云服务绩效评价目标一是来源于教育云服务的战略目标，一是来源于对绩效本身的界定。

《教育信息化十年发展规划（2011-2020年）》中提出，“促进教育公平、提高教育质量”是教育信息化的两大战略目标，而教育云是实现“资源配置与服务的集约化发展途径”。教育云服务的战略目标一方面是要以海量资源和支撑服务提升教育质量，另一方面是要以云服务的泛在性促进教育公平。要评价教育云服务的绩效，既要评价教育云服务对教育质量的提升作用，又要评价教育云服务对教育公平的促进作用。

对绩效的界定也影响教育云服务绩效评价目标的设定。当前对绩效的界定存在两种不同的观点，一种是“结果的绩效观”，Bemardin认为绩效是“在特定的时间里，由特定的工作职能或活动产生的产出记录”；一种是“过程的绩效观”，Campbell认为绩效是“与组织目标有关的行动或行为，能够用个人的熟练程度来测量”。从这两种不同的绩效观出发，既要评价师生应用教育云服务开展教育教学的过程，又要评价师生应用教育云服务的结果。

从教育云服务的战略目标和绩效观这两个维度构建教育云绩效评价的目标矩阵，如表1所示。从过程的绩效观看，绩效是教育云服务于师生各类教育教学活动的数量；从结果的绩效观看，绩效是教育云应用于教育教学后产生的效果，直接的体现是师生等用户对教育云服务的主观满意度，间接的体现是学生知识、能力、素养的提升。在学生知识、能力、素养的提升中，教育云服务只是其中的一个因素，本研究以师生的用户满意度作为评价教育云服务效果的目标。

（四）教育云服务绩效评价指标

为表1中的四个象限分别设置一级指标，包括：教育云平台活动量（I₁）、教育云平台活动均衡性（I₂）、教育云平台应用满意度（I₃）、教育云平台应用满意度均衡性（I₄）。针对教育云平台活动量（I₁），对图1中的5类教育云服务的活动设置二级指标，分别测量教育云服务中资源（I₁₁）、课堂教学（I₁₂）、自主学习（I₁₃）、协同教研（I₁₄）和教学管理（I₁₅）的活动量。针对教育云平台活动均衡性（I₂），同样对5类教育云服务的活动设置相应的均衡性评价指标（I₂-I₂₅），用于测量各区各校应用各类教育云服务的差异。针对教育云平台应用满意度一级指标（I₃），分别测量学生（I₃₁）、教师（I₃₂）、管理者（I₃₃）和家长（I₃₄）对教育云服务的满意度。而针对教育云平台应用满意度均衡性（I₄），同样测量4类用户的满意度均衡性评价指标（I₁₄-I₄₄）。教育云服务绩效评价的指标体系如图3所示，共包含4个一级指标、18个二级指标。

从评价指标数据采集和加工的视角，二级指标（I₁₁-I₁₅）和（I₂₁-I₂₅）均采用教育云平台数据采集和加工的方式评价，一旦数据输人和数据加工方法确定，同一个区域内的评价结果就具有稳定性和区分度，也就具有较好的信度和效度；二级指标（I₃₁-I₃₄）和（I₄₁-I₄₄）则采用抽样问卷调查的心理学测量方式评价，通过选择验证过的满意度量表和选择具有代表性的教师、学生、家长和管理者作为样本来保障指标的信度和效度。

三、教育云平台大数据加工方法

（一）教育云平台大数据

为克服传统方法难以精准评价教育云服务过程绩效的问题，本研究选择教育云平台数据作为教育云过程绩效评价的数据来源。教育云平台蕴含了海量的过程数据，包括：师生的教学过程数据、学生的自学过程数据、教师的备课和协同教研过程数据、学校管理流程数据和“师一生一家一校”之间的交互过程数据，这些异构数据具备“海量、多样化、真实性、高速增长、价值稀疏”的“5V”特性。同时，教育云平台数据还是师生在教育云上开展各类教育教学和教育管理活动的数据再现，是教育云服务绩效评价的理想评价证据和数据来源。教育云平台数据包括基础数据和行为数据两大类，如表2所示。

（二）教育云平台大数据加工方法

以教育云平台数据为对象，面向教育云绩效评价指标，本研究设计了面向评价的大数据加工方法体系，主要包括平台活动识别和交互网络测算两类加工方法。

1.教育云平台教学活动识别

在圖3提出的教育云绩效评价指标体系中，二级指标（I₁₁-I₁₄）和（I₂₁-I₂₄）是评价师生在教育云中的教与学活动量与分布，因此要从表2所采集的云平台大数据中包含的操作和动作中识别出课堂教学、自主学习、备课教研等活动。对具体教学活动的识别需要以教育云上该活动的模式和规律为基础，设计专门的识别算法。教育云平台课堂教学活动识别算法识别出的一个课堂教学活动过程如下页表3所示，其中包含了教师的课前准备活动、录课准备活动、作业讲解、教师板书讲解、学生抢答、学生应用移动终端参与随堂测试等操作。

2.教育云平台交互网络测算

教育云不仅通过资源和工具支持开展教学和学习活动，还支持教师和学生在线开展学习交互、教研交互，而简单判断用户间的交互量并不能完全体现教育云上自主学习水平和协同教研水平，应从社会网络的视角计算教育云平台的交互水平。一是以师生、生生间的话题回复，构造自主学习的关系网络；二是以师师间的话题讨论，构造协同教研的关系网络。以教育云平台协同教研交互网络为例，本研究通过交互网络测算方法绘制的师生交互关系网络如图4所示，其中平均度为3.446，而网络密度仅为0.0016，表明在该实例中，师生的交互水平较低。

四、基于大数据的教育云平台绩效评价实例

从2017年9月到12月，研究者作为独立第三方对W市的教育云平台开展了绩效评价。通过对本次评价的背景、数据采集过程、数据加工过程和评价结论的描述，验证本研究提出的基于大数据的教育云平台绩效评价模型、指标与方法的科学性与可行性。

（一）实例背景

W市是国家数字教育资源公共服务平台规模化应用专项的试点城市，W市通过购买服务的方式向全市基础教育师生提供免费服务，旨在通过中小学师生的规模化教育云应用，促进教育教学和教育管理方式的变革，提升教师专业能力和学生综合素养。为推广教育云服务，W市发布了《教育云示范工程实施方案》等政策文件，还成立了教育云专班，专门推进教育云。W市教育云平台提供了包括海量教育资源、课堂教学、自主学习、协同教研和学校管理5大类服务，提供服务的资源总量超过450万条，还提供了包括集成授课服务、自主学习服务、备课教研服务和学校管理服务在内的教育教学和教育管理支持服务。为了掌握当前W市教育云服务应用及效果，W市教育局引入独立评价第三方对W市教育云服务开展绩效评价。

（二）W市教育云评价大数据采集

为开展W市教育云平台的绩效评价，本研究共采集了包括10大类、139个数据表（含Nosql数据集），共126199265条数据。还通过抽样问卷调查的方式，采集了涵盖全市各区域中小学校长、教师、学生和家长共31749个样本的调查数据，其中有效问卷31670份，有效率为99.75%，如下页表4所示。

（三）W市教育云评价数据加工

通过对表4描述的教育云平台评价大数据的加工，得到W市教育云平台的评价指标如表5所示。其中，用各区分布的基尼系数表示W市教育云分布的均衡性。

（四）W市教育云评价结论

面向如前面表1的教育云评价的目标矩阵，对W市教育云的评价从教育云提升教育质量、促进教育公平以及W市教育云的应用过程和应用结果这四个维度得出评价结论。教育云提升区域教育质量的过程指标如图5（a）所示，W市教育云应用量以资源服务活动最为突出，接近人均1次；而教育云支持课堂教学和自主学习的活动水平较为接近，均超过人均0.5次；而教育云支持协同教研和教学管理的活动水平都较低。教育云促进教育公平的过程指标（基尼系数）如图5（b）所示，由于基尼系数介于0-1之间，基尼系数越大，表示不平等程度越高，表明W市各区教育云应用活动差距都较大（>0.4），而教育云服务课堂教学、自主学习、协同教研和管理服務更是差距悬殊（>0.5）。从教育云提升教育质量来看，W市教育云服务的绩效主要体现在资源服务、课堂教学服务和自主学习服务等在教与学中的应用；而从教育云促进教育公平来看，各区域间应用差异较大，说明教育云服务不仅没有促进教育公平，反而扩大了各区间的差距。

通过对W市全部区域内学生、教师、家长和管理者的大范围抽样调查，可以得出教育云服务绩效的结果满意度评价指标，如图6所示。其中教育云提升区域教育质量的结果指标如图6（a）所示，学生和教师的平均满意度均高于80%，而管理者和家长的平均满意度均高于70%，表明在教育云推广的阶段，师生切实感受到教育云带来的变革，从而产生了较高的满意度评价，而管理者和家长参与教育云的程度较低，满意度也相对较低。教育云促进教育公平的结果指标（基尼系数）如图6（b）所示，表明W市各区学生、教师、家长、管理者对教育云的满意度非常平均（<0.1）。结果表明，W市学生、教师、家长和管理者越多接受教育云服务就能产生越高的满意度，而各区学生、教师、家长和管理者的满意度几乎没有差异。

通过对W市教育云服务的绩效评价发现，W市教育云服务在部分服务内容上（资源服务、课堂教学、自主学习）已经形成了规模化应用，产生了显著的过程绩效，而且用户对教育云服务的满意度超过70%，取得了较好的满意度效果。但在教研服务和管理服务上应用绩效还不高，加之各类应用在各区域间应用不均衡，表明W市教育云服务的应用绩效仍有提升的空间。从对W市的评价结果看，由教育行政部门主导的教育云应用绩效取决于教育行政部门的推进力度，在某些区域、某些应用上推进力度较大，其应用绩效就高；在某些区域、某些应用上推进力度不够，其应用绩效就较低。但不论是应用绩效高还是应用绩效较低的区域，由于教育行政部门的政策驱动，用户满意度都普遍较高。教育云服务的应用绩效不仅应来源于教育行政部门的推动，还应来源于师生和管理者对教育云服务产生的应用黏性。此外，从评价目标、评价指标和评价方法设计上看，教育云服务的过程绩效能较好地反映教育云服务的应用水平，而主观满意度很难在外部因素的影响下有效反映教育云服务的应用结果和均衡性。

五、总结与展望

面向教育云平台的绩效评价问题，本研究以教育云平台大数据为主要评价证据，设计了一套教育云服务绩效评价的指标体系和数据加工方法，并用实例验证了本研究所提出的教育云平台绩效评价指标体系的科学性和可行性。一方面，本研究旨在为我国各区域教育云的绩效评价提供一种可行的解决方案，为各区域教育云服务的购买决策提供有效的支持；另一方面，本研究还率先把教育云作为一项教育公共服务，对教育云服务的绩效评价问题开展专门的研究。受篇幅的限制，本研究在教育云平台大数据的加工算法方面未能展开描述。在后续的研究中，笔者将从教育云服务数据的清洗、加工、挖掘方法等方面开展进一步的研究。