三大MOOC平台Coursera、EdX和Udacity的可用性比较研究

2016-05-30张岳李德高

中国教育信息化·基础教育 2016年4期

关键词：可用性可靠性满意度

张岳+李德高

摘要：文章对三大MOOC平台（Coursera、EdX和Udacity）进行网站可用性测试，从可靠性、可学习性和满意度三个角度来研究比较三个网站的可用性，找出每个网站的可用性缺陷，最后给出了提高网站可用性的建议和方法。

关键词： MOOC；可用性；可靠性；可学习性；满意度

中图分类号： G434 文献标志码：A 文章编号：1673-8454（2016）08-0001-04

一、研究背景

在当今的网络时代，大规模在线开放课程（Massive Open Online Course简称MOOC）的普及使地域、年龄、语言、文化、种族、资本、收入等因素不再成为学习者接受课堂教学的障碍。作为一种新型技术，MOOC已经成为主要教学手段之一（郝丹，2013），受到了许多国家高等教育者的青睐（王文礼，2013；王颖等，2013）。

MOOC平台的显著特点之一是开放共享（陈肖庚，王顶明，2013）。具有较强可用性（usability）的MOOC平台才具有较强的开放共享功能（M. Clarà， E. Barberà，2014）。可用性一词源于上世纪80年代早期，指特定使用者在特定环境中完成特定任务时对所使用系统或产品的效能、效率与满意度的评价（ISO，1998）。不同学者、组织从技术、用户使用、用户满意度等方面对网站可用性虽然提出了不同的理解（雷银枝，2011），而Nielsen（1994）提出的衡量网站可用性的五个方面得到普遍认可，它们是可学习性（用户第一次进入网站时需要多长时间来完成任务）、使用效率（用户熟悉这个网站后需要多长时间来完成任务）、可记忆性（用户再次访问网站时是否需要重新学习网站操作）、可靠性（用户访问网站过程中是否发生技术故障）和用户满意度（用户是否喜欢或者愿意继续访问这个网站）。

10多年来，国内学者参考Nielsen（1994）调研结果，并主要采用访谈法（段江玲，王峰，2011）、问卷调查法（雷刚，2010；左伍衡等，2013）、启发式评估（党洪莉，陈玉顺，2007；张敏，2007）、可用性测试（魏晓玲，2010；赵宇翔，2007）、日志分析法（赵程程等，2004；黄晓斌，邱明辉，2011）、专家调查法（张洪梅等，2009；贺桂和等2010）等，对网站可用性进行了大量研究，但人们对网站可用性的内涵还没有形成一致认识。导致这种局面的原因很多，例如定性研究居多定量研究不足和评价指标过于多元化等（韩玺，2014）。但我们认为，还有一方面的原因是网站可用性的相对性。网站是一个复杂的工程，对于特定的学习者群体，不同MOOC平台可能在可用性的不同方面存在差异。也就是说，对于不同的MOOC平台，同一学习者群体完成不同任务操作的相对效率会有显著性差异。为验证这一假设，我们拟对世界上的三大MOOC平台（Coursera、EdX和Udacity）进行一项实验研究。

二、研究方法

被试是在浙江大学紫金港校区随机招募的32名在校学生，其中男生16名、女生16名，学历层次博士生2名，硕士生5名，本科生25名，平均年龄为22岁。

实验在多媒体教室里进行，被试根据提示先后进入Coursera、EdX和Udacity三个MOOC平台，并分别完成三个不同的任务：在网站上注册一个帐号、查找并进入某一门课程介绍页和打开第一个课程视频。

我们用Camtasia Studio6.03记录每位被试的操作过程，计算每位被试完成每一个任务所需要的时间。实验结束后，被试填写网站满意度测试7-点量表（1表示非常满意，7表示非常不满意）。

三、结果分析

我们计算32个被试在不同网站完成不同任务操作的成功率、满意度和所花费的时间，结果如表1所示。

1.可靠性分析

可靠性是指用户在访问网站过程中是否有错误发生。我们用任务完成成功率作为衡量网站可靠性的指标。Coursera、EdX和Udacity在三个任务上的平均成功率分别为93%、90%和83%，所有的值均高于可接受的最小阀值70%（K. Maxwell，2002），说明三个网站的可靠性都比较高。卡方检验表明，不同网站三个任务的平均成功率没有显著性差异，X2（2） = 0.594， p = 0.743，说明从可靠性角度来说，三个网站是没有差别的。对不同网站不同任务的成功率进行独立性检验表明，被试完成不同任务的成功率与网站无关，X2（4， 797） = 2.486， p = 0.647，Cramers ф=0.056，更印证了刚才卡方检验的结果。

2.可学习性分析

对于一个被试，如果他/她在任何网站完成任何任务不成功，那么相应数据将不参与运算。我们获得20个被试的有效数据，并对他们在不同网站完成不同任务所花费时间进行3（网站：Coursera、EdX和Udacity）×3（任务：注册、查询搜索、视频学习）二因素重复测量方差分析，结果表明，网站主效应显著F（2， 38） = 4.275，p = 0.021，ηp2 = 0.184；任务主效应显著F（2， 38） = 3.437，p = 0.042，ηp2 = 0.153；网站和任务交互作用显著（如图1所示），F （4，76）=29.197，p = 0.000，ηp2=0.606。

简单效应分析表明，学生成功完成注册任务所需要的时间，Coursera和EdX有显著性差异，t（19） = -4.615，p = 0.000； EdX和Udacity有显著性差异，t（19） =4.713，p = 0.000；Coursera和Udacity没有显著性差异，t（19） = -0.429，p = 0.672。也就是说，学生首次访问Coursera和Udacity网站并完成注册的时间要快于EdX，而他们两者之间是没有显著差别的。周俊（2012）提到注册信息应该最简化和层次化，首次注册时应该简化用户必须输入的信息，保证用户能够注册成功，然后再考虑分步骤实现其它信息的收集，把繁琐的注册环节分成多个部分完成，有利于分散用户的抗拒情绪。观察学生操作视频，我们发现Coursera和Udacity的注册功能有相似之处，两者需要学生提交的表单数量都比较少，只有最简单的用户名、用户邮箱、用户密码等4个选项，填写表单需要耗费的时间都比较短。而EdX上需要提交的表单有9个选项，大量的输入项增加用户注册时的难度，耗费更多的时间和精力，更严重的是增加了注册的心理负担，成功注册的概率也随之下降。

学生成功完成查询搜索任务所需要的时间，Coursera和EdX没有显著性差异，t（19） = -0.258，p = 0.799；EdX和Udacity有显著性差异，t（19） = -5.055，p = 0.000；Coursera和Udacity有显著性差异，t（19） = -4.083，p = 0.001；也就是说，学生首次进入Coursera和EdX网站，查询搜索一门课程所需要的时间比在Udacity上要快。观察操作视频，三个网站都提供了根据发布时间早晚、课程类别、课程语言、课程学校等缩小搜索范围的途径，区别在于Coursera和EdX的搜索框放在首页最醒目的位置，而Udacity是将搜索框放在课程列表页。还有学生在Udacity上查询搜索课程时，遭遇找不到该课程和点击搜索提交按钮无响应等困难，最终不得不在课程列表里一页一页去浏览，如果能够提供必要的帮助和提示，学生也不会因此而放弃。Cockrell和Jayne（2002）也持有类似的观点，他们认为网站内搜索应该放在醒目的位置，并且尽可能的提供更多的途径和帮助指导。

学生成功打开该课程第一个视频所需要的时间，Coursera和EdX没有显著性差异，t（19） = 1.888，p = 0.074；EdX和Udacity有显著性差异，t（19） = 7.795，p = 0.000；Coursera和Udacity有显著性差异，t（19） = 8.799，p = 0.000。也就是说，学生在Udacity上打开一门课程开始学习的时间要快于Coursera和EdX。观察操作视频，我们发现虽然Coursera和EdX打开视频的时间是没有差异的，但原因却是不同的；在Coursera点击一门课程开始学习时，会弹出如何获取课程认证证书的提示框，引导学生至缴费支付页面。等学生明白课程学习是免费的时候，再次返回课程内容页，已经耗费了大量的时间；而在EdX，学生耗费太多的时间用于熟悉课程界面，因为视频链接不够显眼又缺少特殊标记。

3.用户满意度分析

同样，对20个有效被试的满意度分数进行3（网站：Coursera、EdX和Udacity）×3（任务：注册、查询搜索、视频学习）二因素重复测量方差分析表明，网站主效应显著F （2， 38）=11.614，p = 0.000，ηp2 = 0.379；任务主效应显著F （2， 38）=7.723，p = 0.002，ηp2 = 0.289；网站和任务交互作用显著（如图2所示），F （4，76）=9.266，p = 0.000，ηp2 = 0.328。

简单效应分析表明，学生对完成注册任务的满意度，Coursera和EdX有显著性差异，t（19） = -7.443，p = 0.000；EdX和Udacity有显著性差异，t（19） = 5.286，p = 0.000；Coursera和Udacity没有显著性差异，t（19） = -1.437，p = 0.167。就注册功能来说，学生对Coursera和Udacity比较满意，而对EDX比较不满意。Donald（2005）提到，真正符合用户需求的注册界面应该与用户的心理模型相匹配。注册环节是对网站连续性操作的中断，本来就是不友好的行为，因此更需要通过改善来提高用户的满意度。查看满意度量表上的反馈意见，学生反馈Coursera和Udacity注册过程简单明了，而EdX存在需要填写的选项过多，没有及时提示输入信息是否可用，缺少必要的提示和帮助等问题，需要进一步优化和改善。

学生对完成查询搜索任务的满意度，Coursera和EdX有显著性差异，t（19） =-3.559，p = 0.002；EdX和Udacity没有显著性差异，t（19） = -0.129，p = 0.899；Coursera和Udacity没有显著性差异，t（19） = -2.819，p = 0.011。在查询搜索方面，学生对Coursera的满意度最高。尽管学生在Coursera和EdX上完成查询搜索任务所需要的时间是相同的，但是学生对EdX页面的不满意度要高于Coursera。从满意度问卷里我们找到了原因，学生抱怨EdX的操作不太符合自己习惯、缺少提示和帮助，以及内容排版比较杂乱。ExcimireyAmer（2013）的研究也表明影响用户满意度的主要因素依次是可用性、帮助提示以及内容质量。

学生对进入课程打开学习视频的满意度，Coursera和EdX没有显著性差异，t（19） = -0.471，p = 0.643；EdX和Udacity没有显著性差异，t（19） = 1.238，p = 0.231；Coursera和Udacity没有显著性差异，t（19） = 1.116，p = 0.278。从课程视频学习这方面来看，三者的满意度是没有差别的。

四、结论

用户喜欢能够快速上手的网站，如果一个网站让用户感到疑惑或者强迫用户长时间学习，这就意味着用户将会放弃该网站而选择其他同类网站（Nielsen，2007）。将网站可用性测试的方法用于MOOC平台的研究，可以让我们更好的了解学生，只有在了解学生的基础上，才能知道学生喜欢什么样的MOOC平台，需要什么样的课程。

我们用网站可用性测试的方法对Coursera、EdX和Udacity进行了分析，从可靠性、可学习性和满意度三个角度来研究网站的可用性。比较三个网站三个任务三个角度的排名，我们得出结论：Coursera的可用性优于Udacity和EdX。当然，三个网站在可用性方面都存在需要改进的地方：Coursera在视频学习页面会弹出令人讨厌的提示框，需要重新设计获取课程认证证书的流程以及展现方式；EdX的注册功能需要向Coursera和Udacity学习，通过最简化和层次化来提高可用性。另外，EdX在页面的设计、布局和帮助方面也需要加强和优化；Udacity最大的问题出在搜索功能上，搜索框不够醒目，缺乏足够的帮助。每个网站并不是一开始就是完美的，需要通过不断的可用性测试来发现问题并解决问题，来提高网站的可用性，这是一个复杂的整体工程。

本次研究的创新之处是将数据分析的方法引入网站可用性的研究，弥补了网站可用性研究定性研究居多定量研究缺少的不足。当然本次研究也有缺陷之处，由于时间和条件的限制，本次实验未能进行全面的可用性研究，缺少网站的效率和可记忆性方面的数据。

参考文献：

[1]Cockrell Barbara，Jayne Elaine.How do I find an article？ Insights from a web usability study[J]. The Journal of Academic Librarianship，2002，（3）.

[2]Donald Norman .emotiomal design：Why We Love Everyday Things[M].Basic Books，2005.

[3]ExcimireyAmer Al-Manasra. Investigating the Impact of Website Quality on Consumers Satisfaction in Jordanian Telecommunication Sector[J] .Arab Economic and Business Journal，2013，（8）.

[4]ISO 9241-11：1998. Ergonomic requirements for office work with visual display terminals （VDTs） -- Part 11： Guidance on usability[S]. 1998.

[5]K.Maxwell.Applied Statistics for Software Managers[M].Prentice Hall ，2002.

[6]M.Clarà， E. Barberà.Three problems with the connectivist conception of learning[J]. Wiley Journal，2014，（3）.

[7]Nielsen Jakob. Usability Engineering[M] . Morgan Kaufmann Publishers，1994.

[8]Nielsen Jakob，Pernice，Kara. Eyetracking Web Usability[M] . Peason Education，2007.

[9]陈肖庚，王顶明. MOOC的发展历程与主要特征分析[J]. 现代教育技术，2013，（11）.

[10]党洪莉，陈玉顺.可用性评价之启发式评价法在图书馆网站设计中的应用[J].图书馆论坛，2007（4）：61-63.

[11]段江玲，王峰.房产网站搜索可用性研究——以搜房网为例[J].艺术与设计：理论版，2011（11）：110-112.

[12]韩玺.国内网站可用性评价研究现状述评[J].图书馆学刊，2014，（1）.

[13]郝丹. 国内MOOC研究现状的文献分析[J]. 中国远程教育，2013，（11）.

[14]贺桂和，谭春辉，邓艳华.C2C 电子商务网站可用性评价指标体系设计研究[J].荆楚理工学院学报，2010（12）：60-64.

[15]黄晓斌，邱明辉.日志分析法在数字图书馆可用性评价中的应用[J].情报理论与实践，2011（3）：62-65.