APP下载

学习者和管理者视角下现代远程教育服务质量评价体系研究

2016-12-12张庆堂曹伟

中国远程教育 2016年10期
关键词:评价模型指标体系

张庆堂+曹伟

【摘 要】 文章提出了以现代远程教育学习者和管理者为评价主体,以学习者感知绩效服务及学习中心固有服务能力和水平为评价内容的服务质量理论模型,通过初设指标体系及初始问卷、预调查及问卷项目提炼、正态分布及项目区分度分析、信度效度及验证性因子分析,验证了理论模型、指标体系和问卷项目的拟合及一致性,从而建立了以学习者感知服务质量和管理者组织支撑质量为一级指标,“有形性、可靠性、响应性、保障性、关怀性和学习资源有效性”及“组织氛围、内部管理、人员保障、业务流程、设施维护和物质性输入”为二级指标的质量评价体系。同时,开展了学习中心服务质量评价实证研究。研究结果表明,该评价模型具有理论科学化和实践可操作的双重特征、采集数据符合正态分布、问卷项目区分度高、内部一致性信度高、结构效度好、模型拟合程度好等特性,指标体系能真实有效反映学习中心服务质量,为区域性公共服务体系学习中心服务质量评价提供了可借鉴的模式。

【关键词】 学习中心;学习者感知服务质量;管理者组织支撑质量;评价模型;指标体系

【中图分类号】 G420 【文献标识码】 A 【文章编号】 1009—458x(2016)10—0044—07

党的十七大报告指出:“发展远程教育和继续教育,建设全民学习、终身学习的学习型社会”(转引自胡锦涛,2007)。党的十八大报告指出:“积极发展继续教育,完善终身教育体系,建设学习型社会”(转引自胡锦涛,2012)。现代远程教育作为构建终身学习体系的重要载体,在当今社会已日益凸显其重要作用,但在其发展的整个过程中,规模与规范之间的矛盾、数量与质量之间的质疑成为现代远程教育发展的瓶颈和软肋,阻碍了现代远程教育健康、可持续发展,社会大众和消费者也对现代远程教育的质量和文凭存有疑虑与诟病,认为具有时代特征的现代远程教育作为新型的继续教育形式其质量还有待规范和提高。因此,现代远程教育教学及支持服务质量是确保我国现代远程教育成功的关键,正确的质量评价是现代远程教育健康、可持续发展的关键所在。本文以现代远程教育终端学习中心为切入点,对现代远程教育质量评价体系进行了探索和研究。

一、文献综述

在研究领域,国内外专家学者对现代远程教育质量开展了广泛的理论研究和实证探索。如古勒(Gooler,1979)提出了远程教育项目评估的若干准则(转引自丁兴富,等,2006,p. 195);鲁姆勃尔(Rumble,1981)设计了一种基于“四项测试”的远程教育系统评估方案(转引自丁兴富,等,2006,p. 195);密斯(Miss,1987)提出了远程教育评估的7项标准(转引自丁兴富,2002,p. 322-332);丁兴富(2001)提出远程教育质量保证的9大共同影响因素;罗洪兰等(2001)对课程质量评估和教学过程检查进行初步研究,建立了远程开放教育质量保证体系标准;陈祎等(2002)指出远程教育质量保证的指导方针是基于远程教育质量保证的系统观,要通过控制系统流程中的每个环节来保证整个系统的质量;徐辉富(2009)提出了基于学生“学”的质量保证框架;翟彦卿(2013)利用德尔菲法、层次分析法和模糊综合评价法建立了现代远程教育质量评价模型,并提供了一种评价建模思路。

张屹(2007)认为现代远程教育已经历了从完善系统平台、课件制作开发为中心的初级阶段,过渡到了以学习中心标准化建设、学习者感知和体验服务为中心的发展阶段;对于现代远程教育的质量也开始由初期的发展质量观、中期的多样化质量观等逐渐过渡到了现阶段的服务质量观,现代远程教育公共服务体系、试点合作高校及校外学习中心等各个层面都在强调标准化建设和支持服务质量等问题。黄复生(2011)揭示了教育质量的服务本质,认为教育就是为学习者提供教育服务,学习者是教育的服务对象。现代远程教育作为新形势下继续教育的一种形式,针对师生准分离的特征更强调教育的服务本质。丁雪华等(2013)也认同远程教育服务质量观,认为现代远程教育服务质量是现代远程教育满足学习者显性和隐性需求能力的特性之和。

笔者认同张屹等专家关于现代远程教育服务质量观的观点,认为从学习者显性感知和管理者隐性支撑两个方面来保证和评价现代远程教育学习中心服务质量更为科学,本文以此为切入点探析学习中心学习者和管理者视角下现代远程教育服务质量评价体系研究。

二、理论模型

格鲁诺斯(Gr?nroons,1984)认为服务质量是由顾客的服务期望与实际服务感受之间的比较决定的,是顾客在服务传递过程中形成的一种感知,提出了感知服务质量模型。PZB(Parasuraman et al.,1985)认为服务质量取决于顾客期望质量与实际感知质量之间的差距程度,提出了服务质量差距SERVQUAL模型。克罗宁和泰勒(Cronin&Tayor,1992)则认为在同一时刻对顾客的期望和感知绩效同时进行度量是不科学的,提出了基于服务感知绩效来测量服务质量的服务绩效SERVPERF模型。教育部教育信息化标准委员会(2003)发布的《网络教育服务质量管理体系规范》明确了现代远程教育服务质量评价的参照模型。

胡士传(2015)、李晓伟(2009)及程龙生(2011)认为从服务感知和服务能力水平两个层面来评价服务质量更为科学和合理,仅以顾客显性的感知绩效质量为基础,不考虑组织机构隐性的服务能力和水平是不科学的,具有一定的片面性,不利于组织机构发现不足与差距。因此,合理的服务质量既要评价顾客感知绩效层面的显性质量,也要评价服务组织机构固有的服务能力和水平,即组织支撑的隐性质量。

现代远程教育公共服务体系学习中心服务质量理论模型在克罗宁和泰勒服务绩效模型的基础上,以曹伟等(2014)明确的“有形性、可靠性、响应性、保障性、关怀性和学习资源有效性”作为感知绩效层面的影响要素,增加组织支撑环节的影响因素。学习者感知服务质量CPQ(以下简称“CPQ”)直接由感知服务绩效SERVPERF模型测量,管理者组织支撑质量OSQ(以下简称“OSQ”)由专家访谈、资料检查和赋值打分综合评价。该模型突破了以往对服务质量的评价仅仅从学习者感知角度出发的局限性,结合了学习中心管理服务能力和水平,即学习者无法直接感知,但对服务质量有支撑性作用的内部管理质量体系。本文借鉴过程管理4M1E“人、机、料、法、环”的概念建立组织支撑质量的影响要素(转引自程龙生,2011,p.49-51),设计了“组织氛围、内部管理、人员保障、业务流程、设施维护和物质性输入”作为组织支撑质量的影响要素,理论模型(转引自曹伟,2015,p.50-56)如图1所示。

三、研究准备

(一)初设指标体系及初始问卷

根据学习中心服务质量评价理论模型,保障初设指标的科学性和规范性,笔者邀请了现代远程教育公共服务体系、合作高校网院、当地教育管理部门及区域性学习中心等作为专家组成员。初设一级指标CPQ和OSQ,CPQ含“有形性、可靠性、响应性、保障性、关怀性和学习资源有效性”六个二级指标,OSQ含“组织氛围、内部管理、人员保障、业务流程、设施维护和物质性输入”六个二级指标。初始问卷设问卷说明、调查者基本信息、问卷量表三部分,问卷量表由CPQ和OSQ二级指标转化而成,采用李克特五级量表,分“非常重要、重要、较重要、一般、不重要”五个级别,赋值“5、4、3、2、1”(转引自李艳明,2009,p.31-34)。

(二)预调查及问卷项目提炼

2015年5-7月在无锡电大江阴分校奥鹏远程教育学习中心利用期中教学检查、考前辅导和毕业论文辅导等环节开展小范围预调查,问卷对象为学习中心第二、三、四、五学期的学习者。CPQ问卷发放/回收/有效份数为300/272/260,有效率86.7%,OSQ问卷发放/回收/有效份数为30/30/30,有效率100%。本文采用算术平均值、标准差和变异系数提炼问卷项目,经专家组成员一致确认,将问卷项目算术平均值≥3.5且变异系数≤0.3的定义为重要项目,如问卷项目算术平均值<3.5,则根据变异系数大小决定(转引自曹伟等,2014,p.69-75),最终提炼CPQ六维度52个指标,OSQ六维度42个指标。

(三)正态分布及项目区分度分析

由于CPQ采集样本由简单随机抽样确定,存在性质差别和容量较大等特点,为检验采集样本数据的有效性,对样本数据进行频率和正态分布分析,经统计采集样本数据符合正态分布要求,如图2所示。

采用项目分与总分相关法和高低组平均数差异检验法进行项目区分度分析,计算每个问卷项目得分与问卷项目总分的相关性,结果显示相关系数在0.411-0.535之间,呈现显著相关,各问卷项目区分度较好;同时将问卷得分按高低排序,得到被调查者在每个项目得分平均数差异的显著性检验,如果项目的sig达到显著性水平(<0.05或<0.01),即表示这个项目能鉴别不同调查者的反应程度,项目的鉴别力越大,问卷项目的质量越好(转引自一帆,2010,p.36),不需要删除问卷项目。

(四)信度、效度及验证性因子分析

问卷信度采用Cronbach内部一致性信度Alpha(α)系数测量,据古艾福德(Guieford,1965)和张润晶(2010)等观点,由SPSS20.0信度分析各维度α系数与问卷总α系数,CPQ和OSQ问卷总α系数分别为0.911和0.913,均大于0.9,问卷整体信度较高,数据稳定性较强。效度分析CPQ和OSQ的KMO值为0.912和0.924,Bartlett球形检验值为5687.246和2624.452,P(sig.)均<0.05,问卷适合做因子分析,采用主成分分析法抽取主因子,按最大方差法旋转,以特征值大于1为标准抽取主因子,得到6个主因子,累计贡献率达到75.478%和74.387%,均大于50%。根据因子分析结果,在学习中心服务质量评价理论模型、初设指标体系及问卷项目提炼的基础上,运用SPSS20.0和AMOS20.0进行验证性因子分析,在验证过程中选用卡方值X2、自由度df、卡方自由度比X2/ df、非规准适配指数TLI、比较适配指数CFI、渐进残差均方和平方根RMSEA等指标作为检验标准,统计结果如表一所示。各项指标的拟合指数均通过检验,模型的拟合程度较好,问卷的结构效度较好,无须继续修正(转引自侯杰泰,等,1996,p.73-81)。

四、研究过程

(一)正式问卷调查

根据服务质量评价理论模型,正式问卷调查由定量和定性两部分组成,CPQ问卷由李克特十级量表构成(转引自程龙生,2011,p.49-51),于2015年9-12月在无锡市广播电视大学江阴分校奥鹏远程教育学习中心采集样本,采集对象由简单随机抽样法确定,问卷调查历时4个多月,以学习中心在籍1800多名和已毕业近2000名学习者为研究对象,选取样本数/收回/有效问卷数为:在籍大一300/267/266,在籍大二300/259/256,在籍大三300/273/271,已毕业生300/223/219,共计发放/回收/有效份数为1200/1022/1012,有效率84.3%;男性/女性比例为56.7%/43.3%,大专/本科比例为54.9%/45.1%,专业涵盖文史、理工及师范等大类,样本分布合理,代表性强。

OSQ打分采用语义等级赋值法(转引自程龙生,2011,p.64-71),专家组成员通过学习中心现场考察、资料检查和座谈访谈等环节,根据语义等级划分“很好、好、一般、差、很差”五个等级,赋值“5、4、3、2、1”,专家依据学习中心检查与访谈结果,根据等级定义分别赋值,发放问卷/回收/有效份数为30/30/30,有效率100%。

(二)服务质量分析

依据评价模型,学习者感知外部绩效服务质量CPQ和管理者组织机构内部支撑质量OSQ加权相加之和得到学习中心服务质量SQ。

式中为学习者感知绩效服务质量,为管理者内部组织支撑质量,为维度权重,R为维度个数,m为维度下问卷项目个数,为学习者对第z个问卷项目感知绩效的平均值,n为有效问卷的份数,为专家成员对第z个赋值量表打分的平均值,n为专家打分的份数。

由于CPQ和OSQ在研究过程中采用不同的方法,因此必须独立评价学习中心CPQ和OSQ,如表二所示。

(三)服务质量评价

由于本文研究侧重点不同,未考虑CPQ和OSQ二级指标权重的影响,CPQ-SERVPERF评价和OSQ线性加权评价结果如图3、4所示。

据式(2)、(3),CPQ结果为=422.456,OSQ结果为=185.848,转化为百分制, =81.24和=88.50。

据式(1),无锡市广播电视大学江阴分校奥鹏远程教育学习中心服务质量总得分为=0.622×81.24+0.378×88.50=83.98,学习中心的CPQ整体满意度为81.24%,OSQ为88.50%,最终服务质量为83.98%。说明学习中心整体服务质量处于相对良好的区间,CPQ有进一步提升的空间。

1. CPQ-SERVPERF评价分析

如图3,CPQ-SERVPERF评价结果在6.000-10.000之间上下波动,幅度相对较大,学习者主观层面感知绩效服务差距较大,52个指标的平均值为8.124,指标体系中高于平均分值有28个,高于9.000有10个,低于7.000有9个,CPQ各维度评价分值(百分比)如图5所示。CPQ维度分值(百分比)由高到低依次为“保障性”>“可靠性”>“关怀性”>“响应性”>“有形性”>“学习资源有效性”,从维度差异看出:① 合作高校的学习资源在很大程度上影响了学习中心CPQ的分值;② 在学习中心“有效性”和“响应性”两个维度感知绩效分值较低,很大程度受依托建设单位绩效工资大环境的影响;③“关怀性”“可靠性”“保障性”分值较高,均高于。

2. CPQ指标分析

分值评价低于7.000的有“有形性”维度Q7(学习中心具有面向师生开放的图书室,配备相应的专业期刊杂志和参考资料)和Q8(学习中心有为学生服务的刻录、复印、打印及生活辅助等设施);“可靠性”维度Q6(学习中心管理人员督促并指导学习者参与网上答疑,效果良好);“保障性”维度Q18(学习中心有教学任务所需的实验实习条件和相应的管理与指导人员);“关怀性”维度Q6(学习中心引导学生使用公共数字图书馆、知网、奥鹏学吧等新媒体等);“学习资源有效性”维度Q1(奥鹏远程教育合作高校提供的课件内容实用、时效性强)、Q2(奥鹏远程教育合作高校提供学习资源丰富,微课、微信课程等形式多样化)、Q3(奥鹏远程教育公共服务体系提供的电子版及纸质教材与高校制作课件内容一致)和 Q5(学习中心提供部分拓展性的电子学习资源)。这9个感知服务质量指标表明学习中心在硬件和软件方面都有进一步提升的空间。

(1)在学习中心层面,学习中心在为学习者服务过程环节体现出的增值服务方面较为欠缺,在管理柔性环节提供给学习者的增值服务不足,在引导学习者参与网上答疑、体验数字图书馆、知网搜索、“奥鹏学吧APP”等方面还有待进一步关注和提升。另外,学习中心组织的“导学、助学、督学”三堂课及相关专业辅导课等电子拓展资料的共享和分享需要不断累积和迭代,学习中心需建立适合成人远程教育性质的实验实训场所,并聘请依托建设单位和企业高级工程师作为实验实训的指导老师,解决学习者“工学矛盾”“家学矛盾”和理论指导实践等方面的问题。

(2)在公共服务体系及合作高校方面,首先,高校学习资源课件在一定程度上需要及时更新,内容必须结合成人学习特点,体现出实用性和时效性;其次,奥鹏远程教育虽已开发出适合移动学习的“奥鹏学吧APP”,但是参与“奥鹏学吧”的学习者还是较少,关注“奥鹏教育微信公众号”的学习者更是寥寥无几;再次,合作高校提供的学习资源要尽可能支持电脑终端和移动学习,内容丰富饱满,MOOC、微课、碎片化学习资源等多种形式并存,以适合学习者个性化的学习需求;最后,奥鹏远程教育提供的电子版及纸质教材要尽可能与高校课件的教材一致,学习者在学习过程中根据学习视频或者PPT查找教材内容能够相吻合,以激发和提高学习者的兴奋点和学习热情,否则学习者就很容易出现懈怠或者放弃的情绪,直接影响学习者感知服务质量。

3. OSQ线性加权评价分析

如图4,OSQ线性加权评价分值在4.000-5.000之间波动,波动幅度较小,专家组成员客观评价组织支撑质量差距较小,意见趋于较为集中,42个指标平均分值为4.425,指标体系中高于平均分值有21个,低于4.000的有3个,OSQ各维度的均值较为一致,不再单独分析。

4. OSQ指标分析

分值评价低于4.000的分别有“内部管理”维度Q9(学习中心在推进“政校企”或“校校企”产学研合作方面有规划和举措,建立并开展远程教育实训基地建设)、“业务流程”维度Q5(各类学习资源提供及时,有引导学生线上使用网上学习资源和线下开展学习小组、实践活动等方面的措施,资料记载齐全)、“物质性输入”维度Q7(学习中心有主办高校教学任务所需的实验实习条件,并建有相应实验实训基地,同时配备完善相应管理与指导人员),主要原因是:虽然学习中心或者依托建设单位已有针对地方经济建设和产业结构转型等发展的目标及规划,在推进“政校企”或“校校企”产学研合作方面也有规划和举措,但在建立远程教育实验实训基地建设方面还有进一步提升的空间,应该做到结合奥鹏远程教育合作高校的专业特点建立相符合或相对应的实验实训基地,配备相应的管理及指导老师,以满足学习者理论指导实践环节的要求;学习中心应有引导学生网上答疑、安装“奥鹏学吧APP”和关注“奥鹏教育微信公众号”等相关的制度和政策,并有组织地开展学习小组活动、英语角社团活动、社会实践活动等的计划和规划,增加学习者的荣誉感和归属感。

五、研究结论

笔者首先在文献研究的基础上构建了以现代远程教育学习者和管理者为评价主体,以学习者感知绩效服务及学习中心固有服务能力和水平为评价内容的服务质量评价模型,该模型从学习者感知绩效服务和学习中心内部支持环境两个视角来衡量服务质量,突破了以往对服务质量评价仅仅从学习者感知服务视角出发的局限性,增加了学习者无法有效感知却对服务质量有支撑性作用的内部管理质量视角,内部组织支撑质量有助于学习者感知绩效服务的不断提升和改进,因此本文创新性地把组织支撑质量列入服务质量评价维度是非常有必要的。

其次,以学习中心学习者为评价主体开展了CPQ大规模正式问卷调查,以现代远程教育专家组为评价主体进行了OSQ访谈、材料查阅及问卷打分,对CPQ和OSQ的指标内容进行了分析研究,结果表明:该评价模型具有理论科学化和实践可操作的双重特征,符合采集数据符合正态分布、问卷项目区分度高、内部一致性信度高、结构效度好、模型拟合程度好等特性,指标体系能真实有效地反映学习中心服务质量。

最后,通过对无锡市广播电视大学江阴分校奥鹏远程教育学习中心服务质量的实证分析,构建了以现代远程教育管理者为视角的服务质量评价体系,以现代远程教育学习者为视角的服务质量标准体系,为进一步开展区域性学习中心服务质量评价研究提供了借鉴模式,为现代远程教育公共服务体系实践探索了“看得见、摸得着、说得清、可借鉴、可复制、可推广”的服务质量评价范例(转引自郝丹,等,2008,p.10-21;曹伟,等,2014,p.39-45)。

[参考文献]

曹伟,丁雪华. 2014. 现代远程教育公共服务体系学习中心PZB服务质量差距实证研究[J]. 开放教育研究(04):39-45.

曹伟,刘文君,丁雪华. 2014. 远程教育校外学习中心服务质量动态管理实证研究[J]. 中国远程教育(08):47-51,64.

曹伟,丁雪华. 2014. 社区教育服务质量评价模型及指标体系研究[J].中国远程教育(11):69-75,92,96.

曹伟. 2015. 社区教育服务质量评价与实证分析[J]. 中国远程教育(10):50-56,80.

陈祎,陈丽,尹丙山. 2002. 远程教育质量保证的系统观与评估方法[J]. 中国电化教育(12):55-59.

程龙生. 2011. 服务质量评价理论与方法[M]. 北京:中国标准出版社,49-51,64-71.

丁兴富. 2001. 国外远程教育评估研究及其主要成果——远程教育评估研究及其主要成果(1)[J]. 中国远程教育(03):4-9.

丁兴富. 2002. 远程教育学[M]. 北京:北京师范大学出版社,322-332.

丁兴富、张建华、谢洵. 2006. 网络远程教育的评估和认证[A]. 丁兴富、吴庚生. 网络远程教育研究[C]. 北京:清华大学出版社,195.

丁雪华,曹伟. 2013. 现代远程教育公共服务体系学习中心服务质量标准体系研究[J]. 广州广播电视大学学报(12):27-30,35,107.

郝丹,马琳. 2008. 数字化学习港:创新与挑战——第17次“中国远程教育学术圆桌”综述[J]. 中国远程教育(04):10-21.

侯杰泰,成子娟,钟财文. 1996. 结构方程式之拟合优度概念及常用指数之比较[J]. 教育研究学报(香港)(06):73-81.

胡锦涛. 2007. 中国共产党第十七次全国代表大会上的报告. [EB/OL]. http://cpc.people.com.cn/GB/64162/64168/106155/106156/6430009.html

胡锦涛. 2012. 中国共产党第十八次全国代表大会上的报告. [EB/OL]. http://cpc.people.com.cn/GB/64162/64168/351850/index.html

胡士传. 2015. 基于三因素模型的 IT 企业服务质量评价研究[D]. 西安:西安建筑科技大学,28-30,49-53.

黄复生. 2011. 远程学习服务质量的实证研究[M]. 上海:复旦大学出版社,47-58.

教育部教育信息化技术标准委员会. 2003. 教育信息化技术标准(CELTS-24)—网络教育服务质量管理体系规范(征求意见稿)[Z]

李晓伟. 2009. 基于马田系统的物业管理服务质量评价及应用[D]. 南京:南京理工大学,14-17.

李艳明. 2009. 基于PZB差距模型的服务质量评价方法研究[D]. 沈阳:东北大学,31-34.

罗洪兰,邓幸涛,杨亭亭. 2001. 中国电大远程教育质量保证体系及标准初探(下)[J]. 中国远程教育(12):20-22.

翟彦卿. 2013. 现代远程教育质量评价体系设计及实证研究[D]. 北京:华北电力大学,14-27.

徐辉富. 2009. 建立基于学的远程教育质量保证框架——ICDE质量评审的启发和思考[J]. 中国电化教育(2):40-44.

一帆. 2010. 项目的区分度[J]. 教育测量与评价(理论版)(02):36.

张润晶等. 2010. 教育信息化绩效评价问卷信度与效度分析[J]. 软件导刊·教育技术(09):69-71.

张屹. 2007. 网络教育服务质量管理体系规范研究[M]. 武汉:华中师范大学出版社,56-58.

Cronin,J.J.Jr. &Taylor,S.A.(1994).SERVPERF vers SERVQUAL:reconciling performance-based and perceptions measurement of service quality[J].Journal of Marketing,(1):125-131.

Gr?nroons,C.(1984).A service quality model and its marking implications[J].European Journal of Marketing,(4):36-44.

Guieford,J.P.(1965).Fundamental Statistics in Psychology and Education[M].New York:McGram-Hill,35-45.

Parasuramn,A.,Zeithaml,V.A. &Berry,L.L.(1985).A Conceptual conceptual Model of Service Quality and Its Implications for Future Research[J].Journal of Marketing,,(4):41-50.

收稿日期:2016-06-16

定稿日期:2016-08-26

作者简介:张庆堂,副研究员,硕士;曹伟,副研究员,硕士。江阴职业技术学院(214433)。

责任编辑 邓幸涛

猜你喜欢

评价模型指标体系
浅谈公路统计指标体系的构建
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于DEA的汽车上市公司相对效益评价
公共图书馆数字化服务的有效性评价模型
基于学业质量的增值性评价系统的分析与构建
基于产业集群的技术创新风险评价模型构建
基于熵权法的西安市外向型经济发展综合评价研究
城镇排水系统量化指标体系研究
测土配方施肥指标体系建立中‘3414