□吴志华　赵仲博

比利时弗兰德斯职业学校效能的评价研究

□吴志华赵仲博

2007年，比利时弗兰德斯政府对弗兰德斯地区的中等技术和职业学校开展了历时三年的大规模的效能实证研究。目的就是探寻学校质量绩效和什么在教育中起作用，寻求一种探索影响效能因素及相关作用的有效方法。结果显示，学校间效能存在较大差异，但同一所学校效能可保持一定的连续性；效能评估的多变量模型中的两种方法结合更加有效、合理。弗兰德斯职业学校效能的评价在评价理念和评价方法上对我国职业学校评价改革有重要的启示。

比利时；职业学校；效能评价

在过去的数十年中，国内外关于教育效能的研究呈指数般增长。Scheerens（2000）对学校效能的的本质做了精确地概括：“学校效能是学校根据学生的接受程度，通过自身实施特定的条件或是学校真实的情况，达到其目标的程度。”［1］学校效能的研究是对影响学校达到其目标程度可塑性因素的探求，分析究竟是什么在教育中起作用，寻求处在不同教师、班级、学校、甚至教育系统水平的相关因素之间的关系或是相互作用。学校目标就是因变量，通常被标记为“效能标准”或“输出测度”［2］。以往的研究是把效能标准作为单一变量来评估，近些年有学者对单一变量研究方法提出质疑，并尝试研究多种效能标准［3］。本文呈现的是比利时弗兰德斯地区职业学校效能评价采用的多标准研究的案例，以期对我们职业学校评价以借鉴。

一、背景

比利时作为欧洲经济体的一员，与德国、荷兰一样，非常重视职业技术教育。比利时的中等教育为6年，包括普通中等教育、技术中等教育（TSE）、职业中等教育（VSE）三种教育形式。中等职业技术教育可以与高等职业教育、高等教育实现对接。上世纪末，随着全球化知识经济的到来，欧洲经济社会的发展更加紧密的依赖于劳动力市场，每3-5年就有约50%的职业技能需要更新，这就要求职业教育匹配性发展。为此，欧洲许多国家进行了中等教育改革，强调专业能力和职业能力的培养。同德国、荷兰相比，比利时中等教育改革力度不大，明显渐趋减弱。2003年的一项国际中学生知识水平调查显示，比利时学生的科学、计算和语文水平都落后于欧洲许多国家。比利时社会要求提高学生成就标准的呼声顿时高涨，希望教育能培养出更多高素质的人才。

弗兰德斯地区是比利时的最大语言区（包括今比利时的东佛兰德省和西佛兰德省、法国的加来海峡省和北方省、荷兰的泽兰省）。2004年，弗兰德斯政府实施一项 “弗兰德斯行动起来”（Flandersin action）的计划［4］，对中等普通教育和职业技术教育进行改革，致力于“全面加强能力培养，提高公民素质”。政府制订了中等教育“学习与工作相结合”的实训内容，并协调不同培训机构职业技术课程的训练。新的职业技术课程将针对市场基本能力需求具体规划，以减少资源浪费。2005年，弗兰德斯政府和企业、教育工会、学生组织共同签署《教育战略合同》，制定了2013年前应达到的基本目标:提高阅读能力、计算及科学知识水平，提出要在2013年前彻底改革教育体制，用新评价机制取代以成绩为唯一标准的分流体制，改革职业教育模式［5］。弗兰德斯各界成立“教育战略委员会”，对各类职业教育学校和培训机构全面评估，每年公布学校排名，以作为考量学校绩效责任的一种机制。但由于以往的排名只关注学生原始考试成绩的结果，没有考虑学校的背景及学生入学特征，单纯以学生成绩对学校排名对于社会选择性程度低的学校来说显然不公平，因而受到了广泛的批评。同时，政治的原因及教育领域市场机制的引入也要求提高学校、地方教育当局的绩效责任，因此，建立新的评价体系迫在眉睫，以加强对学校的绩效评价。在这样的背景下，效能评价逐步兴起。

二、弗兰德斯区职业学校效能的评价研究

2007年，弗兰德斯政府委托比利时安特卫普大学（UniversiteitAntwerpen）对弗兰德斯地区的技术和职业中等学校（TSE和VSE）进行大规模的效能实证研究［6］（Flandersschooleffectivenessassessment），简称FSEA。该项研究由著名教育统计专家SvenDeMaeyer率领的团队历时三年完成。

（一）样本及信息收集

FSEA的学生样本信息来自弗兰德斯地区95所职业技术学校的六年级（17-18岁）学生。95所学校包含58所中等职业学校和37所中等技术学校。学生信息收集使用了测试和问卷。共收集5114名学生信息，2007年、2008年、2009年分别为1703、1698和1713名学生；同时，学校因素信息是每所学校每年随机选取30名教师完成问卷和访谈调查。

（二）变量

在学校效能的研究中，效能标准的应用不仅是中立的角色，而且是与教学目标联系在一起。效能标准与研究者期望使用以比较学校的标准或准则有关，反映了教育职能和目标的观点，因此，需要对使用的效能标准作出选择。从方法论的角度看，这个问题可以表述为关于学校效能的结构效度问题。当学校因素对多个输出测度存在影响时，学校才具有普遍的效能促进作用。一般效能评价是把效能标准作为单一输出测度去衡量，这可能对效能的进一步归因分析带来不便。此次FSEA使用不同的输出测度来确定有关学校在认知方面的效能。由于不同学校课程差异较大，FSEA最终从所有中等职业和技术教育选出共有的、对认知输出测度最具共性的课程——数学和阅读成绩作为学校效能输出标准。

FSEA把学校因素分为两类：学校政策与组织特征，就业市场指向。学校政策和组织因素包括学校氛围、教育政策、管理才能、学习方向、评估水平、鼓励自主学习、理论和实践课的结合以及学生讨论8项指标；就业市场指向包括就业方向、技术和材料、学习指导、课程管理教师、课程指导教师、商界参与度、教育政策的实施、商界支持8项指标。学生因素包括：性别、智商 （IQ）、社会经济地位（SES）、语言种族背景（LEB）、亚文化、与父母关系、家庭教育状况、课程变化（是否有从一门课程到另一门的改变）和复读（是否有）［7］。各指标均通过有效性检验。

（三）模型的选择及方法

效能评价最大的难题就是寻找一个有效的数据处理方法，它对效能评价和解释学校间的绩效差异也是至关重要的。当输出测度为多个时，可采用两类统计模型：单变量分析和多变量模型。单变量模型分析就是对每一个因变量（效能标准）都设置一个独立的解释模型，SvenDeMaeyer等2003年对5所职业学校效能分析使用的就是单变量分析［8］。其不足在于单一变量存在一个暗含的假设，不同的变量不相关或在所有研究水平没有显示出中间的关系。显然，这一假设会导致I型错误（发现了并不真实存在的影响）产生，且因变量间的相关性越大，罹患I型错误的风险越大［9］。多变量模型意味着在一个模型中解释不同的因变量。当不同因变量之间有一定关系时，多变量分析将具有更高的“统计功效”［10］。为了探讨学校因素研究与多变量分析模型中学生表现具有怎样的关系，考查学校因素产生普遍影响的程度，以及对两个因变量是否具有相同强度的影响，此次FSEA采用多变量测度评估模型以降低I型错误的风险。

多变量研究设计又含两种不同模型方法：普遍影响模型（themodelwithgeneraleffects，MGE）和特殊影响模型（themodelwithspecificeffects，MSE）。MGE是假设有关学校因素的影响在所有应用的效能标准中是一致的，并且对每个输出测度的影响程度是相等的；MSE是评估某一学校因素对不同效能标准，即因变量的分别影响。此次，FSEA采用了学校特征分数矢量乘以虚拟变量的特殊影响来分析。两种多变量模型均包括三个层次：变量层、学生层和学校层，潜在的假设是输出测度 （因变量，层1）嵌入学生（层2）中，层2又嵌入学校（层3）中。FSEA在建立模型时，按照专业类型和届级组合把样本数据分成六组：中等职业教育07、08和09年的六年级学生，中等技术教育07、08和09年的六年级学生。在此基础上，估算在学生和学校层的自变量。为了确定MGE和MSE那个是最佳选择，以及两者在评估结果上有何不同，FSEA进行了对数似然比例检定，并对两种分析结果进行比较和解释。

三、结果及分析

把收集的三年信息放入多变量模型中，结果显示：

（一）学校间效能存在较大差异，但同一所学校效能保持一定的连续性

FSEA采用两种多变量模型方法对收集数据估算，分析出2007、2008和2009年95所学校的效能。设平均值为0，得分在0值以下的表明其学校效能在统计意义上低于平均水平，得分在0值以上的表明其学校效能高于平均水平。统计显示，两种多变量模型方法评估的学校效能排名基本一致，仅是效能在平均值范围的学校数略有不同。MGE估算的效能在平均值的学校数少于MSE的估算，如MGE分析的2008年有9所学校效能与平均值无显著差异，而MSE估算是11所。连续三年的评估，学校排名顺序保持一致的有77%，另21%所学校有3所名次变化10-13名，其余相差1-3名。说明虽然学校间效能差异较大，但学校的效能水平发展有一定的连续性。

（二）两个效能标准有一定相关性，但受学校因素影响不同

多变量模型估算结果显示，在控制了学生特征之后，无论是在学生层还是学校层，学生数学成绩和阅读能力分数间均显现出相关性。也就是说，无论学生的社会背景、智商、性别以及所属的年级组和课程类型如何，获得高的数学分成绩学生，也将获得高的阅读分数。学校层也如此，如果一所学校的数学成绩普遍较好，那么其阅读成绩也往往较好。这也说明，建立多变量模型确实有意义，忽略因变量间的关系会存在分析结果有偏差的风险。

表1　学校因素普遍影响和特殊影响的固定部分参数估计表（显著估计以**表示）

两个模型统计结果比较见表1。在MGE分析中，16项学校指标中的学校氛围、学习方向、课程指导教师等八个因素对数学和阅读存在显著影响，其中课程指导教师的影响最大，教育政策的实施影响最小，但不能确定这些因素对数学和阅读能力的影响程度是否一致。而另一些因素，如管理才能、教育政策、评估水平等则对两种效能标准影响不显著。MSE结果显示：MGE分析中的八个学校因素对数学成绩有显著作用，而其中只有教育政策和理论与实践课目的结合两个因素对阅读有显著影响，其余学校因素对阅读成绩影响均不显著，也可以说阅读成绩受学校因素影响较少。但在分析学生因素影响时，MSE显示阅读成绩受学生因素影响较大，除了课程变化和复读外，其它因素对阅读成绩都有显著影响；而其中对数学能力影响的只有智商、社会经济地位和家庭教育状况。这也表明学校因素对两个认知效能标准不存在普遍而对等的影响。

（三）普遍和特殊影响模型两者结合使用更加有效、合理

为了评价两个模型哪个更适合效能统计，FSEA运用了对数似然比率检定。结果表明，两个模型间的差异不显著（Chi=26.5；df=16；p＞0.05）。换句话说，特殊影响模型并不比普遍影响模型更有优势。原因在于MSE需要两倍的无关参数估计（对两个效能标准都没有影响的学校因素的独立影响），这降低了数据模型的准确率。但从影响效能标准因素看，MGE假设学校因素对所有效能标准影响一致是不存在的。FSEA研究显示，MSE分析方法具有更高的统计学效力并且降低了I型错误的风险，但由于其存在无关参数多的问题，需要MGE的补充，因此，两个模型结合运用更合理［11］，与SvenDeMaeyer2003年单变量研究比较，多变量模型中还出现一些在单变量分析中没有出现的新的影响因素：鼓励自主学习、教育政策的实施和商界支持。这说明多变量分析能观测到更小的显著影响因素，能更加精细够解释这三个因素的影响。TalitaGroenendijk认为多变量模型可以推广到所有效能领域的教育研究中［12］。

（四）学校效能的持续改进是可能的

不同模型的分析结果显示，所有学校的原始成绩（即没有经过任何处理的学生单纯成绩）均有明显提升，2008、2009分别比上一年提高1.23和0.98个点。统计还显示，三年95所学校效能标准平均分值逐渐提高，平均提升2.7个点。对于提升原因，SvenDeMaeyer认为还需进一步分析和探讨，不能简单把结果归因于效能的评价方式［13］。可见，学校效能的持续改进是可能的。尽管每所学校改进率有所不同，甚至个别学校在某一年会出现轻微的下降现象，但从学校效能整体变化趋势看，效能值和原始成绩值呈现明显改进趋势。

四、弗兰德斯职业学校效能的评价对我国职业学校评价改革的启示及思考

弗兰德斯职业学校效能评价项目是通过学校效能评价的反馈，帮助学校进行自我评估，以改善学校教育现状，提高中等教育水平和竞争力。这种效能评价开拓了学校评价的思路，对我国职业学校评价改革有重要的借鉴作用。

（一）FSEA效能评估对我们的影响更在于其评价理念

效能评价关注的是全体学生，关注学生的起点和背景，评价的目的不是选择个体，而是改进教育、发挥评价对教育的促进作用。这对我国切实落实评价公平及促进教育改进有积极的意义。我国应尽快将增值评价指标合理地纳入教育评价、问责系统中。此外，增值评价指标对我国教育评价体系的建设也有重要的参考价值。

（二）教育的科学评测应当建立专业化的评估机构

教育的科学评测需要复杂的和多元化的思考与设计，如指标的确立、设计及有效性问题，尤其是评估模型的程序设计，需要教育学、心理学以及统计与计算机软件等多个专业人员共同参与。FSEA项目就是由独立于政府的专业化的评估机构和团队完成的，包括负责组织学生的统一考试，并有配套的学生成绩追踪软件，学生学业成绩数据保存比较完整。目前，我国教育评价还属于起步和探索阶段，专业化的、第三方的独立评估机构十分缺乏。学生考试成绩由各个学校和教育行政部门保存和管理，想要采用这些数据需要管理部门批准，这给公平、客观的评价带来一些困难。因此，必须建立健全学生成绩数据采集机制，设法将全部学生成绩进入数据库，鼓励成立第三方专业化的评估机构，避免行政的干扰，以最大发挥评价功能。

（三）评价方法应综合化、多元化

学校教育评价的根本目的在于促进学生和学校的健康发展。但那种方法是高效的、能促进学校和人发展的评价方法却是莫衷一是。弗兰德斯评价尝试多种评价模式方法对学校进行评价，多个角度的思考和评价值得我们借鉴。每一种评价方法都有其优势和不足，以多水平分析为主的量化统计技术可以客观地反映学校的某一方面，但也有其局限性。客观地说，定量性的评价只是提高教学质量的一种辅助手段，只有和其他评价（如教师、学生和家长的各种评价）联系起来才会发挥作用。因此，在对学校教育结果进行评价时，应把定性和定量、静态和动态、多个途径、方法结合起来。

由于历史原因、经济基础、文化等方而的差异，FSEA研究成果并不一定完全适合我国的实际，但我们可以借鉴其效能评估方法，并进行实践尝试，以探索效能评价在我国实现的可能途径。此外，FSEA没有探讨在效能研究中更复杂的因果模型的使用和它们对结果的影响。未来的研究应当关注使用包含不同变量间更复杂关系模型的影响。鉴于在未来几年像多层结构方程模型这样的技术会越来越可行，这种分析方法在未来教育效能研究议程中是极有可能的议题。

［1］Scheerens， J. Improving school effectiveness ［M］.Paris: UNESCO-International Institute for Educational Planning.2000:3.

［2］张厚粲，徐建平.现代心理与教育统计学［M］.北京师范大学出版社，2009.

［3］Seidel， T.， & Shavelson， R. J. Teaching effectiveness research in the last decade: Role of theory and research design in disentangling meta-analysis results ［ J ］ . Review of Educational Research ，2007，1（2）:454-499.

［4］［5］Hostens， G.， Bollen， M.， Boomgaert， W.， Peeters，D. & Persoons， M. （Eds.）. National report 2008 of the Flemish Community （Belgium） - “Education and Training 2010” ［DB/OL］.http://ec.europa. eu/education/policies/2010/natreport07/benl_en.pdf.

［6］Sven De Maeyer， Rita Rymenans， Peter Van Petegem，Huub van den Bergh， Gert Rijlaarsdam. Educational leadership and pupil achievement:The choice of a valid conceptual model to test effectsin school effectiveness research［J］. School Effectiveness Effectiveness and School Improvement， 2007， 18 （2）:125-145.

［7］De Maeyer S， van den Bergh H， Rymenans R， etal. Effectiveness criteria in school effectiveness studies: Further research on the choice for a multivariate model ［J］. Educational Research Review，2010， 5（1）: 81-96.

［8］De Maeyer， S.， Rymenans， R.， Daems， Fr.， Van Petegem， P.， & Van den Bergh， H. （2003）. Effectiviteitvan tso - en bso -scholen in Vlaanderen.Een onderzoek naar de effecten van schoolkenmerken op de prestaties en het welbevinden op school van tso- en bso-leerlingen. ［Effectiveness of technical and vocational secondary education in Flanders. A research on the effects of school characteristics on the performance and well -being of pupils in technical and vocational secondary education.］［J］.Leuven/Leusden: Acco.

［9］王星.大数据分析：方法与应用［M］.北京：清华大学出版社，2013:142-145.

［10］Hox， J. Multilevel analysis: Techniques and applications ［M］ .Mahwah， New Jersey / London :Lawrence Earlbaum Associates Publishers.2002: 30.

［11］Vanhoof J， De Maeyer S， Van Petegem P. Variation in the conduct and the quality of self-evaluations:a multi-level path analysis ［J］.Educational Studies， 2011， 37（3）: 277-287.

［12］Talita Groenendijk，Tanja Janssen，Gert Rijlaarsdam，Huub van den Bergh.The effect of observational learning on students’ performance， processes，and motivation in two creative domains［J］.British Journal of Educational Psychology， 2011，83 （1）:49-55.

［13］Kim Schildkamp， Jan Vanhoof， Peter van Petegem，Adrie Visscher.The use of school self-evaluation results in the Netherlands and Flanders［J］. British Educational Research Journal， 2012，38 （1）:125-152.

责任编辑吴学仕

吴志华（1962-），女，辽宁大连人，辽宁师范大学基础教育课程研究中心教授，教育学博士，研究方向为课程评价；赵仲博（1989-），女，辽宁沈阳人，辽宁师范大学生命科学学院在读硕士，研究方向为课程质量评价。

教育部人文社会科学研究规划基金项目“高等职业教育实践课程效能评价的研究与实践”（编号：09YJA880062），主持人：吴志华。

G710

A

1001－7518（2015）06-0087-05