□李晓红

日本教师培训评价体系中的“关键词评价法”*

□李晓红

为了检验和改善教师培训讲座的效果，需要对培训进行科学的评估。日本各个县立教育研究所在评价体系中采用的“关键词评价法”，可以有效检测参训教师对培训知识和技能的理解与掌握程度。广岛县教育研究中心通过实践检验证明了“关键词评价法”作为评价手段对“理解度”检测的恰当性，同时还验证了对培训内容高度的“理解力”是“行动力”的基础。“关键词评价法”作为切实可行的评价方式，可以作为我国当前培训评估的重要补充手段。

培训 关键词 评价 检测

日本教育基本法第九条规定，教育公务员必须不断努力提高个人能力和素养，每一个教师都有不断参加培训学习、不断充实自我的内在和外在要求。日本每年都举行各种主题的教师培训，其培训水平的发达与先进的评估体系密切相关。判断一个培训是否真的有效必须对其效果进行评估，培训效果的评价和检测不仅是为了检验投入成本是否有价值，更重要的是为了改善培训效果，提高培训的质量和效率。美国密歇根大学丹尼尔·斯塔弗尔比姆教授曾说过，“评价最主要的不是为了证明，而是为了改进”。日本各个县立教育研究所是为教育公务员提供培训服务的专门机构，在教师培训方面做了很多工作。除了提供培训设施、制订培训计划、研究奖励政策等常规的工作内容以外，还一直致力于提高教师培训讲座的质量。其中，以“关键词评价法”为中心的培训评估手段，是各个教育研究所广为采用的评估方式之一。

一、培训评价和效果检测概述

日本培训专家平松阳一认为，检测和评价是两个不同的概念。检测追求客观的数字化的定量的尺度，培训效果的检测就是通过客观数字来显示培训效果的一种方式。[1]评价则是参照某种价值体系，根据参训人的状况和研修的实施情况进行判断的一种评估手段。根据柯克帕特里克的理论，常用的培训检测方法有六种：培训后问卷调查、培训前后小测验、面谈（当面听取参训教师的心得体会和感受）、对照试验（接受培训群体和未接受培训群体实际工作效果的对比测试）、360度意见反馈（针对参训教师的态度和行动，培训前后对其周围的人进行问卷调查）、回报率分析（培训所需费用与产生的业绩之间的比率）。[2]

日本各个教育研究所的培训效果评价方法都参考了柯克帕特里克提出的理论，把培训分为四个层次，即反应（reaction）、学习（learning）、行动（behavior）、结果（results）。

表1 对柯克帕特里克的四层次评价的解说

第一层次的反应是指参训教师对参加培训的感受，是否认为来参加培训很好，培训内容对今后工作是否有效果。第二层次是学习阶段，参训教师是否能够理解培训内容，对讲授知识和技能的掌握情况如何。第三层次的行动阶段，是指参训教师是否能把在培训中学到的内容在实际工作中运用，其行动和态度在培训前后是否有较大改变。第四层次是成果阶段，指参训教师在培训后通过个人努力，作用于学生之后产生的效果如何，即教师业绩是否有所提高。其中第二层次即教师学习理解和达成度的评价是后两个阶段的基础，没有教师对培训内容的理解就不可能有教师付诸实践的行动，也就不可能带来作用于学生之后业绩的变化。

表2 奈良县教育研究所设定的培训评价效果检测框架[3]

一般来讲，“反应”阶段的评价方式是四个层次中最简单的。通过培训后问卷调查、培训前后小测验、面谈等方式就可以迅速得出参训教师的满意度数据。第二层次“学习”阶段的评价方式中，日本各个县的教育研究所主要采用“关键词评价法”来进行评价；第三、四层次的评估较为复杂，可以运用跟踪问卷调查、对照试验、360度意见反馈等多种方法进行科学评价。第二层次“学习”阶段是第三、四阶段的基础，没有对学习内容的“理解和掌握”就没有在实践中的“运用”，本文主要探讨“关键词评价法”在教师培训评价体系中的运用和效果的检验。

二、关键词评价法

（一）“关键词评价法”的内涵

日本著名的教育培训专家平松提出了用“关键词评价法”来评价培训效果。所谓“关键词法”就是为了把握参训人员对讲座内容的理解程度，把培训内容总结为几个重要关键词，通过选择的关键词和叙述关键词选择的理由，来大体了解参训人员的能力水平和讲座的学习效果等情况的一种小测试。其理论根据是通过关键词的叙述使人的认知从“暗默知”转向“形式知”，从而达到巩固知识的目的。所谓“暗默知”，在日本著名的知识创造的研究者野中郁次郎著作的《知识创造的经营》一书中有详细解释，是指人们基于个人生活体验，扎根于内心的个体知识、信念以及对事物的看法、价值体系等无形要素。由于是特定情况下个人的知识或者体验，所以很难传达给别人。“形式知”是指把那些内在的知识变成用语言表达的形式，比如符合语法的文章、数学的表达、技术方法的阐述、指南性的手册等。通过形式化的表达，使之变成易于传达的知识。“关键词评价法”就是基于这一知识，试图把“暗默知”转化成“形式知”，通过检验其转化的程度了解教师对培训内容掌握的程度，同时这个转化过程也可以加深教师对知识的理解和传承。[4]

根据“关键词评价法”的特性，教育研究所主要用“关键词评价法”检验第二层次，即“学习阶段”教师对知识和技能的理解与掌握程度。他们的目的不是仅仅让参训教师记住几个关键词，而是想通过关键词让教师掌握相关的知识和必要的技能。教师在报名培训的时候，会领到一本《培训讲座指南》的小册子，通过指南了解讲座的目的和概要。在讲座开始时提前对讲座内容有大体的认识，从而能够更加集中精力投入培训讲座。

（二）“关键词评价法”的具体运用

1.“关键词评价法”适用的培训讲座

“关键词评价法”作为评价手段并不适用一切讲座，平松把讲座类型大致分为“能力开发型”和“课题达成型”两种。“能力开发型”讲座是指重点在于提供知识、技巧、技术等的培训，代表性的讲座有公司的新入员工培训、中高层骨干员工培训、管理层培训等。在当今社会环境不断变化的情况下，这一类培训有减少的趋势。还有一类是“课题达成型”讲座，这一类型的讲座主要针对当前面临的具体问题展开培训，不仅仅是提供知识和技能，更重要的是利用培训中的知识和技能解决当前职场棘手问题，即注重培训的实效性。“校内培训的运用度讲座”之类就属于“课题达成型讲座”的范畴。“关键词评价法”作为检验参训教师理解和运用能力的评估手段，对评价此类讲座的效果具有较强的适用性。

2.设定实施步骤

使用“关键词评价法”评价“学习内容理解度”的培训效果，需要事先检验其作为评价手段的合理性。为此广岛县教育研究所确定了“关键词评价法”在实证检验中的步骤：（1）分析培训内容，由讲座指导教师根据核心内容确定重要关键词，在这个基础上展开培训（以上内容对参训教师保密）。为了提高关键词的精密度，还要设定关键词群以供参训教师选择（在问卷调查时对教师公开）。设定时要注意：重要关键词的有无及其个数；关联关键词的有无及其个数；关键词的说明及其选择的根据；能够在本校付诸实践的可能性。（2）培训结束后，实施及时问卷调查。内容主要考查参训教师对关键词的选择和相应理由。如果写出的关键词与培训讲师提前设定的一致的话，就可以充分说明讲座的有效性。所以“关键词评价法”不仅可以检验第二阶段的评估效果，在策划讲座、改善讲座效果方面也有一定的功效。（3）把大家选择的关键词排序。根据排序结果进行分析总结，检验讲座效果。（4）讲座结束一段时间以后，对参训人员进行跟踪问卷调查。通过跟踪问卷调查，对参训教师回到工作岗位之后对培训内容的运用度进行大致的了解和分析，并进行分类整理，从而对培训效果进行评估（检验第三层次）。（5）对每一位教师的第二层次和第三层次的评价结果进行比对分析，从而验证“理解度”的高低对“行动力”大小的影响。得出“关键词法”在评估体系中的是否有效的结论。[5]

3.具体实施内容

以“校内培训推进者的作用”为例，在培训中，讲座指导教师首先提前确定多个培训内容中的核心关键词（为了检验推论的正确，对听讲教师事先不公布关键词），在这个基础上展开指导。一天的讲座结束后，让参训教师从各研修主题的关键词群（35个）中选择一个跟培训内容最直接相关的关键词，并阐述选择理由。

表3 研修主题与重要关键词

经过问卷调查统计的结果，把各培训讲座内容的关键词作一个排名，公示排名靠前的关键词及其选择理由，并对这些结果进行分析。“校内培训推进者的作用”讲座的及时问卷调查88名教师中，有23名（26%）选择“激励机制”作为关键词，有38名（43%）认为关键词是“动机推动”和“动机阻断”。从他们的选择理由可以看出参训教师对培训内容有什么样的期待，同时也从理论上证明了学校开展激发教师工作动力的工作的必要性。通过“关键词评价法”，各个讲座中教师可以对培训的核心内容有一个大致了解，从而检测整个培训的目标是否基本达成。从参训教师对选择关键词理由的叙述，研究所也大致可以整体把握教师对培训内容的理解程度。[6]为了验证“关键词评价法”的有效性，还必须对“学习”和“行动”两阶段评价结果进行分析。第三阶段中把培训内容大幅度付诸行动的人的关键词，和几乎没有采取任何行动的人在第二阶段选择的关键词进行对比分析，考查培训中设定关键词的恰当性。从而检验关键词在培训效果检测中是否能成为一个有效的评价指标。

三、结语

问卷调查法是培训评价中最常见的方法，但是问卷的问题设计一般都是围绕“你认为效果如何？”“你是否有所收获？”“你的理解力是否得到加深？”等泛泛的主观的问题为主，无法客观地把握参训人员真实的掌握情况。事实上，面对此类问题，有时候参训人员自身也无法给出科学的答案。通过“关键词评价法”的引入，使参训教师在问卷中有章可循，可以更为科学、客观地判断知识理解程度，检验培训的实施效果。

评价是一个极其复杂的综合过程，仅靠一种手段很难对培训进行全面的科学的综合评价，“教师培训评价是一项具有连续性、动态发展性的过程，单一的评价方式无法满足教师培训的评价工作，需要多种评价方式间的相互配合、互补有无，在实践中不断磨合、改进，生成综合性教师培训评价方式的范式。”[8]通过借鉴日本的“关键词评价法”，在此基础上与其他多种方式相结合，使我们的评价手段更加健全，将有利于教师培训效果的检验和质量上的提升。

[1]平松陽一.教育研修の効果測定と評価の仕方[M].日興企画，2006：16.

[2]浅野良一.『教育の企画·実行と効果測定』[M].教育开发研究所，2007：95.

[3]堀内秀規.研修の効果測定―研修講座の工夫·改善に向けて [J].奈良県立教育研究所，2009 [2016-1-28].http://www.nara-c.ed.jp/gakushi/kiyou/h19/data/a/01/.

[4]羽村昭彦.教員研修評価·改善システムの開発に関する研究 [J].広島教育センター，2008 [2016-1-18].http://www.hiroshima-c.ed.jp/web/ publish/ki/pdf1/kk35/.

[5]松栄建吾.教職員専門研修講座改善のための評価システムの開発に関する研究[J].广岛县立教育研究所，2010[2016-1-20].http://www.hiroshima-c.ed.jp/web/publish/ki/pdf1/kk36/.

[6]広島教育センター.教員研修評価·改善システムの開発に関する研究[J].广岛县立教育中心研究纪要34号，2007[2016-1-20].http://www.hiroshima-c.ed.jp/web/publish/ki/pdf1/kk35/.

[7]三宅啓介.「教員研修評価·改善システムの開発に関する研究－研修効果測定の方法とその評価指標の構築や検証を通して－」[J].奈良县立教育研究所，2008[2016-1-20].http://www.hiroshima-c.ed.jp/web/publish/ki/pdf1/kk34/.

[8]孟梦，裴田霏.教育改革综合视域下中小学教师培训评价研究[J].中小学教师培训.2015（6）.

（河南师范大学外国语学院 453000）

*2016年河南省教育厅人文社科项目“中小学教育水平评析机制的中日对比研究”青年项目2016-QN-033