□田　甜　庄榕霞



KOMET护理专业职业能力测评方案的有效性研究

□田甜庄榕霞

摘要：护理事业的发展对护士的职业能力和素养提出了更高的要求，文章尝试应用KOMET职业能力测评模型开发应用于我国的护理专业职业能力测评方案，并验证其有效性。研究结果发现，基于KOMET职业能力测评模型开发的护理专业职业能力测评试题具有良好的信度、难度、区分度、内容效度和效标效度，基于KOMET职业能力测评模型开发的护理专业职业能力测评方案可以测出学生职业能力的不同水平，且我国护士的职业成长阶段与Benner的“从初学者到专家”临床护士5级阶梯模式相对应。

关键词：KOMET；职业能力测评；护理专业；有效性

一、研究背景

按照现代整体护理理念，护理人员要把护理对象看成生物、心理和社会因素的综合体，护理工作不仅是对病人的护理，也包括对健康人的全身心护理，包括疾病护理、卫生保健、疾病预防和改善对人们健康不利的生活方式[1]。护理事业的发展对护士的职业素养、知识和技能提出了越来越高的要求。KOMET职业能力测评是以职业院校学生为主要研究对象的能力测评技术，通过对护理专业学生的职业能力的测量与评价，可以对学生个体之间、学校之间进行比较，从而判断是否实现了职业教育的培养目标，了解当前护理教育存在的不足[2]。

近年来，德国、瑞士、西班牙等国采用KOMET职业能力测评方案在护理专业开展了测评工作并取得了较好的结果[3]，本研究尝试应用KOMET理论开发我国护理专业职业能力测评方案，并对其有效性进行验证，主要研究内容包括：对按照KOMET职业能力测评模型开发的护理专业职业能力测评试题的信度、难度、区分度、内容效度和效标效度进行检验，并采用Benner的护士五个阶段发展理论来研究和解释我国护士的职业成长道路。

二、研究方案

（一）测评对象

测评分为预测试和正式测试两部分。预测试阶段的主要任务是将选出的测评试题投入到学生中进行测评，进行测评工具的信效度分析，根据测评结果修改试题，确定可以投入到正式测评的测试题目。为了使预测可以尽快、顺利和有效地进行，预测按照方便取样原则，在山东和重庆两所开办护理专业的高职院校进行，参评学生由学校根据要求直接安排。共选取了236名高职院校护理类专业三年级学生作为试测样本。正式测评阶段主要依托项目，分别对全国不同省份共33所中职、高职、本科院校的2223名护理专业应届毕业生进行了职业能力测评，其中中职1598人，高职479人，本科146人。此外还对北京某三甲医院30名在职护士进行了职业能力测评。

（二）测评工具

测评工具主要有：测试任务卷、背景情况调查问卷、学生动机调查问卷、考场情况问卷、问题解决空间和测试评分表。测试任务卷是KOMET职业能力测评的主要测评工具，是一道开放性测试题目。为了设计测试题目，并对被测试者的任务解决方案进行解释和评价，KOMET模型建立了8个能力指标，基于护理专业进行解读，分别为：直观性/展示，功能性，持久性，经济性，服务流程和工作过程导向，环境与社会承受度，家庭、社会与文化环境和创造性[4]。

（三）研究方法

研究选择Finnjust系数作为评判评分者间信度的标准，用以保证测评的信度；将被试在每一个评分点上的得分率作为鉴别测试题目的难度标准；通过单因素方差分析，检验每个评分点上测量值的差异值是否达到显著（p＜0.05）来检验测评工具的区分度；内容效度分析采用相关统计方法和专家调查法，利用SPSS 19.0，通过8项指标与三个能力层级和总分的积差相关系数，以及让专家根据测评目的对测评题目进行仔细阅读分析，以确认测评题目是否与测评目的对应，是否能体现护士职业能力要求来反映试题的内容效度；在效标效度分析中，选取被试的护士执业资格考试成绩作为效标，采用威尔逊积差相关法，与测评成绩进行相关性分析验证测评的效标效度；通过对测评结果的分析以及对参评单位相关负责人的访谈，来验证测评方案是否可以测出学生职业能力的不同水平；用访谈法对护士职业成长阶段进行分析，并与Benner的临床护士5级阶梯模式进行验证分析。

表1　预测评分者培训中五次评分的评分者间信度

表2　40个评分点的难度分析结果

三、数据分析与研究结果

（一）KOMET护理专业职业能力测评试题具有良好的信度、难度及区分度

1.信度。预测阶段的评分在山东省某职业学院护理学院进行，共有10名具有考评员资格的教师进行评分；在评分过程中，评分者对能力模型和评分指标的高接受度会带来较高的评分者间信度。为了提高评分者间信度，专家对评分小组成员进行了严格培训。培训时，给每位评分者提供了针对该测评任务的“问题解决空间”，描述开放性测试题目中可能出现的解决方案。通过对四个题目（共计九个真实案例）的评分练习，10位评分者之间逐渐达到了较好的一致性 （见表1），评分者间信度令人满意。为了减小评分过程的主观误差，每份试卷由两位评分小组成员进行评改。

正式测评中，由于答卷较多，评分在两个地方分次进行。第一次在山东某护理学院进行，共有7名教师评分；第二次在重庆进行，有17名教师进行评分。正式测评的评分者一致性信度Finnjust系数均达到0.7以上，评分者间信度良好。

2.难度。试题的难度系数为学生在各评分点上得分的平均分去除以该评分点的总分，反映学生在各评分点处的得分情况，分值越小表示学生得分率越低，即难度越大。试题的难度分析结果见表2。

由分析结果可知，对试卷A来说，在评分点7、14、15、21、22、27、28、29、30、32、33、35、36、37、38上的得分率偏低；对试卷B来说，在评分点7、14、21、22、26、27、28、29、32、34、35、36、37、38上的得分率偏低；对试卷C来说，在评分点7、14、15、21、27、28、30、34、35、36、37、38上的得分率偏低；对试卷D来说，在评分点7、14、15、21、22、26、27、28、30、32、33、36、37、38上的得分率偏低。按照KOMET评价指标，评分点26-30,31-35,36-40分别属于“环境与社会承受度”，“家庭、社会与文化环境”和“创造性”三类评价指标，均属于设计能力层次，即能力级别的最高水平，非常不容易达到。专家通过对评分点与测试题目对比分析，认为得分率低属于正常现象；而针对其它评分点得分率低的情况，专家通过对评分点与测试题目的对比分析后，对题目进行了相应的调整。总体来说，测试题目具有较好的难度。

3.区分度。试题区分度的分析结果表3所示。可以看出，40个评分点中有37个的测量值的差异值达到了显著（p＜0.05），在评分点1、36、37上测量值的差异值没有达到显著（p>0.05），因此对于1、36、37三个评分点，需要通过专家研讨会对试题进行相应的调整。总体来说，测评题目的区分度良好。

表3　40个评分点的区分度分析结果

（二）KOMET护理专业职业能力测评方案具有良好的内容效度

本文利用SPSS 19.0软件，通过8项指标与三个能力层级和总分的积差相关系数分析试题的内容效度（见表4）。从检验结果可知，四道试题的8项指标与三个能力层级和总分均在0.01水平上具有显著相关，可以说明测评试题的内容效度良好。

研究人员邀请护理领域内专家分别在预测前和预测后对试题内容进行了讨论分析。在预测前专家研讨会上，专家首先确认KOMET护理专业测评的8个指标和40个评分点体现了护理专业人员应具备的综合职业能力；然后仔细阅读每一道测评题目、对应评分点和评分指标，依据测评目的对测评题目进行分析与修改，确认每道试题的内容可以反映所预测的能力，从而保证了测评工具的内容效度。在预测后的专家研讨会上，专家们在听取了预测结果的报告后，根据试题信度、难度、区分度分析，再次从测评目的出发，对题目进行再阅读、再分析，找出存在的问题进行讨论修改，进一步确认投入到正式测评的测评题目的内容效度。

以上分析保证了测评工具的良好的内容效度，即测评方案能够体现当前护士职业能力的要求。

（三）KOMET护理专业职业能力测评方案可测出学生职业能力水平的不同

预测中，236名参评学生共428份测评答卷的职业能力水平整体分布情况见图1，其中12.38%的学生处于名义能力水平阶段，64.25%的学生达到功能性能力水平，23.36%的学生达到过程性能力水平，无人达到设计能力水平。

图1　预测学生职业能力水平整体分布

2223名参与正式测评的护理专业应届毕业生的职业能力水平整体分布情况见图2，其中518名学生（23.3%）处于名义能力水平阶段，1189名学生（53.49%）达到功能性能力水平，494名学生（22.22%）达到过程性能力水平，22名学生（0.99%）达到设计能力水平。

图2　正测学生职业能力水平整体分布

设计能力是最高能力级别，达到的人数极少。多数参评者处于功能性能力水平，还有超过五分之一的参评者只处于名义性能力水平。

正式测评的总体结果显示，从名义性能力到设计能力，有的学生处于名义性能力水平，多数学生处于功能性能力水平，有的学生处于过程性能力水平，极少数学生处于设计能力水平，参评学生的职业能力水平得以区分。因此可以证明，KOMET护理专业学生职业能力测评方案可以测出学生职业发展的不同水平。

在测评结果出来之后，研究者向参与测评学校及医院相关负责人反馈有关测评情况，他们均表示对测评结果十分认可，认为测评结果确实反映了学校的整体情况或者参评学生或护士的个人能力水平。这进一步说明KOMET护理专业职业能力测评方案是可以测出学生职业发展的不同水平的。

（四）KOMET护理专业职业能力测评方案具有良好的效标效度

研究将随机抽取的参与测评的107名护理专业学生的护士执业资格考试成绩作为效标，与KOMET职业能力测评结果进行相关性分析，以验证测评方案的效标效度。护士执业资格考试分为专业实务和实践能力两个科目，本研究将随机抽取的护理专业学生护士执业资格考试总成绩、专业实务科目成绩和实践能力科目成绩，分别与其职业能力测评总分进行了相关性分析，结果如表5所示：

表5　相关性分析结果

结果表明，参评学生职业能力测评总分与其护士执业资格考试总成绩和专业实务科目成绩具有显著性相关，相关系数分别为：0.223（P=0.021< 0.05）和0.269（P=0.005<0.01），而职业能力测评总分与实践能力科目成绩不具有显著性相关①。

通过对专业实务和实践能力考察重点分析可知，专业实务重点考察基本医学知识、基础护理技能以及与护理相关的社会人文知识的临床运用能力；实践能力侧重考察常见疾病的临床表现、治疗原则、健康评估、护理程序等知识，多为事实性知识的记忆考察[5]，这在很大程度上已经脱离了职业实践能力的范畴。目前我国护士执业资格考试题型无论是对记忆点的考察，还是病例摘要题和病例分析题，均为选择题，整个答卷中看不出学生的思考过程，存在很大的猜的可能性。事实上，关于护士执业资格考试试题问题已经引发了广泛关注。从2011年开始，考试减少了考察记忆点的A1题型，增加了病例摘要题和病例分析题即A2/A3/A4题型比例，更加重视与临床护理实际的联系，强调临床护理经验，注重综合分析与判断能力[6]，这表明执业资格考试也正在向KOMET职业能力测评的方向转变。

（五）护士职业成长与“从初学者到专家”临床护士5级阶梯模式对应

对在职护士的访谈分析表明，我国护士的职业发展也经过了“从新手到专家”的五个阶段。

新手阶段为护士实习生阶段，学习内容主要为临床护理的基本操作、理论知识，如输液、打针、测血压等；带教老师的指导仅限于一些共性的东西，且主要学习方式为观摩，操作的机会较少。

入门护士阶段（即生手）为新入职的护士阶段，该阶段的护士仍要有带教老师或老护士的指导，主要学习本科室的基本操作、工作流程、常见病护理、特殊操作、工作习惯、药物相关知识等；此阶段的护士经验不足，做事情比较机械，应变能力、观察能力较差，但是很好的执行者，主要是做好交代的、眼前的工作，考虑的较少。

称职护士阶段为护士可以独立完成工作到可以带学生之前的阶段，该阶段护士已经掌握医院、科室的工作流程，理论知识和临床经验有了一定的积累，能够应对一些突发事件。

熟练护士阶段为可带教护士阶段，该阶段的护士无论在临床经验、理论知识还是操作方面都获得了很大提升，做事情比较坦然，能够分清轻重缓急。

专家护士阶段为资深护师、主管护师、护士长等，具有丰富的临床经验与理论知识，而且操作方面也非常娴熟，能够快速、准确地找出问题的症结。

这些阶段的特征与Benner对临床护士5个阶段的护士特征描述基本一致，因此可以说Benner的“从新手到专家”（from novice to expert）的临床护士5级阶梯模式在我国也是适用的。同时也进一步验证了KOMET职业能力模型中的能力的内容结构这一维度，证明了KOMET职业能力测评模型在我国护理专业的有效性。

参评学生职业能力测评总分与其护士执业资格考试总成绩和专业实务科目的成绩显著性相关，与实践能力科目成绩没有显著性相关。研究发现，实践能力科目的考核内容与KOMET职业能力测评的关注重点不一样。实践能力考察的重点是事实性知识记忆和知识点、技能点的应用；而KOMET职业能力测评重点考察护生及护士的实践性知识和综合职业能力，即针对综合性护理任务的全面解决能力，要求护士眼里有的不仅是病，而是与病人相关的一切，这与国际先进的整体护理观及我国护理事业的发展方向是一致的。可以说，KOMET职业能力测评方案至少是对现有护理人才评价方式的有效补充。

KOMET职业能力测评方案的主要工具是开放式的综合测试题目，该题目的形式与实际工作中的任务类似，且符合职业教育培养目标的要求。测评结果发现，参评护理专业应届毕业生的职业能力有23.3%处于名义能力水平阶段，占总数的五分之一之多；超过一半的学生（53.49%）达到功能性能力水平，达到过程性能力和设计能力水平的很少。从对在职护士的访谈中得知，护理专业学生在医院实习时只能观摩或进行简单的操作，无法接触到真正的护理工作流程。职业能力需要较长的时间的养成，在医院走马观花的观察、见习和简单机械的操作，无法替代深入的实践。这提醒学校今后应更加重视学生的实习安排，医院不要把学生作为简单的劳动力看待，而应给学生更多的机会参与到较高的重要工作中。

注释：

①王孝玲在其著作《教育测量》中表示，关于效度系数的数值多大测验才算有效很难定出一个绝对的标准。因为效度系数的估计方法甚多，多种方法计算出的相关系数也有所不同，有的偏高一些，有的偏低一些，因此无法定出一个统一的标准来加以衡量。但是，只要对效度系数经过统计假设检验，其结果表明与总体零相关有显著性差异，就可以认为测验是有效的。在用积差相关系数表示效度系数时，当样本容量n>50时，以积差相关系数表示的效度系数，其检验的统计量为：。在这里r表示以积差相关系数表示的效度系数，n表示样本的容量。根据条件用公式进行检验时，计算出的|Z|应与0.05 或0.01显著性水平Z的临界值1.96或2.58相比较，若2.58>|Z|>=1.96表明效度系数在0.05显著性水平上与总体零相关有显著性差异。若|Z|>=2.58，表明效度系数在0.01显著性水平上与总体零相关有显著性差异。在以上两种情况下，都说明测验具有有效性。根据此公式计算，当r=0.223时，2.58>|Z|>1.96，当r=0.269时，|Z|> 2.58，因此本研究结果是具有有效性的。

参考文献：

[1]王雯.护理社会学[M].北京：北京大学医学出版社，2013：27-33.

[2]庄榕霞，赵志群，等.职业院校学生职业能力测评的实证研究[M].北京:清华大学出版社，2012：37.

[3]Hauschildt，U.I feel good at my training institutions:Result of an international competence assessment in nursing.Smith，E.，Gonon，P.&Foley，A.（eds.）:Architectures for Apprenticeship: AchievingEconomicandSocialGoals.North Melbourne:Australian Scholarly Publishing，2015: 100-104.

[4]Rauner F，Grollmann P，Martens T.Messen beruflicher Kompetenz（entwicklung）.ITB-Forschungsbericht 21.Bremen：ITB，2007.

[5][6]耿桂灵，王玉海.全国护士执业资格考试变化与护理教学改革[J].中央民族大学学报（自然科版），2013（4）:78-81.

责任编辑殷新红

作者简介：田甜（1990-），女，山西晋城人，北京师范大学职业与成人教育研究所硕士研究生，研究方向为职业教育课程与教学论；庄榕霞（1972-），女，福建福州人，北京师范大学职业与成人教育研究所副教授，博士，研究方向为教育技术与职业教育教学设计。

基金项目：教育部2013年哲学社会科学研究重大课题攻关项目“中国现代职业教育质量保障体系研究”（编号：13JZD047），主持人：赵志群。

中图分类号：G710

文献标识码：A

文章编号：1001－7518（2016）15-0032-06