孙钰林 赵益枢

摘 要 “学历证书+若干职业技能等级证书”是我国职业教育改革的重要目标，技能评价的效度是影响职业技能等级证书质量的重要因素。以教育部等主办的全国职业院校技能大赛为平台，选择养老服务技能赛项，运用COMET能力测评对考生开展技能评价后，对其就业或顶岗实习中短期内的工作绩效进行跟踪调查，研究发现：COMET能力测评成绩与工作绩效评估结果间的关系趋向强相关;COMET测评三个能力层级中，过程性能力与工作绩效的关联度最高;COMET测评的八个一级指标中，除社会接受度外，其余指标均与工作绩效呈正相关。据此建议，在研究上加强对X证书的能力模型和测评模型的分析;在实践中应以典型工作任务为依据，灵活运用多元化的评价方式，强化技能评价结果与学分银行制度的衔接。

关键词 职业教育;技能评价;COMET能力测评;工作绩效;预测效度

中图分类号 G719.2 文献标识码 A 文章编号 1008-3219（2022）13-0020-06

作者简介

孙钰林（1981- ），男，北京社会管理职业学院副教授，民政部培训中心培训部主任，职业技术教育学博士，研究方向：职业能力测评，职业竞赛（北京，102600）;赵益枢（1999- ），女，北京师范大学教育学部硕士研究生，研究方向：职业能力测评

基金项目

2018年北京市职业教育教学改革项目“学生技能竞赛引领产教融合机制研究”（2018-135）;北京市教育科学“十三五”规划优先关注课题“‘1+X证书’制度建设中技能评价法研究”成果（BDEA2020009），主持人：孙钰林

一、问题提出

2019年1月，国务院印发《国家职业教育改革实施方案》（国发[2019]4号），提出“启动‘学历证书+若干职业技能等级证书’制度试点（以下简称“1+X”证书制度试点）工作”，这是对“学历证书+职业资格证书”的“双证书制度”的创新。“1+X”证书制度被看作是“引领创新培养培训模式和评价模式，深化教师、教材、教法改革”的手段[1]，被赋予广泛意义。2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》指出，要“完善高等职业教育‘文化素质+职业技能’考试招生办法”[2]。这些国家层面的制度设计为开展学生职业技能评价提供了政策依据，同时也带来了挑战。

被市场和社会认可的现实需求对技能评价效度提出新要求。“职业技能等级证书”（以下简称“X”证书）制度替代传统“职业资格证书”，根本原因在于职业资格证书无法全面、有效地反映用人单位对技术技能人才的职业能力要求。证书颁发的依据是技能评价结果，若评价效度不高，则证书所反映的劳动力市场信号便难以发挥预期的指示作用，从而面临被诟病和淘汰的宿命。提高职业技能评价的质量和“X”证书技能评价水平的准确度，可以缓解结构性就业矛盾。但是，当前支持证书“技能评价模式”的系统性研究还很匮乏。

设计可持续发展的技能等级证书需要实证基础。目前，“1+X”证书制度试点的推广主要依靠行政力量的引导和支持，如与院校财政经费、“双高计划”的选拔指标等挂钩。“X”证书制度试点阶段的各类支持政策不会无限期延续，失去扶植政策支持后该如何依托自身实现可持续发展，是亟待解决的难题。为提高“X”证书的认可度，迫切需要相关研究为证实其有效性提供依据。

本研究以教育部等部门主办的全国职业院校技能大赛为平台，选择养老服务技能赛项，探究COMET能力测评这一技能评价方法对被试者工作绩效水平的预测效度，以期在职业院校、技能评价组织和用人单位之间建立有效的人才培养信号，完善“人才培养—考核评价—选人用人”的人才培养链。

二、研究设计

（一）研究问题与研究假设

“X”证书的发放需要经过技能评价，评价根据学习成果的认定会出具相应的结果证明。结果证明的效度，取决于结果证明与持证者未来实际工作绩效的相关性。评价的预测效度决定着证书的质量，证书的质量是职教改革的重要问题。当前关于技能评价的研究中，缺少对评价方式预测效度的研究，基于此，本研究的核心问题在于探究“技能评价的预测效度问题”。对比应用较为广泛的三种职业能力测评工具（ASCOT、COMET 职业能力测评和行政职业能力测验）后，考虑到测试任务综合性、领域特殊性等因素，选用COMET职业能力测评方案对其预测效度进行研究。

COMET大规模职业能力测评项目是英文“Competence Measurement”（“职业能力测评”或“职业能力诊断”）的简称，发源于德国，是一个职业教育的国际比较研究项目，在多个国家开展了相关的测评活动，其内涵相当于职业教育的PISA。它采用大规模能力诊断（large-scale diagnostics）方法，对被测试者的职业能力、职业承诺和职业认同感发展情况进行评价。COMET能力模型和测评模型凭借独特的优势与特征得到广泛认同，结构效度已得到验证[3][4]。基于从初学者到专家的能力模型，在不同国家的不同专业开展了测评活动，除了针对职业教育学生的测评之外，也扩展到了对职业教育教师职业能力的测评。

COMET能力测评充分反映了设计导向、工作过程知识等当代职业教育理念，从“职业效度”的视角评价研究对象的职业能力，建构有机综合的能力模型，与职业教育培养综合职业能力的目标相契合。经济社会发展和产业结构优化升级对人才技能提出了差异化、多样化的要求，在流水线作业的技术和生产组织方式下，员工的外显性动作技能对工作绩效的影响较大;而在现行更加突出人性化的生产组织方式下，仅靠动作能力并不能直接带来高绩效，人才的高工作绩效与其综合职业能力挂钩，而非与某个单项操作的技能水平相关。综合职业能力是个体在真实工作情境中整体化地解决综合性专业问题的能力，超越了职业功能性要求，强调综合素质和发展潜能[5]。综合职业能力与“工作”息息相关，显然，对工作绩效的考察理应蕴含在COMET能力测评中。基于此，本研究將工作绩效与COMET能力测评结果之间的相关性作为预测效度的效标，提出核心假设：COMET能力测评成绩与学习者的工作绩效呈正相关。研究重点回应三个问题：一是探索COMET能力测评与工作绩效之间的相关程度;二是在功能性能力、过程性能力和设计能力三个能力层级中，探究COMET能力测评中哪些能力层级与工作绩效相关性更高;三是分析COMET能力测评中八个一级指标对工作绩效的预测效度。

（二）研究对象

依托2018年和2019年全国职业院校技能大赛养老服务技能赛项，采用整群抽样的方法，对所有参赛选手（共计147名，其中2018年64名，2019年83名）进行研究。研究对象均来自高职院校老年服务与管理专业，培养方案略有差异，部分研究对象拥有企业实习经历。

（三）数据收集

1. COMET职业能力测评

运用非标准化作品评定法，具体流程主要包含三个方面。

第一，对相关人员进行培训。在开发测试任务前，研究者需将研究目的告知职业学校教师、企业专家等相关人员，并就COMET能力测评方案及命题要求对相关人员进行培训。

第二，开发试题并进行测试。依据专业教学标准、职业标准和专业人员的建议，以COMET能力模型中“提高者”阶段的代表性工作任务为基础开发测评任务，对研究对象进行纸笔测试。通过开展实践专家研讨会确定典型工作任务，并提炼完整工作过程，据此开发次级指标。测评题目需体现开放性特征，以解题空间的方式呈现问题的解决方案，部分解题空间见表1。区别于工业技术类职业和商业类职业，针对个人的服务类职业教育重点是促进个体人格的发展与完善。因此，在对COMET测评一级指标进行调整时，要关注专业特殊性;在测评题目设计上，除了囊括传统的生活照料和技术护理外，突出对失智老年人心理的关照。经过三轮修改，开发出符合COMET方案要求的平行任务后，进行测试。

第三，评分环节。通过开设评分培训会、增加评分者数量（由原定的2名评分者扩大到7名）、试评分等手段保证评分者信度，使用Finn系数对评分者的一致性进行考察，以提升评分者评价标准的统一性。

2. 360°绩效问卷

在综合考量各类绩效测评方法后，选择使用360°绩效评估考核结果作为绩效的表征。360°绩效评估是在人力资源领域开展工作绩效评估时广泛运用的一种方式，由加州创造性领导者中心在20世纪80年代中期研究提出。研究聚焦将反馈用于提升管理效能，促进企业目标实现。由于重视反馈环节，该方法也被称为360°绩效反馈、全视角评价（full-circle appraisal）、多源评估（multi-rater assessment）等，该方法从多个角度获取组织成员行为的观察资料，使被考评者本人及其所有利益相关方都作为绩效信息来源，反馈绩效信息，最终达到提高绩效的目标[6]。其核心在于通过不同评价对象全方位地对受试者的绩效表现进行评价而使结果接近实际，体现综合绩效观。同时，用人单位、服务对象和学校等所有利益相关方的参与，也符合职业教育“产教融合”的要求。

运用问卷调查法，收集研究对象的背景信息和360°绩效评估数据。绩效问卷模型在医院规培医生360°评价问卷的基础上开发[7]，同时针对老年服务与管理专业学生的专业特征、年级阶段、工作学习特点，对测评主体、测评问卷的项目等进行针对性修改。在征求行业专家和一线工作者意见后，形成4个维度的问卷，分别是上级评价问卷、服务对象评价问卷、同级评价问卷和本人评价问卷。每种问卷有不同数量的项目，如本人评价问卷共设置15个评分项，见表2。问卷题目采用Likert五点式量表作答方式，从“偶尔”“较少”“有时”“经常”到“总是”，依次记作1～5分。通过增加评分者数量等方式保障评分者信度，最终根据问卷结果，确定每位研究对象的绩效总成绩。

（四）数据分析

对相应的研究数据进行转换。按照COMET测评的级别划分方式，将三个能力层级、8个一级指标和40个評分点的得分分别转化为百分制量纲。通过三个能力层级与COMET测评总分来测定内部一致性信度，得出Cronbach'sα系数为0.858，说明COMET测评的信度符合要求。为将工作绩效量纲与COMET测评进行统一，将绩效评价结果依照一定权重进行数据转换，使其转化为百分制量纲。针对四种评价主体，通过德尔菲法确定排序。对工作绩效进行随机分布后的折半信度进行计算，得到的折半信度系数为0.903，属可接受的范围。

数据转换完成后，筛除1人份无效数据（实操考试否定项，未纳入分析），有效数据共146人份，以选手姓名作为对应项，输入相关数据建立二维表后，纳入SPSS 26.0软件中进行分析。经过上述操作后，两种变量（COMET能力测评成绩、360°绩效评价结果）的性质均为连续分数变量，相关指标具有可比性，从而可以采用积矩相关系数（Pearson）进行相关分析。

三、研究结果

（一）COMET测评结果与工作绩效的相关性分析

将COMET能力测评成绩与360°绩效评价结果这两个非确定性关系变量的数据对应列出，得到的散点图显示二者呈现正相关趋势，相关性统计结果也证实了上述结论，如表3所示。COMET能力测评成绩与绩效成绩的相关系数为0.460，达到了显著相关水平。这说明，COMET能力测评成绩可以预测实际工作绩效，初步证实了研究假设。

分析COMET测评成绩对工作绩效预测效果较好的原因可能是：一是COMET能力测评的理念是职业导向而非课程导向，工作绩效考察职业活动中的实际表现，两者在理念上相通，均面向职业要求，区别在于前者测量被试在校期间的潜力，后者则侧重考察被试在实际工作中的表现;二是COMET能力测评考察的能力涵盖较全面，从功能性能力、过程性能力到设计能力，为良好工作绩效打下基础;三是COMET能力测评基于完整的工作过程和典型工作任务，通过获取信息、控制到评价等一系列过程，形成完整的反馈体系，对提升工作绩效大有裨益。

COMET能力测评对技能的评价与教育学对评价的理解相契合，能够探查被试者的潜力，从多元智能理论的角度出发，发现个体不同方面智力的不同水平。依据信息经济学中的信号理论，能力测评结果对工作绩效的预测可以帮助雇主判断雇员的生产力水平。证书作评价结果的证明，为劳动力市场提供质量信号，易于对高技能水平劳动者与低技能水平劳动者进行区分。评价方式的研究，有助于促进行业企业对学生完成职业岗位典型工作任务的胜任力的了解，提高企业选拔人才的效率和“X”证书的市场认可度[8];也有利于鼓励劳动者进行人力资本投资，形成对人才的激励机制，缓解人才与劳动力市场之间结构性失调的矛盾。

（二）COMET测评各能力层级与工作绩效的相关分析

针对COMET能力测评分项的各一级指标，分别就研究对象在COMET能力测评中三个能力层级的得分与工作绩效评估的分值进行相关分析，结果见图1。

分析发现，三个层级的能力值与工作绩效分值均呈现显著相关关系，说明COMET能力测评各层级能力对工作绩效均存在预测效果。其中，过程性能力与工作绩效的相关程度最高，相关系数达到0.439。这说明工作过程知识隐含于实际工作中，在工作者解决复杂问题的工作过程中被建构，与工作绩效紧密相关。工作过程知识是主观知识与客观知识的结合，包括存在于工作组织和其他工作者中的难以言明的知识，乃至工作者的生活经验[9]。面对现代社会高度复杂和专业化的生产条件，限于考察外显职业行动能力的实操考试显然无法对工作过程知识进行全面准确的考察。可见，实操考试考察的职业行动能力是高工作绩效的必要条件，而非充分条件。设计能力与工作绩效之间的相关系数为0.412，也呈现出显著相关水平。功能性能力与工作绩效之间的相关系数为0.391，超过0.30，达到了预测效度的要求。

（三）COMET测评一级指标与工作绩效的相关性

为了分析COMET能力测评结果在工作绩效预测过程中的影响因素，分别就COMET能力测评8个一级指标的得分与工作绩效评估的分值进行分析，结果见图2。

除K6（社会接受度）指标外，其余7个一级指标均在0.01水平（双侧）上与工作绩效分值呈现显著相关关系。其中，K1（直观性和展示）、K2（功能性）、K4（经济性和效益）、K7（家庭、社会与文化环境）四项指标与工作绩效的相关系数均超过了0.4;K3（使用价值和可持续性）、K5（工作过程和企业生产流程导向）、K8（创造性）三项指标的相关系数均超过0.35。

K6（社会接受度）指标不涉及具体操作，考查的是受试者对职业活动的整体理解和职业认同，需要有系统化的知识作为支撑。回归分析结果显示，K6指标与绩效几乎不相关，出现变异现象。这可能是由于用人单位（包括领导、服务对象等）在现实中有降低成本的重要诉求，对该指标的认知和要求与社会的要求存在差异，造成不同主体对社会接受度的重视程度具有差异，且绩效评价中对于这类问题的体现不充分。变异现象侧面证明了COMET能力测评在不同指标的测量上具有更为精细的颗粒度，即各指标所反映的能力都有其独特价值，可以为被试者提升相应职业能力提供更为清晰的指导方向。

对每一级指标进行横向比较发现，K4（经济性和效益）指标和工作绩效的相关系数最高，达到0.456，该指标与工作绩效中考核内容的相关性更强，体现了被试者在解答测试题目时考虑到经济性等指标，区别于在传统的学校教学中学到的限于专业性和功能性的解决方案，说明被试者已经初步掌握职业工作的理念。K1（直观性和展示）和K2（功能性）指标与工作绩效的相关系数分别达到0.412、0.409，再次印证了达到功能性能力水平的任务解决方案，已经涵盖了职业和企业亟需的多数能力[10]。

从专业特殊性层面分析发现，K7（家庭、社会与文化环境）指标相关系数排名第二，达到了0.434。作为高层次能力维度的指标之一，这一结果超出研究预期。从初始假设出发，功能性能力和过程性能力对应的相关指标更直接地反映到工作绩效中，而设计能力属于潜力的范畴，并非直接反映在当期工作绩效中。由此可知，受专业特征的影响，老年服务与管理专业更加关注家庭和社会文化，如很多养老机构都会提出“替儿女尽孝”等宣传口号，在一定程度上反映出养老机构的宗旨和使命，也反映出绩效考核时的导向。此外，属于设计能力层级的K8（创造性）指标与工作绩效的相关系数达到0.387，超过过程性能力层级的K3、K5指标，反映出与人交互的专业在工作中需要更多创造性，而非像传统工科类或者以物为工作对象的专业一样，更加关注使用价值、可持续性、工作过程和企业生产流程导向。K3、K5指标对重复性要求较高，而老年服务与管理专业开展工作的过程若仅仅是简单重复的劳动，将无法满足服务对象的多样化需求。

四、结论与建议

（一）研究结论

研究发现，COMET能力测评的成绩与360°绩效评估测得绩效的相关性较高，COMET能力测评方案8个一级指标中有7个均与360°绩效评估显著相关。因此，COMET能力测评方法对工作绩效有较高的预测效度，可作为技能评价的有效工具。鉴于COMET能力測评采用纸笔作答形式，成本低廉，未来可大规模开展。“X”证书发证的核心在于技能评价，发证的依据是技能评价的结果，竞赛的核心环节也是技能评价，在竞赛中得到实证验证的技能评价方式可以推广到“X”证书的技能评价活动中。基于此，可在“1+X”证书技能评价制度建设中引入COMET能力测评方案，形成高预测效度的技能评价方法，并对现有的标准化实操考试进行改进。

（二）相关建议

1. 应对现有“X”证书中技能评价的能力模型和测评模型进行效度分析

目前，“1+X”证书制度在有关部委的强势推动下，伴随着大量财政资源的投入，各省市的职业院校乃至应用型本科院校都积极参与其中，但“1+X”证书制度并非天然就具备“职业效度”，要保证其培养培训模式和测评模式能够达到制度设计的初衷，需要研究为其提供实证基础。缺乏相应的研究，没有科学合理的能力模型以及在此基础上开发的测评模型，不能开发出科学的测评工具。测评工具不科学，可能导致预测效度低，致使证书在预测工作绩效或者工作潜力方面效度不高，将会浪费大量的物质和时间成本。按照教育学的观点，科学的能力测评的基础是在教育学理论基础之上建立的能经过实证检验的能力模型和测评模型[11]。这就要求在审定相关发证机构的条件时，除了需要考察基本的软硬件条件外，还应该对其测评体系、测评试题、支持测评工作的理论模型进行实证研究，深入分析证书的效度，以期获得预期效果。证书的含金量受社会认可度的影响，而社会认可度与测评结果的效度、测评模型的科学性息息相关，可见技能评价工作的实施需要大量实证研究予以验证。

2. 技能評价与“X”证书的颁发应以典型工作任务为依据

本研究表明，来源于真实工作世界的标准化案例性任务，即研究中确立的典型工作任务，可以用于观察和确立被测试者的技能发展水平。完成典型工作任务不仅需要理论知识和外在的动作技能，还需要蕴含其中抽象化和普适化的解决问题的方式，这是最关键的可以迁移的技能[12]，以此为依据进行的技能评价和颁发的技能等级证书才会有实际意义。基于此，技能评价的测试题目应当尽量符合情境性测试题目的要求，即让被试者在真实工作条件下进行工作，通过对其工作行为、工作成果的观察和必要时对特殊工作环节的解释，评价其职业能力发展水平，通过解决（或未成功解决）问题的方式，揭示实际问题解决策略[13]。

3. 将多元化的评价方式应用于各类技能评价工作

不同评价方式各有优势和不足，在具体的评价实践中，应具体问题具体分析，统筹评价对象、评价内容、评价实践等要素，确定相应的评价方式。COMET能力测评对职业能力可以作出较为全面、有效的评价，不但可以诊断职业能力的水平高低及特征轮廓，而且能够有效预测未来的工作绩效。对于较高层级的技能等级考试，可重点采用COMET能力测评强化开放性和情境性评价;而对于较低层级的技能等级考试，能够考察功能性能力的实操考试就可以满足基本需求。这种组合式设计可以降低学生求职成本和用人单位的招聘成本，在社会急缺技能领域如养老服务和实操考试成本高昂的工科类专业具有重要意义。此外，不同专业（职业）可考虑采用不同的技能评价方式，如认知能力要求高而对动手能力和技巧要求不高的专业，可主要采用COMET能力测评进行技能评价;但对操作能力要求较高的专业，还要关注行动导向的实操考试。

4. 技能评价结果应与学分银行相衔接

通过“1+X”证书的学分转换机制与职业教育国家“学分银行”衔接，可以促进学历职业教育与相关职业技能等级证书建设的融合，实现复合型技术技能人才培养的推进[14]。这种衔接和转换需要对学历证书和职业技能等级证书所体现的技能进行登记、储存，进而开展学分认定、积累和转换工作，缩短修业年限，提升人才培养效率。互通、转化的基础除了硬件方面的登记、存储、转换以外，最核心的是二者在内核上具备相互转换的基础，使各级各类人才培养具有可比性的“出口标准”。目前学分银行中不同主体之间的转换暂未形成科学依据，现有的基础研究不足以支持转换的完成。若二者的课程体系、评价体系有共同的理论基础，比如均在产教融合、校企合作理念的指导下，以典型工作任务作为“1”和“X”的共同内核，则可以将两个证书体系分别涵盖的典型工作任务作为转换的依据。此外，要重视不同部门之间在资历认证上的互通，使学分银行形成跨越教育部、人力资源和社会保障部等部门的有效机制。

参 考 文 献

[1]国务院关于印发国家职业教育改革实施方案的通知[Z].国发[2019]4号，2019-01-24.

[2]中共中央、国务院印发《深化新时代教育评价改革总体方案》[EB/OL].（2020-10-13）[2022-01-26].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[3][10][11]赵志群，菲利克斯·劳耐尔. COMET职业能力测评方法手册[M].北京：高等教育出版社，2018：54-138.

[4]周瑛仪.大规模职业能力测评的预测效度——基于COMET方案在汽修、数控与电气专业领域的研究[D].北京：北京师范大学，2015：127.

[5][9]赵志群.职业教育学习新概念[M].北京：北京师范大学出版社，2021：9-23.

[6]孙健.360度绩效考评[M].北京：企业管理出版社，2003：27.

[7]何明宇.规培医师医学人文素养的360度评价研究[D].重庆：第三军医大学，2017：15.

[8]赖红，李钦，谭旭.1+X证书制度实施的现状分析与改进建议——基于培训评价组织参与的视角[J].职业技术教育，2021（30）：47-51.

[12]HACKER， W. Knowledge diagnosis winfried hacker[C]//RAUNER， F.， MACLEAN， R.Eds. Handbook of technical and vocational education and training research. Dordrecht： Springer， 2008：656-660.

[13]赵志群，孙钰林，罗喜娜.“1+X”证书制度建设对技术技能人才评价的挑战——世界技能大赛试题的启发[J].中国电化教育，2020（2）：8-14.

[14]吴南中.基于学分银行的1+X证书成果学分转换：价值意蕴与推进路径[J].成人教育，2021（10）：51-56.

Research on the Skills Evaluation Modes in the Reform of Vocational Education

——Taking the Predictive Validity of COMET Skills Evaluation Method on Job Performance as the Case

Sun Yulin， Zhao Yishu

Abstract  The validity of skills evaluation is an important factor affecting the quality of vocational skills level certificate. Taking the National Vocational College Skills Competition sponsored by the Ministry of Education as a platform， select the elderly care service skills competition， and use the COMET to evaluate the skills of the candidates， and then conduct performance evaluation of their employment or post-job practice in the short and medium term. The follow-up investigation is expected to provide an empirical basis for the development of skills evaluation work. The study found that the relationship between the COMET results and the job performance assessment results tends to be strongly correlated; among the three competency levels of the COMET， the processual competence has the highest correlation with job performance; among the eight first-level indicators in the COMET， except for social acceptance， the rest of the indicators are positively correlated with job performance. Based on this， it is suggested to improve the analysis of competence model and evaluation model; in practice， it should be based on professional tasks， flexibly use a variety of evaluation methods， and strengthen the link between skills evaluation and credit bank system.

Key words  vocational education; skills evaluation; COMET competence evaluation; job performance; predictive validity

Author  Sun Yulin， associate professor of Beijing Social Management Vocational College （Beijing 102600）; Zhao Yishu， master candidate of Faculty of Education of Beijing Normal University