成都市疾病预防控制中心（610041） 张 双 庹晓莉 曾 伟

基于模糊综合评价法的应急培训项目效果评估模型设计

成都市疾病预防控制中心（610041） 张 双 庹晓莉 曾 伟△

目的构建应急培训效果评估模型，不断改进和完善培训效果评估工作。方法采用德尔菲专家咨询和模糊综合判法构建指标体系和效果评价。结果对34名专家开展两轮咨询，专家权威均在0．77以上，平均值约0．80，第二轮专家意见协调系数经检验有统计学意义（P＜0．05），咨询结果可靠。效果评估体系共包括4个一级指标（反应层、学习层、行为层、结果层）和16个二级指标，并确定了指标权重。构建的模糊综合评估模型可以评估培训的总体效果和各层次培训效果，各层实施评估的时间依次在培训期间、培训刚结束、培训后3个月以及更长的时间。评估方法可采用问卷法、关键人物访谈法、目标考核法、资料收集法等。结论构建的效果评估模型科学、合理、可靠，具有一定可操作性和推广价值。

应急培训 效果评估 德尔菲法 模糊综合评价

为提高我市疾控队伍应急管理与现场处置能力，我中心于2012年启动了成都市现场流行病学培训项目，至今已举办4期。培训质量及效果如何，学员所学知识和技能有多少运用到工作当中，培训的预期目标是否达到？暂未进行过深入系统的评估。现有的评估多是通过简单的问卷进行单一的评价，培训人员关注的是培训过程的讲授和指导，忽略了培训前的计划，培训中期的质量控制以及培训后效果与工作绩效的有效结合［1］。如何提高培训成果的转化率成为急需解决的课题，效果评估即成了培训工作的重要环节。基于此，本课题尝试以我市现场流行病学培训项目为例，构建一套应急培训效果评估体系。

资料与方法

1．理论基础 采用柯氏评估模型作为评估的理论基础。该模型是国际著名学者威斯康星大学教授唐·柯克帕在1959年提出的四层次模型，根据评估的深度和难度将培训效果的评估分为4个递进的层次：反应层、学习层、行为层和效果层［2］，见表1。

表1 柯氏评估模型

2．评估体系构建思路 应用德尔菲专家咨询法筛选评估指标，计算指标权重系数，运用模糊综合评判法对培训效果进行综合评价；对效果评估的具体实施进行设计（包括评估对象、评估工具、评估时间等），完成评估体系的整体构建。

3．德尔菲法

（1）专家咨询

以柯氏四层次模型为指标体系基础框架，结合现场流行病学培训项目背景和目的［3］，初步拟定评估指标［4］，编制咨询问卷，进行2轮德尔菲专家咨询。请专家对指标的重要性进行评判，并自行评价对指标的熟悉程度（Cs）及判断依据（Ca），同时收集专家对评估指标体系的相关建议。重要性、专家熟悉程度以及判断依据，根据不同程度，依次赋值［5］，量化见表2。

表2 重要性、熟悉程度、判断依据量化表

（2）专家咨询可靠性估计

专家咨询的可靠程度一般用专家积极系数、专家权威程度和专家意见的协调系数来衡量。专家积极系数一般用问卷回收率来表示。专家的权威程度Cr＝（Cs＋Ca）/2，在0～1之间，值越高表示专家权威程度越高。专家意见的协调系数W，在0～1之间，值越高表示专家对全部指标评分的协调程度越好；计算协调系数并进行显著性检验判断专家对各项指标的评价是否存在较大分歧。

（3）指标筛选及权重确定

采用界值法［5］筛选评价指标，同时结合专家意见进行取舍。采用加权均值法计算指标权重，wj＝将指标（j）重要性均值（j）与权威程度均值的乘积做分子，该指标归属的某上级指标下所有m个指标重要性均值与权威程度均值的乘积累积之和做分母，两者的比值为该指标的权重系数，

4．数据处理与方法

采用Epidata建立数据库，SPSS18．0进行数据分析。计算各项指标的重要性均值、标准差、满分比、变异系数、专家积极系数、专家权威程度、专家意见协调系数、指标权重，构建模糊综合评估模型。

结 果

1．咨询专家的基本情况

共咨询公共卫生领域专家34名，其中高级职称20名（58．8%），中级职称14名（41．2%）；平均工作年限17年。24人（70．6%）来源于卫生技术部门，4人（11．8%）来源高等院校，6人（17．6%）为我市国家现场流行病学培训项目毕业学员。

2．咨询结果的可靠性估计

两轮咨询发出问卷34份，回收有效问卷34份，专家积极系数为100%；经计算，一级、二级指标专家权威程度在0．77～0．83，平均值为0．80。一般认为，专家权威程度≥0．70为可以接受［6］；专家意见的协调系数，如表3所示，第二轮高于第一轮，意见趋于一致。一级、二级指标的W分别为0．242、0．433，且经χ2检验后，P均小于0．05，有统计学意义，说明专家意见协调性较好，对指标权重的估计较为稳定可靠，结果可取。因此指标权重的计算采用第二轮咨询结果。

3．筛选指标并确定指标权重

根据界值法计算结果，所有初选指标均保留，结合专家意见，对部分指标解释更具体，对部分指标内容进行了扩展。评估体系最终包括4个一级指标，16个二级指标，具体解释及权重系数见表4。

4．构建培训效果模糊综合评估模型

步骤一：建立指标权重集A，见表4。

步骤二：建立评语集

根据评价决策的实际需要，将评估效果按程度划分为优、良、中、差四个等级。即评语集V＝（优、良、中、差）＝（v1，v2，v3，v4）

步骤三：建立模糊矩阵

模糊矩阵用Ri表示，Ri＝（Rij1，Rij2，Rij3，Rij4），其中Rij＝eijv/K，K为参加考评的总人数，v＝1，2，3，4，表示评估效果的等级。eijv为ij指标考核结果中等级为v的人数。可得到以下模糊评估矩阵Ri为：

以学习层为例（A2），若有100人参加考核评估，学习表现优、良、中、差的人数分别为45人、33人、12人、10人，则R211＝0．45，R212＝0．33，R213＝0．12，R214＝0．10。理论知识考试优、良、中、差的人数分别为60人、20人、15人、5人，则R221＝0．60，R222＝0．20，R223＝0．15 R224＝0．05。实践操作考核优、良、中、差的人数分别为55人、27人、11人、7人，则R231＝0．55，R232＝0．27，R233＝0．11，R234＝0．07。案例分析考试优、良、中、差的人数分别为50人、32人、12人、6人，则R241＝0．50，R242＝0．32，R243＝0．12，R244＝0．06。得如下矩阵：

根据此步骤，可以得出反应层、行为层和结果层的二级指标模糊矩阵R1、R3、R4。

对R1、R2、R3、R4进行初始模糊综合评判，Bi＝Ai*Ri，得B2＝（0．5245，0．5770，0．1377，0．0344），经归一化处理后B2＝（0．41，0．45，0．11，0．03）。可知，“良”这一等级的隶属度（比例）最高，“差”隶属度最低，可以认为，该培训学员的学习效果多为良好。根据此步骤，计算出B1、B3、B4，得出其他各层的评判效果。

步骤四：确定模糊综合评判结果

（1）模糊综合评判效果。

本研究培训效果模糊综合评判结果为B＝A·R

（2）模糊综合评估值

因评估效果分为优、量、中、差四个等级，按4：3：2：1比例进行划级，按百分制计算综合评估值。假设本研究综合评估结果B＝（0．25，0．40，0．21，0．14），则模糊综合评估值S＝B×V，其中V＝（100，75，50，25），据此，亦可计算出各层的评估值。

综合评估值S＝0．25×100＋0．40×75＋0．21× 50＋0．14×25）＝69

表4 应急培训效果评估指标体系及指标权重

学习层评估值S2＝0．41×100＋0．45×75＋0．11 ×50＋0．03×25）＝81

5．实施设计

对评估的时间和方法、工具进行设计：反应层在培训期间评估，采用问卷法、访谈或观察等；学习层在培训期间和培训结束后尽快评估，采用考勤、观察法、测试和演练等；行为层在培训结束后3个月或较长时间内评估，结果层在培训结束6个月－12个月后评估，可采用行为观察法、关键人物访谈法、资料收集法以及目标考核等方法。

讨 论

1．指标体系的全面性及推广性：指标的选取，涵盖培训环境对效果的影响，知识技能的改善，培训后行为和绩效提升等多方面，紧扣现场流行病学培训项目内容，指标选取合理、科学、全面。同时，该体系指标具有较强的通用性，绝大多数指标亦适用于其他培训，推广性较好。

2．指标设置的重要性和整体性：通过指标权重系数可知，学习层和行为层权重系数相对较高，但各层相差不大，提示在开展现场流行病学培训以及效果评估的时候，有侧重点，但均需兼顾，做好培训保障、教学、成果转化及跟踪管理等工作，以确保总体效果。

3．模糊综合评估模型的优势：模糊数学对不确定现象往往能进行很好的说明和解释［7］，本研究利用这一特点，对培训效果这一模糊的概念进行综合评价，更趋于合理可靠。且该模型既可以评估培训效果整体情况，还能分析各层次培训效果，便于培训的不同主体对与目标培训有差距的地方进行分析和改进，有效实现培训效果的结果反馈［8］。

4．评估模型的可操作性：该模型虽暂时未能在实践中得到应用，但对各指标都进行了详细释意，且对反映层、学习层、行为层和结果层的评估方法或工具，评估对象以及评估时间都进行设计，具有一定可操作性。

［1］王玲．GTH公司内部培训效果评估方案设计．广东：广东工业大学，2012：1-67．

［2］Donald K．Great ideas Revisited：Revisiting Kirkpatrick｀s Four-Lever Mode．Training and Development，1996（1）：54-57．

［3］曾光．现场流行病学及中国现场流行病学培训项目．中华流行病学杂志，2003，24，（4）：322-324．

［4］Bhatnagar T，Gupte MD，Hutin YJ，et al．Seven years of the field epidemiology training programme（FETP）at Chennai，Tamil Nadu，India：an internal evaluation．Human Resources for Health，2012，10（36）：1-7．

［5］曾光主编．现代流行病学方法与应用．北京：北京医科大学中国协和医科大学联合出版社，1994：250．

［6］刘欢，吴晶，刘军安，等．村卫生室基本药物制度绩效评价指标体系构建研究．中国卫生统计，2015，12，32（6）：935-938．

［7］孙振球主编．医学综合评价方法及其应用．北京：华西工业出版社，2006：103．

［8］张波．重庆市公务员培训效果评估体系研究．重庆：重庆大学，2009：1-56．

（责任编辑：刘 壮）

△通信作者：曾伟，E-mail：3004658＠qq．com