APP下载

创新型医院青年人才综合评价指标体系构建及效果评价研究

2023-10-28李伊南吴才波吴冕田昕

中国社会医学杂志 2023年5期
关键词:指标体系权重专家

李伊南, 吴才波, 吴冕, 田昕

创新型医院是一种建立在创新基础上的医院组织形式,将创新力作为医院的核心竞争力、将人才培养作为医院创新的根本动力,从而推动医院发展[1]。当前,建设创新型医院是现代化大型医院的发展趋势,而青年人才作为医院人才中的后备力量,培养青年人才、用好青年人才、激发人才创新活力显得尤为重要[2]。随着“科学设立人才评价指标” “树立正确的人才评价使用导向”等国家层面指导意见的提出,评价人才的重点转向了标志性成果的质量、贡献、影响,以及尊重和认可团队所有参与者的实际贡献[3]。既往研究中已提出人才评价存在着标准单一化、评价机制与培养过程错位的问题[4-5],因此,本研究以政策为导向,以强化医院青年人才的创新能力要素为方向,构建青年人才现状综合评价指标体系,从而评价创新型医院青年人才现状;同时,为评判所构建指标体系的实用性,选取北京市某综合三甲创新型医院青年人才项目(即“友谊种子计划”人才项目)进行实证研究,评价该项目运行前后青年人才的培养效果,为进一步为优化青年人才培养提供理论支持和实践支撑。

1 资料与方法

1.1 指标体系构建

1.1.1 专家选择本研究应用德尔菲法构建医院青年人才综合评价指标体系。采用经验选择法邀请来自医院与卫生行政部门的具有5年以上人才培养工作经验的11名专家[6],组成专家咨询组。

1.1.2 确定指标运用文献调查法和德尔菲法,通过查阅国内文献与政策文件[7-11],以科技产出指标作为基础,同时将指标体系建立与人才培养项目相结合,纳入青年人才的成长以及培养后所形成的社会影响指标,制定并发放专家咨询问卷,共进行2轮。专家需要对各指标的重要性、熟悉程度与判断依据进行评分,对指标提出修改、增加或删减等意见,在每轮收回后根据各指标重要性均值与变异系数(Cv)(当指标重要性均值小于4或Cv>0.25时考虑删除该指标)对指标进行调整,最终形成医院青年人才综合评价指标体系。

1.1.3 评分标准专家对指标体系中各评价指标影响医院青年人才成长效果的重要程度进行评价,赋予1~5分值,1分为最不重要,5分为最重要。专家权威程度由各专家对各一级指标的熟悉程度与判断依据两方面组成。对熟悉程度的评价分为很熟悉、熟悉、一般、不太熟悉、不清楚,分别赋值1.0,0.8,0.6,0.4,0.2;判断依据分为工作经验、理论分析、国内外文献、直观感受四方面,分别赋值为工作经验(0.5/0.4/0.3)、理论分析(0.3/0.2/0.1)、国内外文献(0.1/0.1/0.1)、直观感受(0.1/0.1/0.1)。

1.1.4 指标计算本研究以问卷回收情况来反应专家积极系数,积极系数越高,表明专家对参与本研究的积极性越高。专家积极系数=回收有效问卷数/发放问卷数×100%。专家权威程度以专家权威系数(Cr)反映,通过一级指标的熟悉程度(Cs)与判断依据(Ca)来计算专家权威系数(Cr),Cr=(Cs+Ca)/2,Cr越大,表明专家意见越有参考价值,其结果越可靠。Kendall'sW系数反映专家协调程度,应用SPSS软件,利用两轮指标体系中各指标的重要性评分计算Kendall'sW系数。

1.1.5 确定权重应用百分权重法确认各指标的权重,权重计算的方法是根据各个指标的均值,对其同一维度下的指标进行求和归一化处理,得到各指标的权重;应用乘积法计算三级指标的组合权重,三级指标的组合权重为其权重与所隶属的二级指标、一级指标权重的乘积。

1.2 医院青年人才培养前后效果差异实证研究

1.2.1 研究对象选取北京市某综合三甲创新型医院“友谊种子计划”人才项目中已于2018-2020年度完成第一批培养的42名医院青年人才作为研究对象。该人才项目以三年为一个培养周期,给予每名入选者科研经费、导师团队、人才津贴、出境培训等“四项支持政策”。针对入选者的个性化需求,在导师团队方面可选择院内单一导师、院内不同专业方向导师、院外导师,在出境培训方面可选择是否要出境培训。

1.2.2 人才评价方法应用已构建的医院青年人才综合评价指标体系[12],从医院科研系统导出三级指标数据,其中定性指标数据用构成比描述,定量指标用均值描述,计算医院青年人才培养前后各指标的差异。

1.3 统计学方法

利用SPSS软件,对定量指标采取配对样本Wilcoxon符号秩检验,对培养前后的的差异进行分析;对定性指标采取McNemar检验分析其培养前后的差异,以P<0.05为差异有统计学意义。

2 结果

2.1 专家基本情况

本研究中两轮问卷的回收率分别为91%和100%,问卷回收有效率均为100%,问卷回收有效率越高,专家的积极性越大。此外,6位专家在第一轮问卷时提出了建设性的修改意见,说明专家对此研究有较高的积极性。所选专家在其卫生机构和卫生行政机构中,具有丰富的临床经验和卫生管理经验。研究中8名专家的工作年限大于16年;4名专家的学历为博士学历;9名专家的职称为副高级及以上;所有专家对医院青年人才培养工作均为熟悉或很熟悉。专家权威系数Cr大于0.7,表明专家的权威程度较高,专家意见具有可靠的参考价值。专家判断依据(Ca)、熟悉程度(Cs)和权威系数(Cr)见表1。肯德尔协调系数Kendall'sW是检验专家对指标的评分结果是否一致的指标,第一轮Kendall'sW系数值均大于0.3,第二轮较第一轮有改善,说明专家意见趋于统一。见表1、表2。

表1 专家的权威程度

表2 专家的协调程度

2.2 建立评价指标体系

本研究中,第一轮咨询问卷包括3个一级指标、8个二级指标和32个三级指标,经过第一轮专家咨询,根据专家意见及分析结果,删除了“SCI论文总IF” “SCI论文数量” “是否取得副教授及以上教学系列职称” “是否获得院级及其他级别科技成果奖” “取得实用新型专利数量”等8个指标,增加了职称晋升下的三级指标“是否取得职务晋升”、研究能力下的三级指标“是否能够独立设计高水平临床研究试验”、学术影响下的三级指标“是否参与科学普及、对口支援等活动”、科研奖项下的三级指标“是否获得国际顶尖学术组织或会议的奖项”等4个指标。经过第二轮的专家咨询,“是否取得副教授及以上教学系列职称” “是否为研究生导师” “是否担任省部级医学会二级学会青年及以上委员” “是否参与科学普及和对口支援等活动” “取得发明专利数量” “科技成果转化项目收益”6个指标的均值都小于4,表明专家认为这两个指标的重要性不足,不满足纳入标准,因此删除,最终形成3个一级指标、8个二级指标和24个三级指标的评价指标体系。见表3。

表3 评价指标体系

2.3 项目实施效果实证研究

为进一步体现上述评价指标体系的实践性,进行实证研究,其中来自临床医技科室的有35人,占83.3%;女生23人,占54.8%;初级职称略多,占45.2%;35岁以下29人,占69.0%;工作年限在10年以下的39人,占92.9%;导师情况分布较为平均;有出境学习计划而未出境学习的有31人,占73.8%。见表4。

表4 医院青年人才基本情况

对医院青年人才培养前后的各项指标进行分析,18项指标在培养前后的差异具有统计学意义。见表5。

表5 各指标培养前后差异情况

3 讨论

3.1 评价指标体系建立及意义

本研究基于创新型医院的科技成果评价导向和人才培养成长规律,确立了以3个一级指标、8个二级指标和24个三级指标建成的综合评价指标体系,在纳入“科研成果”的基础上,着重增加有利于体现人才创新价值和个人影响的评价体系。从3个一级指标来看,“科研产出”和“个人成长”为权重最高的评价项目,“社会影响”的重要程度弱于前两者,表明在进行人才评价时,专家已经将“个人成长”因素纳入考量范畴内,且得到与“科研产出”相同等的重要地位,个人能力的提升被认为是人才培养项目的重要组成部分。从8个二级指标来看,整体二级指标的权重均较为接近,其中权重较高的评价项目为“科研项目”和“科研论文”,说明评价人才的标准因政策导向的转变而调整,该指标体系同时强调了除“论文”之外的其他方面,具有一定的现实意义。从24个三级指标来看,权重较高的4个指标是“是否担任中华系列学会二级学会青年及以上委员” “科技成果转化项目数量” “入选国家级人才项目数量”和“入选省部级人才项目数量”,表明该指标体系在评价人才时更加注重青年人才的综合能力、影响力以及在团队中的贡献程度,建立真正适用于医院青年人才的评价体系。本研究依据政策导向,结合专家咨询结果计算出权重,构建客观性较高、评价指标较为具体、可量化的指标体系,以便用于全面了解创新型医院青年人才的培养现状。

3.2 指标体系实证研究结果分析

本研究运用“医院青年人才综合评价指标体系”评价创新型医院青年人才培养情况,选择了“友谊种子计划”人才项目中已完成周期培养的42名人才进行实证研究,根据得分了解人才项目的培养情况,尤其是人才项目存在的问题。从项目实施效果来看,在24个三级指标中有18个指标在培养前后差异具有统计学意义(P<0.05),可认为该人才项目整体运行效果较好,但在一些方面还存在需要完善的空间。在“中科院I区论文数量” “ESI高被引论文数量” “SCI论文单篇最高IF”方面差异均存在统计学意义,但“论文被国际国内指南引用数量”不具有统计学意义,说明目前存在科研产出以基础研究为主,未能形成有影响力且能够解决临床应用问题的指导性文章,与该人才项目未有效区分临床型和研究型人才的培养路径、培养导向单一化有关,以致培养后的成果方向趋于一致。此外,在“是否获得过国家自然科学基金面上项目” “入选国家级人才项目数量” “是否获得国家级科技成果奖” “是否获得省部级科技成果奖”方面,均为对青年人才更高标准的要求,该人才项目还需要进一步倾斜资源,使青年人才在某一专业方向有针对性的积累成果,冲击高层次项目及奖项。在“是否获得国际顶尖学术组织或会议的奖项”方面,与培养期间发生疫情有一定关系,还需要疫情改善后的数据加以验证。在“科技成果转化项目数量”方面,因最终的指标体系中关于成果转化仅保留了一条指标,可能存在专家对于成果转化了解不深入的情况;此外,对于研究对象的观察周期不够长,成果转化的项目相比课题项目较少,在项目数量方面不容易有显著性增长。将评价指标体系作为评价工作定期定量对人才项目培养情况进行检查,既可以发现青年人才培养现状与创新人才需求的差距,又可以发现人才项目在培养过程中的薄弱环节,有助于在实践中调整和完善人才项目引导方向,为青年人才培养提供可靠的理论依据[13];同时,该指标体系也可作为一种基本评价工具在青年人才培养方面进行推广运用,将得分结果与培养反馈相结合,推动创新型医院青年人才发展。

因本研究所讨论的研究对象为已完成培养的医院青年人才,自该医院设立“友谊种子计划”人才项目以来,仅培养完成了第一批42名青年人才,故实证研究样本较小,可进一步扩大样本量后再进行验证。此外,本研究所构建指标体系虽具有普遍性,但可根据不同医院青年人才的发展方向和类型进一步细化评价指标体系,尤其在医院青年人才发展的后期阶段,可根据内外科等专业方向特点,临床型、科研型等发展类型,调整部分三级指标权重,以符合不同类型的医院青年人才评价需要。

猜你喜欢

指标体系权重专家
致谢审稿专家
权重常思“浮名轻”
为党督政勤履职 代民行权重担当
基于公约式权重的截短线性分组码盲识别方法
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
请叫我专家
专家面对面
层次分析法权重的计算:基于Lingo的数学模型
测土配方施肥指标体系建立中‘3414