杨存霞，孙瑞华，顾泽龙，黄 傲，王雨萌，李 欢

（1.北京中医药大学 管理学院，北京 100029；2.中日友好医院 科研和学科建设部，北京 100029）

中日友好医院自主科研课题结题绩效评估指标体系[1]是结合院级课题的特点以及“重立项审批，轻结题评估”的现象确定，旨在通过建立指标体系加强课题结题管理。 通过实际应用效果评价中日友好医院自主科研课题结题绩效评估指标体系，将为指标体系进一步的完善和应用提供依据。

1 对象与方法

1.1 研究对象

本研究以已建立的中日友好医院自主科研课题结题绩效评估指标体系[1]为研究对象，该指标体系分为计划执行情况、项目产出情况、课题产出预期3 个部分。满分100 分，计划执行情况35 分、项目产出情况40 分、课题产出预期25 分[1]。

1.2 研究方法

从学术委员会成员中选取课题研究领域与评价项目相关的12 名专家， 除1 名专家缺席外，其余11 名专家在听取课题负责人的总结报告之后，应用中日友好医院自主科研课题结题绩效评估指标体系`，根据答辩情况，分别对2010 年中日友好医院12 个院级科研课题重点项目结题绩效进行评价。

通过可信度评价指标获取数据的可靠程度[2]，指标的可信度反映指标取得所需数据的难易程度，表现为不同专家评价同一指标的一致性程度。一致性程度较大， 专家可以依据指标标准较统一地做出评价，评价数据是可信的。 相反，一致性程度较小，可认为专家对指标标准的理解有分歧，指标的评价数据不可信。 通过可区分度评价指标区分项目不同水平的能力， 可区分度表现为评价不同项目时专家评分的离散程度， 离散程度越大说明指标包含信息越多， 专家区分项目水平的标准越多，指标区分不同项目水平的能力越强。

通过专家的横向离散率评价指标可信度的可靠程度， 横向离散率反映某专家评分与其他专家评分的一致程度， 横向离散率越小说明专家评分越接近专家总体评价结果。 可信度反映评价过程中专家的总体离散程度， 而无法体现单个专家评价结果与整体结果的一致性。 剔除横向离散率异常的专家，可提高指标可信度的可靠性。 同样，指标的可区分度无法体现个别专家对项目的区分情况， 可通过专家纵向离散率评价指标可区分程度的可靠性， 专家的纵向离散率是专家评价不同项目时，评分的差异大小[3]。 剔除纵向离散率明显区别于其他专家的纵向离散率的专家可提高指标可区分度的可靠性。 本研究为保证离散率的单位与原数据单位一致，数据结果更具说服力，采用离散率标准差的形式衡量专家评分的波动情况[4]。

2 结果

指标体系的评价内容包括计划执行情况、实际产出情况、产出预期情况。计划执行情况对课题的目标、内容完成情况评价，是课题管理的重要方面，引导课题方向，体现课题管理的功能。 实际产出情况反映在结题评价时课题已体现的产出情况，是依据具体的产出结果得出，其滞后性将不能使课题的成果在结题时充分体现。 产出预期评价是依据课题完成的工作， 对课题完成预期结果可能性的判断，可能性越大，项目的绩效情况越好，产出预期情况的评价提高了项目绩效评价的完整性，有利于项目管理。

表1 指标体系评价结果（分）

表2 指标体系的三部分指标两两之间的相关度

表3 专家横向离散率、纵向离散率结果

应用指标体系评价12 个项目， 结果见表1。各项目绩效总分经正态性检验，W=0.96，P=0.81，服从正态分布。 各项目90%分位数为84.06，10%分位数为64.93，按照评价10%的项目绩效为优，10%的项目绩效为差的管理模式，3 号和5 号项目绩效评价等级为优，11 号和12 号项目绩效评价等级为差，其他项目等级为中、良，符合科研过程目标管理，一定程度上达到科研管理目的，显示指标体系能够有效、 合理地评价出不同绩效水平的课题。

指标体系整体可区分度95.44，结合各课题绩效评价结果，表明指标体系指标信息充分，能较好地区分不同绩效水平课题。对指标体系整体、计划执行情况和产出预期情况做可信度分析， 指标体系整体可信度为60.13，计划执行情况、预期产出情况的可信度分别为276.55 和221.88。 本研究数据与参考文献[2]数据均已经过标准化，具有可比性。 文献中认为可信度在300～400 就比较可靠[2]，可信度得分越低，可信度越高，本研究均＜300，说明指标体系及计划执行情况、 预期产出情况结果均可信，各指标不易使专家产生误解。分析指标体系的计划执行情况、项目产出情况、课题产出预期情况间的相关度，结果见表2。 结果显示，各相关系数均无统计学差异（均P＞0.05），显示指标间不存在相关性， 即指标体系的三部分指标均为独立指标，评价内容不重复，可从不同角度反映课题情况，反映了指标体系指标设置的合理性。

专家横向离散率会影响指标的可信度， 专家纵向离散率会影响指标体系可区分程度。 分析专家横向离散率与纵向离散率， 检验指标体系可信度可区分度的可靠性。计算离散率时，认为大多数专家的评价结果可靠[3]，各专家的评价结果与专家平均的整体评价结果趋势一致， 说明各专家对各课题绩效的优劣认知是一致的。

横向离散率结果见表3， 经正态性检验W=0.95，P=0.63，服从正态分布，均值7.39，95%置信区间为（5.74，9.05），7 号、8 号、9 号专家的横向离散率大于总体均数95%置信区间上限，显示这三位专家评分与平均评分相差相对较大， 但三位专家评价结果的取向与总体评价一致， 说明原因是三位专家的评价尺度与专家平均的评价尺度有一定差别，但优劣的判断是相同的。纵向离散率结果见表3，经正态性检验W=0.93，P=0.39，服从正态分布，均值11.22，95%置信区间为（9.61，12.83），5号、8 号、10 号专家的评分大于可信区间上限，提示可能夸大课题间的差别，4 号、7 号专家的评分小于可信区间下限， 提示可能未能将课题间的差别充分体现。

分别对各位专家评价结果与专家的平均分进行Pearson 相关检验， 各相关系数的P值均小于0.05， 说明各专家评分与专家平均分之间均存在良好的相关性。 综合各专家的横向离散率、 纵向离散率及相关系数的分析显示， 尽管评审专家在使用指标体系时存在个体差异， 但其属于合理的系统误差和随机误差， 没有导致评审结果的取向不同，指标体系有较好的可信度可区分度。

3 讨论

中日友好医院自主科研课题结题绩效评估指标体系用于评价院级课题结题绩效合理可行，且可以此评价加强结题绩效管理。 指标体系的可信度、可区分度结果较好，说明运用该指标体系可全面有效地评价课题结题绩效， 能够实现对课题结题的绩效评价和管理。

与医院战略实施相脱节是很多绩效评价方法存在的问题，课题结题绩效评价，以往大多局限于评价课题的单纯产出， 但课题产出的滞后性导致结题时产出并不全面完整， 且评价忽略了课题计划的执行情况，以及课题的期望产出评价。评价指标体系计划执行情况既可反映课题计划的依从性，又可以引导课题按计划方向进行；评价预期产出可较好的评价课题目标完成情况， 体现结题绩效评价的合理性和公平性， 能够对课题产出的滞后性进行一定的提前预评， 相对完善地评价课题结题绩效。 中日友好医院自主科研课题结题绩效评估指标体系评价计划执行情况、实际产出情况、产出预期情况，能够较好的实现科研管理功能，结果更加全面合理。 通过从各个角度评估指标体系的实际应用情况， 显示指标体系的实际应用效果令人满意。

根据赫伯特·西蒙的有限理性理论，“‘管理人’的知识、信息、经验和能力都是有限的，他不可能也不企望达到绝对的最优解， 而只以找到满意解为满足。 ”该指标体系旨在成为一个初步的，现阶段合理可行的评估模型。根据研究结果，该指标体系的应用结果是令人满意的， 在实际应用过程中是合理可行的，随着未来的实践应用，还将得到进一步的完善和改进。

[1] 王媛媛，孙瑞华，樊凡，等.医院自主科研课题结题绩效评估指标体系的建立与研究[J].中华医学科研管理杂志，2013，26（5）：303-308.

[2] 刘鲁宁. 科技项目同行评议体系反评估模型分析与设计[D].哈尔滨工业大学，2007.

[3] 张立军，罗珍，曹玮，等.科技成果奖励评价中对专家的反评估分析[J].统计与信息论坛，2008，23（10）：14-17，51.

[4] 樊凡，孙瑞华，杨存霞，等.医院自主科研课题结题质量评估研究[J].中华医院管理杂志，2013，29（10）：795-798.