乔 佳, 蔡 昊, 丁 斌, 王馨培

(北京市燃气集团研究院,北京100020)

1 概述

对于企业来说,科研项目是支撑并推动企业高质量发展的技术基础,建立合理的评价体系,在成果评价的基础上多维度开展科研项目全生命周期评价,对于精准有效立项、优化过程管理、合理支配经费、促进人员培养等方面都将起到一定的促进作用,使企业的科研项目实现良性循环。

2 国内外科研项目后评价方法综述

科研项目后评价,是指在科研项目实施一段时间后,对项目的前期工作、实施情况及应用效果进行的再评价[1]。遵循一定的原则、程序和评价指标,运用科学、公正和可行的方法,按照有关规定和规范化要求,依据项目的实际数据和必要的预测数据,对科研项目的执行过程、效益作用和影响等进行系统、客观的专业化评判,并通过评价结果进行反馈。国内外对科研项目的评价理论、方法及应用做了大量研究,研究方向主要是评价科研项目绩效,并根据绩效评价结果对各个项目进行横向比较,已形成较多切实可行的评价方法[2]。

就企业科研项目后评价而言,并没有通用方法,需要在具体评价实践中,根据不同项目、不同目的确定不同的评价方法。比较常用的方法是同行评议法、层次分析法、综合评价法、模糊评价法等。

2.1 同行评议法

同行评议法可以定义为由从事该领域或接近该领域的专家,按照一定的评议准则,对一项研究工作或科技成果的价值进行评价的一种方法。同行评议法在国内外多用于评审科研项目申请或者评定论文、专利等科研成果的发表和申报[3]。例如英国皇家学会刊物最早利用同行评议开展论文评审;美国国家科学基金会采用同行评议评审科研项目,以决定是否予以资助。

2.2 层次分析法

层次分析法是美国匹兹堡大学运筹学家托马斯·塞蒂于20世纪70年代提出的一种层次权重决策分析方法。本质上是一种决策思维方式,把复杂的决策问题分解为各个组成因素,并将这些因素按支配关系分组,形成有序的递阶层次结构,通过两两比较的方式确定层次中诸因素的相对重要性,然后综合人的判断以决定诸因素相对重要性的顺序,从而计算各项评价指标权重[4]。

2.3 综合评价法

综合评价法是对多种因素所影响的事物或现象进行总的评价。它的基本思想是根据综合评价的目标,对客观事物的影响因素进行分解,以构造不同层次的统计指标体系,然后对这些指标进行指标赋值并确定其权重,最后采用综合评价模型进行综合,得到综合评价值,以此进行排序和评价。综合评价法包括线性加权和、对数线性加权和、混合加权和等方法[5]。

2.4 模糊评价法

基于模糊理论,采用模糊语义算法,构建科研项目评价模型,由评审专家按照科研项目评价表对科研项目评分,然后采用模糊集方式表达,将各抽象的准则转为量化的三角模糊数,然后进行排序评价。

3 企业科研项目后评价分类和意义

3.1 企业科研项目分类

① 应用类研究

基于解决日常工作、生产经营中的痛点及难点问题开展应用类研究。这一类研究主要以应用转化研究为主,通过科研项目的开展,将基础类、理论类的科技成果进行转化并在企业中进行应用。

② 前瞻性研究

指引企业高质量发展的前瞻性研究,指在企业发展战略的指引下,为拓展业务领域所开展的新产品、新技术的适用性研究。这些研究虽然在短期内无法看到实际的成果转化效果,但是通过科研项目结束后的示范作用和不断改进,仍能凭借其技术优势引领企业发展。

③ 软科学研究

软科学研究指为企业发展所开展的政策解读分析、市场前景研究,以及为提升企业在行业中的话语权所开展的政策市场类研究。这类项目研究成果不及前两类项目研究成果有显著效益,但是对于企业的良性发展及行业影响力的提升有着必不可少的作用。

3.2 企业科研项目后评价的意义

① 有利于提高科研项目管理水平

通过进行项目后评价,衡量和分析项目实施的实际情况与预计情况的差距,从而总结经验教训,从而使项目管理人员提高科研项目管理水平。

② 有利于成果应用和转化

企业科技成果除了可以在企业内部转化,解决企业自身的重点、难点问题以外,还应该专注市场化的转化,把自身科技成果应用于整个行业,提高行业的科技发展水平。国家提出要健全多元化科技成果市场交易定价模式,加快建设现代化高水平技术交易市场。建立科学、合理、客观的科技成果评价机制是实现这一目标的基础条件。

③ 有利于企业科研资源的优化配置

在评价一个企业科研项目的过程中,除了注重成果的应用效果和转化情况外,更关注项目立项到项目成果应用全生命周期过程中涉及研究内容、日常管理、人员配置、经费使用等多维度的问题,旨在对企业科研人员、科研费用、研究时间更大限度地优化。

④ 有利于企业科技人员的培育

企业科研项目有其自身特点,同时随着社会的不断发展及对科研工作的不断重视,各个企业在人员培养方面也倾注了大量的精力和财力。因此,在科学评价成果的有效性的基础上,对企业科研项目的管理进行合理优化,为企业科研人员的技术能力提升提供了平台。

4 企业科研项目后评价方法研究

4.1 后评价指标体系建立原则

科研项目后评价指标体系(简称后评价指标体系)直接关系到评价结果的客观、公正、准确、有效。构建后评价指标体系是个复杂的不断进化的过程,必须遵循正确的原则。

① 科学合理性原则[6]

科研项目后评价指标是否具有代表性,能否真实反映科研项目的基本情况、管理水平和成果质量,是评价指标设计是否科学的关键。本文通过分析现有评价参考依据,并结合GB/T 22900—2022《科学技术研究项目评价通则》、TCA 347—2019《应用技术类科技成果评价规范》及DB43/T 1818—2020《科技成果评价规范》等,借鉴标准中针对成果的评价维度,结合企业自身特点,在此基础上建立了符合企业科研项目特点和管理需求的后评价指标体系。

② 公平公正性原则

公平公正性是保证被评价项目得到客观和无偏见的评价的关键。科研项目后评价是一个多目标、多维度的评价过程,不能用局限性较大的单一指标进行评价,应建立一套既各有侧重又相互联系的指标体系来反映项目的总体效益;同时为避免主观片面的决策,评价指标应进行量化,合理分配各项指标的权重。

③ 可靠实用性原则

可靠性是指按某种评价方法评价出某一评价结果的概率,如果评价过程中出现同一结果的概率大,那么这种评价方法的可靠性就高,这就要求评价指标设计要更精准、可量化。实用性是指评价方法易于被使用人理解和接受的程度。实用性高的评价方法应该是易于被人理解和接受的,这就要求评价指标要更加简便,易获取。

4.2 后评价指标体系总体思路

结合笔者企业科研项目的特点和重点关注环节,从项目开展阶段及主要环节各关键节点和关注事项,采用分级指标的方法,建立企业科研项目后评价指标体系,见图1。首先确定一级指标,主要围绕项目开展周期及主要环节设定为4个,这也是企业科研项目开展的4个环节,为项目立项、项目实施、项目实施效果评价、项目结项后追踪评价。与已有的项目结项后追踪评价不同的是,本次设立的后评价体系是按照项目开展流程,在4个一级指标下设立二、三级指标,这样个性化指标体系更能适合企业科研项目的特点,符合本企业评价的目的,并为后续科研项目的开展提供借鉴。

图1 企业科研项目后评价指标体系

4.3 企业科研项目后评价指标体系设定

企业科研项目后评价指标体系包含3个层级指标,一级指标4个,二级指标8个,三级指标24个。同时规定每个指标的权重以及具体的指标解释,做到定性、定量相结合。同时针对不同类型项目,在共性指标不变的前提下,增加针对性较强的个性指标进行不同项目的区分,切实起到分类分级的效果。企业科研项目后评价指标体系指标权重见表1。表1中,权重为0指此指标仅作为项目分类依据,不评价其好坏。专款专用为否决项,一经发现问题,费用控制指标分数为0。成果与合同或任务书的一致性为总分加分项。专利或著作权为加分项,论文为加分或减分项。

表1 企业科研项目后评价指标体系指标权重

4.3.1项目立项

根据调研,企业开展科研项目立项工作基本上采取逐层专家评审。通过回顾专家意见以及课题来源,可以帮助管理者科学合理地分析往年课题的立项科学性以及课题分类情况,可以辅助后续科研管理的立项阶段更加科学合理。

① 立项科学性

以科研项目立项论证时专家论证意见表实际得分为依据,客观评价。

② 课题来源分析

仅为企业统计课题来源做好基础工作,不设分值。可结合本企业科研项目的特点将课题来源进行分类。

4.3.2项目实施

① 进度管理

为考察科研项目的进展以及管理环节是否缺位,设置本指标,下设5个三级指标。

a.合同或任务书签订日期的评判依据是是否按照制度要求如期开展。

b.合同或任务书变更次数和进度延后的评判依据是结题时间、技术路线、主要人员是否变更,以及是否按照进度要求提交相关成果证明文件。

c.验收申请的评判依据是是否按制度要求按时提交,且提交材料完整。

d.组织验收的评判依据是提出验收申请后,组织验收的及时性。

e.文件上传规范性的评判依据是季度执行情况表、月度计划反馈、会议纪要等是否按制度上传。

② 费用控制

为考察课题费用的管理环节是否缺位,设置本指标,下设3个三级指标。

a.预算科目偏离度的评判依据是调整经费情况是否按制度规定执行。

b.总预算的评判依据是总预算是否调整,分项目科目预算是否调整,是否按制度规定执行。

c.专款专用的评判依据是科目的准确性,为否决项。抽取部分课题进行财务审查,一经发现问题,费用控制指标分数取0。

③ 资料管理

为考察课题的资料管理环节是否缺位,设置本指标,下设1个三级指标。

归档的评判依据是归档材料是否按制度提交。

项目实施中各项三级指标判定的依据是对标本企业的科研项目管理规定,检查实施过程的规范性,经费执行的合理性以及资料管理的准确性。

4.3.3项目实施效果评价

在《国务院办公厅关于完善科技成果评价机制的指导意见》中,明确提出项目实施效果评价要在成果评价中作为重点。结合企业科研项目特点,项目实施效果评价设置2个二级指标。质量控制二级指标设置6个共性三级指标、3个个性三级指标(其中技术开发类1个、应用类2个)。

① 质量控制

a.共性指标

为考察课题的成果质量是否满足前期要求,设置本指标,下设两类三级指标,包含个性指标和共性指标。其中共性三级指标共有6个,包括验收评价、技术水平、成果与合同或任务书的一致性、专利或著作权、论文、验收意见。

质量控制中的各三级指标判定以定量的形式呈现,依据科研成果质量评价统分表、科研成果质量评价表以及提交的成果证明文件打分。

b.个性指标

为精细化管理,充分考虑不同类型课题的研究内容侧重点,设置本指标。

技术开发类1项,为样机技术指标。这是技术开发类课题重点关注的指标,为把关样机质量,设置该指标。评判的内容为:检验技术指标是否满足合同要求,可将企业实际使用情况、相关运行情况及测试报告作为评价依据。

应用类2项,为示范工程实际效果和示范工程稳定性。这是应用类项目重点关注的评价指标,为对比示范工程的重点指标情况及实际项目运行情况,设置该指标。可在开展后评价时重点关注示范工程的稳定运行情况,以达到科学客观评价的目的。

② 综合效益评价

为考察课题的综合效益,设置本指标,下设2个三级指标。

4.3.4项目结项后追踪评价

在目前的项目管理中,如果缺少对项目结题后的成果追踪,那么闭环管理存在一定疏漏。但以论文为例,绝大多数论文已经在结题前发表,完成签订的考核指标,所以此项的设置不做过多关注,只作为加分或减分项。在人员能力积累上,统计该项有利于企业梳理人员发展状况。结题后专利的统计,有利于课题组提升专利质量,提升专利通过率。

项目结项后追踪评价设置1个二级指标,4个三级指标。

专利或著作权指标、论文指标,是指在项目实施效果评价时一般只有专利受理通知书或者论文录用函,并不能保证之后专利授权(发明专利一般从受理到授权,时间间隔大约在3 a左右)或者论文见刊。后评估要追踪专利是否授权,是否转化应用。论文是否发表以及论文的被引用次数等。

5 对已有科研项目进行后评价情况分析

本次共选取14个已完成的企业科研项目,通过查找相关资料、专家评审的方式进行试评价,发现以下共性问题。

① 项目立项和项目实施

通过实际操作,选取14个课题进行后评估,对比发现,需求同重点工作及发展方向越契合,形成的成果越多,且能落地。在后续的科研管理工作中,要更精准地挖掘需求,在立项论证时,充分考虑成果的应用与落地。

② 项目实施效果评价

项目实施效果评价是后评价的关键环节,科研项目的真正意义就在于成果对于企业所发挥的科技支撑作用。以往的评价中,往往根据专利、论文的数量这一单一维度评价科研项目实施的效果,而忽略了项目完成后其成果对于企业的科技支撑作用。此次后评价中,重点为项目的成果情况进行了分析及打分,如某些项目在结项后两年或三年,其成果被行业其他单位引用,该成果也形成模型软件,具备了一定商业价值。某些软课题所提出的发展战略及投资建议,后续成为投资项目预可研的参考基础,这些成果带来的经济效益也是后评价必须参考和分析的依据。

③ 项目结项后追踪评价

项目结项后追踪评价重点是对完成项目带来效益的整体追踪,包括人才提升、管理效能提升等方面。此次评价的科研项目,从项目组成员的人才提升情况进行分析,为后续团队搭建、人才合理匹配提供了一定的依据。同时,充分分析项目开展过程中出现的非研究内容的问题,如进度安排延后、经费使用欠妥,都进行了打分及实际情况分析,也为后续科研项目管理的提升及经费合理使用提供了管理建议。

6 开展企业科研项目后评价的启示

① 指标具有相关性

各级指标各个评价阶段都是相辅相成互相支撑的,如项目实施效果评价阶段的专利和论文,在结项后追踪评价阶段中就要追踪其转化情况,同样结项后追踪评价阶段人员能力积累也和立项阶段科学性相挂钩。因此在开展后评价过程中,要全盘考虑全面分析。

② 指标具有随动性

评价体系和指标不是一成不变的,要随着企业对科研项目的需求不断调整,同时根据国家、地方对于科研项目的评价规定不断更新。科研项目的开展,其成果的应用效果是重要目标,如何摒弃为了科研而科研的思想,如何避免科研成果束之高阁,都应该从以往科研项目中汲取经验教训。

③ 评价应减少主观因素影响

评价是事物价值在人意识中的反映。因此对事物价值的评价因人、因时、因环境而异,评价中的差异性是无法排除的,只能尽量缩小。在研究设计评价方法时,要使评价指标具有减弱或消除主观因素的功能,使评价信息具有可能性和可靠性。

7 结束语

企业科研项目后评价,是在新形势下对科研项目提出的新要求,也是在把科研项目做实的背景下,对于高质量发展企业所提出的新要求。对于企业而言,科研项目后评价的意义,不仅仅在于评价科研项目及其成果好与坏,更需要在评价过程中给予一定的分析,为后续项目科学立项、有效开展、人员培养及企业合规经营起一定的借鉴作用。只有将企业科研项目后评价做好,才能保证企业科研项目不断完善、不断提升,从而用科技引领企业发展,在行业中处于领先地位。