薛 露, 沈映娜, 卢智星

(广东省科技基础条件平台中心, 广州 510033)

模糊综合评价法在科技项目验收评价中的应用①

薛 露, 沈映娜, 卢智星

(广东省科技基础条件平台中心, 广州 510033)

为了科学的进行科技项目验收评价, 以广东省工业攻关项目为评价对象, 对科技项目验收流程进行改进, 建立科技项目验收财务和技术评价指标体系, 采用模糊综合评价的方法, 构建科技项目验收评价模型, 对评价模型进行科技项目材料验收实例验证, 实例验证表明, 该模型应用具有较高的吻合度, 相对于传统的专家会议法更为科学、合理, 为科技项目验收评估信息系统的实现提供理论方法.

模糊综合评价; 科技项目; 验收评价

科技项目验收评价是对科技项目的完成情况进行有效跟踪和管理的一个重要环节, 是科技经费合理使用的重要保证, 也是国家或地方进行科技经费宏观调控和合理分配的重要依据[1]. 国外一些创新型国家进行了多年的科技项目评价研究, 进行了同行评议法、文献计量法、经济计量法等大量常用的科技评价方法改进, 开发出简单、易操作的评价方法、进行评价方法的的工具化等工作, 这些建设经验为科技评价活动健康发展发挥了基础性的保障作用[2,3]. 目前, 国内一些学者针对我国科技项目验收过程中存在的验收工作流于形式、缺乏有效的验收评价体系等问题[4], 从国家和省市科技项目验收管理现状进行了研究, 提出加强科技项目的评估政策建议[5,6]. 从科技项目验收评价方法的角度, 有学者提出了通用的科技项目验收评估指标体系和决策模型[7], 但没有考虑到科技项目的评价重点和验收要求不同, 对于特定的科技项目验收评价, 缺少相关的研究. 另外, 由于科技项目验收尤其是重点、重大科技项目包含内容众多、因其知识创新性、项目差异性, 项目风险性远超一般的科技项目, 难以建立有效的评价指标[8], 而对于一般的科技项目, 经费资助低, 项目风险小, 项目评价要求相对明确, 多采用专家会议函审的方式[9], 对于一般科技项目的评价指标和评价方法进行研究具有比较好的可行性和实用性. 由于科技项目的验收结果受多因素的影响, 对项目验收评价同行评议专家大多给出模糊性的评语, 模糊综合评价法是一种模糊数学的综合评价方法, 可以较好的解决综合评价中的模糊性, 并且该方法具有简单、易用的特点[10],便于在实践操作中把专家定性判断转化定量数据, 有利于项目验收评价方法的工具化, 解决科技项目验收评价实践的可行性和实用性问题. 因此, 本文只考虑一般科技项目, 通常要求材料验收的科技项目, 参考现有的科技项目评价指标体系, 以广东省工业攻关科技计划验收为实例对象, 结合科技项目材料验收的现有管理流程, 建立科技项目材料验收评价指标体系, 运用模糊数学建立科技项目验收评价模型, 结合层次分析法,合理处理主观评判的风险[11], 为科技项目验收评估信息系统的实现提供理论方法.

1 科技项目材料验收流程

科技项目材料验收主要采用专家会议法对材料进行函审, 以广东省工业攻关科技计划项目材料验收流程为例, 如图1所示, 项目承担单位提交验收资料, 然后邀请2-4名技术专家和1名财务专家对材料通过讨论交流, 共同出具专家评语. 为了加强科技项目经费管理,在遵循广东省科技项目相关办法的前提下, 项目材料验收流程改进如下: 承担单位必须按照项目要求提交项目资料, 如合同、项目总结报告、成果证明资料、财务资料等必备资料, 才能进行财务验收, 财务验收如果财务验收不合格, 项目验收结果为不通过; 只有验收合格, 才能进入技术验收阶段, 进入技术验收阶段的项目, 考虑形式审查中材料准备的齐全程度、格式等因素, 财务验收阶段财务验收评价等因素, 产生项目验收的最终评价. 如图2所示.

图1 工业攻关项目验收流程

2 构建综合评价指标

2.1 建立材料验收评价财务和技术指标

科技项目验收评价是以合同为评价根据, 对承担单位承担的科技项目进行判断, 做出是否通过验收的判断[12]. 结合改进的工业攻关项目验收流程, 采用定性与定量相结合的原则, 考虑对不同技术领域的工业攻关项目验收评价具有一定的指导作用, 同时, 考虑到科技政策未来变动的情况, 设立的指标体系层次体系不易过细, 指标体系应能在一段时间内较稳定的使用, 因此, 本文设立指标体系层级为二级. 由于财务验收和技术验收所属领域不同, 所以分别建立工业攻关项目财务验收评价指标体系如表1, 和工业攻关项目技术验收评价指标体系如表2.

图2 改进的工业攻关项目验收流程

表1 财务验收评价指标集

表2 技术验收评价指标集

2.2 建立材料验收评价集

评价集是对各层次评价指标的一种语言描述, 他是评审人对各评价指标所给出的评语的集合. 以广东省工业攻关科技计划项目验收流程为例, 设置科技项目的评语为: 良好、合格以及不合格三类:

定义财务评价集vc:

定义技术评价集vu:

科技项目验收结果A受财务评价和技术评价的影响:

当vc=v1且vu=v1时,

当vc∈(v1, v2)且vu∈(v1, v2)且vc、vu不能同时等于v1,

当vc=v3或vu=v3时,

科技项目评价结果为良好: 要求为项目100%或者超额完成合同技术指标, 经费使用合理合规, 在社会经济效益取得显著效果; 评价结果为合格: 要求项目至少80%完成合同技术指标, 经费使用基本合理合规, 基本完成社会经济效益指标; 评价结果为不合格: 项目完成技术指标少于80%, 或者经费使用不合理, 或者基本未完成社会经济效益指标.

3 确定评价指标权重

在进行模糊综合评价时, 权重对最终结果会产生很大的影响, 不同的权重有时会得到完全不同的结论,从广东科技项目专家库中根随机抽取有过工业攻关科技项目评审经历的技术专家和财务专家各20名, 采取问卷调查的方法, 有效回收问卷40份, 采用层次分析法对指标权重进行处理. 层次分析法(Analytic Hierarchy Process, AHP)是Saaty等人在20世纪70年代初提出的一种多准则决策方法. 它是将半定性、半定量的决策问题转化为定量问题的有效途径[13]. 本次评价邀请20名的科技项目评审技术专家和20名科技项目评审财务专家, 对指标的权重进行确定, 本次评价采用1-9度及其倒数标度法, 应用层次分析法软件yahaap0.5.3对指标权重进行处理, 层次单排序权重处理结果如下:

判断矩阵c、c1、c2、u、u1、u2、u3的一致性指标数值为0、0.0663、0.0152、0.0707、0.0453、0.0569、0.0559均小于0.1, 一致性检验通过.

根据评价指标权重处理结果可以看出, 材料形式审查的层次总排序比重分别是0.2、0.1172; 目资料形式准备的情况对于财务评价或者技术评价最终的结果会产生一定的影响, 专家对形式审核评价会项目情况酌情打分, 更多的是依据项目财务或技术情况; 材料形式审查的财务评价和技术评价层次单排序比重分别是(0.5、0.5), (0.7500, 0.2500), 财务资料的齐全与财务公章的加盖、财务经理的签字等格式要求对于财务专家评审同等重要, 而对技术专家来讲, 更加看重项目资料齐全度是否能够反映项目完成内容, 这与实际材料验收时专家定性判断基本一致.

4 构建模糊综合评价

4.1 构建综合评价矩阵

分别选取某已验收合格工业攻关项目M和验收不合格工业攻关项目H为例进行实例方法验证, 首先邀请10名财务专家分别对该项目M和H的财务指标进行财务评价, 结果统计如表3和表4.

表3 M项目财务专家评价统计

表4 H项目财务专家评价统计

根据表3, 构造M项目财务指标模糊判断矩阵R如下:

M项目财务验收评价中形式审查评价向量B1和资金使用情况评价向量B2:

M项目财务验收指标评价向量BMr:

按照最大隶属度原则, 说明M项目财务验收合格.

同理, H项目财务指标综合评判结果BHr:

根据最大隶属度原则, 说明H项目财务验收不合格. 根据公式(3)和项目验收流程图2, H项目验收流程结束, H项目的最终验收评价结果为不合格.

根据项目验收流程图2, M项目财务验收合格后,项目进入技术验收阶段, 邀请10名技术专家对项目材料依据指标体系技术评审, 项目单因素评价结果统计如表5所示.

表5 M项目技术专家评价统计

构建M项目技术指标模糊评判矩阵如下:

计算技术指标评价体系第一层评价指标的评价向量分别为:

M项目技术指标评价综合评价结果BMrr为:

按照最大隶属度原则, 说明M项目技术验收合格.根据公式(2)项目验收流程图2, M项目财务验收和技术验收结果均为合格, 则M项目验收评审结果为合格.

4.2 结果与分析

通过上述理论模型的计算结果与实际验收结果基本一致, 通过定性指标定量化处理, 根据计算结果可知M和H项目的验收结果: 项目M材料形式审查和合格,资金使用情况基本合理合规, 技术完成内容超过80%,验收结果为合格; 项目H材料形式审查合格, 资金使用情况不合理, 未通过财务验收. 同时, 通过指标打分情况分析可以进行验收数据分析, 分析表明承担单位在H项目科技项目经费使用方面存在方面缺陷, 为科技项目验收管理决策分析提供参考依据.

与广东省工业攻关项目采用的专家会议法相比,能够较好的解决专家评审带来的不确定性问题, 能够规范科技项目验收评估流程, 提高科技项目验收的公平性、独立性, 有利于验收后绩效的数据分析, 并且通过合理科学验收指标体系和模型的建立为科技项目验收评估信息系统提供基础. 因此, 比较而言, 本文对科技项目材料验收所建立的综合评价模型更为合理、科学, 其评价结果也能真实的反映科技项目验收情况.

4.3 应用流程

材料验收模糊综合评价为科技项目验收评估信息系统提供理论方法, 模型作为科技项目验收评估信息系统的一个综合评价模块进行了实现, 采用windows系统, 数据库采用Mysql Server 5.6, 前台采用J2EE框架、jfinal架构进行开发, 硬件环境部署于采用基于刀片架构的HPP体系架构的曙光5000 A高性能计算机. 综合评价模型应用流程为邀请财务评审专家在线评审, 系统自动进行模糊综合评判, 反馈评判结果; 评判结果为合格或良好的项目, 继续邀请技术专家在线评审, 系统自动进行模糊综合评判, 显示技术评判结果以及项目最终评判结果. 如图3.

图 3 综合评价模型应用流程

5 结束语

本文针对科技项目材料验收评价过程, 探索性的改进了科技项目材料验收流程, 建立工业攻关项目财务和技术评价指标体系, 提出了一种模糊综合评价和层次分析方法的综合评价定量模型, 合理的处理了专家评审过程中的主观性和片面性, 实例验证结果表明评价模型具有较高的吻合性. 由于不同科技项目的验收流程和评判标准不同, 本文仅就一种科技项目类型进行了研究, 未来在指标建立、评估方法、实践应用等方面还需要做更多的探索.

1冯美荣, 胡晓娜, 王勇. 论科技评估在科技项目管理全过程中的地位与作用. 科技创新与生产力, 2011, (10): 60–62.[doi: 10.3969/j.issn.1674-9146.2011.10.018]

2刘佳, 余国新, 赵丽娅. 创新型国家科技评价体系比较研究及对我国的启示. 当代经济, 2014, (9): 66–68.

3杨洪涛, 左舒文. 国外科技评估发展新趋势及对上海的启示. 科技管理研究, 2014, 34(22): 14–17, 27. [doi: 10.3969/j.issn.1000-7695.2014.22.004]

4吴琼, 王之岭, 串丽敏, 等. 我国科技项目管理体制现状及完善措施——借鉴发达国家的成功经验. 安徽农业科学,2016, 44(5): 259–261.

5徐添明. GZ科技计划项目管理评估及对策研究[硕士学位论文]. 广州: 华南理工大学, 2015: 15–17.

6文凡引. 广西科技计划项目结题验收中存在的问题及对策建议. 企业科技与发展, 2015, (21-22): 5–6.

7张曙红, 张金隆, 陈德军, 等. 科技项目的评标决策模型研究. 华中科技大学学报(自然科学版), 2004, 32(2): 95–97.

8宋东林, 付丙海, 唐恒. 基于全生命周期的科技计划项目过程管理评价体系构建. 科学管理研究, 2011, 29(1): 34–36,52.

9商雅婷. 广东科技计划管理体制改革研究[硕士学位论文].兰州: 兰州大学, 2015: 46–53.

10张吉军. 模糊层次分析法(FAHP). 模糊系统与数学, 2000,14(2): 80–88.

11刘春龙. 王勇, 李佳, 基于虚拟消防演练的综合评价研究与应用. 计算机工程与设计, 2014, 35(6): 2244–2249.

12陈华雄, 欧阳进良. 科技评估与评审验收关系浅析. 科技管理研究, 2012, 32(22): 57–60, 65. [doi: 10.3969/j.issn.1000-7695.2012.22.012]

13刘莉, 谢礼立. 层次分析法在城市防震减灾能力评估中的应用. 自然灾害学报, 2008, 17(2): 48–52.

Application of Fuzzy Comprehensive Evaluation Method in the Acceptance Evaluation of Science and Technology Project

XUE Lu, SHEN Ying-Na, LU Zhi-Xing
(Guangdong Science and Technology Infrastructure Center, Guangzhou 510033, China)

In order to more scientifically evaluate science and technology projects to check their acceptance levels, the improved acceptance processes are proposed in this paper. Aiming at the Industrial projects in Guangdong Province, the Financial and Technical evaluation index system of the project acceptance is established by using the fuzzy comprehensive evaluation method. The proposed evaluation system is testified with given real cases and the results yield a reasonable effect. Compared with the traditional expert meeting approach, the fuzzy comprehensive evaluation method is more appropriate to be applied for the science and technology project acceptance.

fuzzy comprehensive evaluation; science and technology project; acceptance evaluation

薛露,沈映娜,卢智星.模糊综合评价法在科技项目验收评价中的应用.计算机系统应用,2017,26(7):173–177. http://www.c-sa.org.cn/1003-3254/5833.html

2016-10-12; 收到修改稿时间: 2016-11-21