李苗，苗红萍，苏武峥，戴俊生，赵春，戴健

(1.新疆农业科学院农业经济与科技信息研究所，乌鲁木齐 830091　2.北京锐宇博图科技有限公司，北京　1000003. 新疆农业科学院，乌鲁木齐　830091)



农业科技创新评价模型的构建与应用研究

李苗1，苗红萍1，苏武峥1，戴俊生1，赵春2，戴健3

(1.新疆农业科学院农业经济与科技信息研究所，乌鲁木齐 8300912.北京锐宇博图科技有限公司，北京1000003. 新疆农业科学院，乌鲁木齐830091)

摘要：【目的】研究不同类型评价主体的统一考核，提出一套评价方法和数据库管理系统，实现评价流程、评价指标和数据的网络化管理，并应用于公益性农业科研院所。【方法】明确评价主体职能定位的基础上，应用动态聚类分析方法，对评价单元进行分类；应用递阶层次结构理论和方法构建评价指标体系；应用AHP分析法对层次结构要素进行分析，确定各级指标权重；应用模糊综合评判法对指标进行综合测算；采用数据库技术，构建评价管理网络系统。从创新能力、服务转化能力、科研条件与平台、人才团队、管理能力和发展速度六方面，对主体的科技创新能力进行综合评价；从科研服务水平、科技创新水平、成果转化水平、人才团队、支撑条件水平和发展速度六方面，对试验推广主体的综合能力进行评价；从岗位履职、公共履职、综合履职和发展速度四方面，对管理主体的管理能力进行评价。【结果】构建了三级多层结构的评价指标体系和数据库管理系统，实现了创新主体及其试验推广机构和管理机关的百分制统一评价。通过实际应用，完成了34个机构的量化综合评价，明确了各评价单位在各领域的量化水平和综合实力，为评优和制定发展对策提供了科学依据。【结论】为不同类型评价单元的无目标约束的统一评价，提供了一套成功的评价方法和管理系统。系统的功能拓展性、操作性和应用性强，实际评价结果合理，具有推广价值。

关键词：农业科技创新；绩效评价；指标体系；数据库

0引 言

【研究意义】随着我国科技创新引领社会经济发展的不断深化，如何评价不同类型科技创新主体的创新绩效和管理水平，已成为科研创新工作中亟待解决的重大管理问题。开发一套科学、公正、实用的绩效考核系统，搭建起信息化、数据化的管理平台，有助于农业科研创新主体的功能定位、问题的导向性挖掘和发展决策。【前人研究进展】国内关于农业科技创新绩效评价的研究大多集中在科研和行政管理两方面，对于农业科技创新主体及其试验推广机构和管理机关的多类型综合评价的研究很少，将数据库技术应用到新疆农业科技创新评价，建立网络化管理系统的研究未见报道。【本研究切入点】研究针对不同类型的农业科技创新主体，在确定职责定位的基础上，围绕科技创新、技术推广、平台建设、人才团队建设和管理水平等方面，选取具有针对性和代表性的指标，搭建信息化、数据化的评价管理平台，实现合理评价和科学决策。【拟解决的关键问题】研究不同类型农业科技创新主体统一评价；建立定性指标的量化评价指标体系。

1材料与方法

1.1材 料

1.1.1数据采集

研究以新疆农科院为例，针对科技创新主体即各类研究所和试验推广主体即各类试验场站、管理主体即各机关处室，分别设计了117项、77项和151项评价指标，由各评价主体统计和归类各项指标的实际数据，通过评价管理系统的网络传输通道，将数据填报到评价管理系统。定性指标采用会议形势，用无记名投票的方式确定，并统计录入，系统自动转化为定量指标。共获得各类评价指标数据3 933个。

1.1.2数据审核

建立数据审核机制。组织管理部门成立审核小组，对上报数据进行逐项审核，并实行诚信监督机制，对数据的真实性问题实行惩罚机制。

1.2方 法

采用动态聚类分析的方法[1]，根据新疆农科院研究所、试验场站和机关处室职能定位的不同，对研究所、场站和机关处室进行分类评价；

采用递阶层次结构理论模型构建评价指标[2]，在已经建立的层次结构模型及评价指标体系基础上应用AHP分析法对层次结构要素进行分析，得出各级指标的权重。

采用模糊综合评判模型对指标体系进行测算[3]。主体评价的最终得分由基本得分和附加分构成，具体测算方法如下：

1.2.1基本得分计算

1.2.1.1单项指标的测算Y

根据评价指标的不同属性和评价主体的指标设置，研究的指标均为递增满意函数。构建模糊综合评判模型，则各指标隶属度Y的函数形式：

p1p2

式中X表示评级指标的实际值，P1为下界值，P2为上界值。研究设置P1=0，P2为标准值。将各单位上报各指标三年数据的平均值上浮50%作为标准值。

1.2.1.2基本综合得分F(t)

Yijklh表示指标(E)的得分，分别用Ai、Bij、Cijk、Dijkl和Eijklh表示各级指标的权重，则评价主体的综合测度模型为：

式中A、B、C、D、E分别为不同层次评价指标的权重；t表示时期，i表示子目标层的各项指标，j表示i指标所属的各项指标，k表示j指标所属的各项指标，l表示k指标所属的各项指标，h表示l指标所属的各项指标。m、n、r、p表示各级指标的数量。

1.2.2附加分计算Z(t)

式中，V表示主持完成的成果获得奖励的数量；W表示参加完成的成果获得奖励的数量；a表示主持成果获得的不同奖励分值；b表示参加成果获得的不同奖励分值；t表示不同的时期；u表示主持获奖的级别；s表示参加获奖的级别；o、p表示获得奖励的级别数量。

1.2.3最终得分计算

将考核最终得分定义为G(t)，

G(t) =F(t)+Z(t).

其中G(t) ≤130，Z(t) ≤30，F(t)、Z(t)均为无量纲值。

2结果与分析

2.1新疆农科院绩效评价指标体系

新疆农科院按照职能分工的不同，针对院属16个研究所、9个试验场站和9个机关处室三个考核对象，分别设置了三套考核评价指标，根据其不同特点，设定不同的指标结构、指标层和考核指标。

新疆农科院绩效考核体系整体框架。图1

图1　新疆农业科学院绩效考核体系

评价指标体系的测度为基础分，总分值100分。附加分总分值30分。通过数据库管理系统的网络数据收集、汇总、归类、测算，得出各个评价主体的各评价内容的分值。

2.2 计算结果

根据评价主体的分类，测算结果分为研究所、院机关和试验场站三个评价单元，具体评价结果如下：

2.2.1研究所

16个研究所共计获得数据1 872个，各研究所的测算结果整体反映出：(1)各研究所的服务转化能力普遍强于科技创新能力，16个研究所中服务转化能力强于创新能力的有12个研究所，其中样本2、9、12、14的服务转化能力的得分分别是33.76分、17.26分、31.32分、24.26分高于创新能力15.29分、12.57分、23分、17.23分，超过了10分以上；样本7、13、15、16的服务转化能力得分分别是7.37分、22.17分、9.01分、8.45分低于创新能力1.54分、1.37分、5.46分7.28分；组织管理能力强于科研条件与平台建设，16个研究所中有15个研究所的组织管理能力强于科研条件与平台建设，两者分数差距最小的为样本1，相差0.04分，差距最大的为样本13，相差16.97分。仅有样本2的组织管理能力分数低于科研条件与平台建设，相差0.69分；人才团队建设相对滞后，人才团队指标的得分普遍低于其余六个一级指标的得分，最高分数为样本1，为9.26分，最低分数为样本5，仅为1.18分。(2)各评价样本间总分值的差异性明显。最高分数为样本1，得分102.82分，最低分数为样本13，得分45.41分，两者相差2.26倍。其余14项的评价样本之间分数差距也较大。(3)各评价主体的成果获奖水平(附加分)的差异性显著。最高分为样本1，得分18.8分，其中样本4、5、7、12、13评价主体的成果获奖水平得分为0分，相差18.8分。表1

表中的发展速度反映各评价单元年度发展的变化情况，研究为第一次测算，则各评价单元均为10分。

2.2.2试验场站

9个场站共计获得数据693个，各场站的测算结果整体反映出：(1)各评价样本间的总分值的差异性不明显。除了样本1得分较高外，得分为79.9分，其余8个场站的得分差距不明显，最高得分样本3，为64.74分，最低得分样本6，为44.23分，相差20分。(2)科技服务水平与成果转化水平相当，9个场站中有4个场站相差仅在1分左右，只有样本9的分数相差在30分，这是由于样本9的职能定位偏重科研服务所致；服务支撑条件差距也不大，最高得分为样本8，13.24分，最低得分为样本2，10.34分，相差2.9分；由于场站的职能定位的关系，各评价主体的科技创新水平的得分都不高，最高为样本1，得分9.2分，最低为样本4，得分1.82分；人才团队建设滞后明显，最高分为样本5，仅为5.08分。(3)各评价主体的成果获奖水平的差异性显著。最高分为样本1，得分7.2分，其中样本4、5、6、9评价主体的成果获奖水平得分为0分，相差7.2分，样本3、7、8评价主体的成果获奖水平得分也仅为1分，相差6.2分。表2

表1　2014年度研究所得分(分)

表2　 2014年场站得分(分)

2.2.3机关处室

9个机关处室共计获得数据230个，各处室的测算结果整体反映出：(1)各评价样本间总分值的差异性不明显。其中，最高得分为样本1，87.67分，最低得分为样本9，81.02分，相差6.65分。(2)定量评价分值的差异性明显。由于各处室的职能定位不同，故定量指标的评定标准不一，总分也不统一，但在定量指标与定性指标两者之间做了统一，故定量指标分数相差较大。表3

表3　2014年机关处室得分

3讨 论

研究构建的指标体系和数据库管理系统，在实际应用中表现出操作的方便性和评价的科学性。解决了不同规模、不同职责和不同任务评价单元之间的比较和评价；解决了研究所、场站和机关处室难以量化指标的量化处理和评价。特别是研究方法针对无目标约束的百分制评价的突破，可以实现不同类型评价主体的统一考核比较。数据库管理系统减少了量化评价的工作量。应用结果符合实际。研究所评价中争取课题数量、发表论文数量、获得成果和专利数量、出版专著的数量对于总体评价分值的影响明显且敏感性强。机关处室评价中服务能力和应急能力对于总体评价分值的影响明显且敏感性强。试验场站评价中成果转化、推广应用和示范展示等指标对于总体评价分值的影响明显且敏感性强。另外，通过评价指标的导向性设置和赋予一定的重要性，可以引导科技创新的发展方向。通过评价指标和重要性权值的调整，系统可以推广应用于各类农业科技创新主体的绩效评价。加大对技术推广和成果转化指标的调整和权重赋值，可应用于非公益性农业科技创新机构的绩效评价。对于农业科技型企业同样可以通过调整指标和权重赋值进行科技创新能力的综合评价。

4结 论

4.1研究对公益性研究机构进行科技创新能力评价，能够解决不同类型和不同职责机构之间的公平性评价问题。具有可用性和可靠性。

4.2从不同层次分析评价机构在科技创新的不同方面的差异性，找到各评价主体之间的差距所在，有利于发展决策和制定针对性的发展计划。

4.3研究提出的一整套评价指标体系适用于其它公益性的农业类科研院所，具有一定的推广和应用价值。对于非公益性的科研院所和科技企业，也可以在评价系统的基础上，增加产业收益等相关指标或调整评价指标的权重得以应用。

4.4构建的绩效评价数据库管理系统，可以实现绩效评价工作流程管理、评价指标管理和上报数据管理的网络化，实现绩效评审、计算评分、数据统计和结果发布等全程自动化，并具有系统拓展功能，有利于系统的推广应用。

参考文献(References)

[1] [1] 魏邦龙.应用层次分析法(AHP)确定农业科研项目评估指标的权重[J]. 甘肃科学学报,1997,9(3):4-8.

WEI Bang-long.(1997). Determination of weight indexes in evaluating scientific research projects of agriculture by using analytic hierarchy process [J].JournalofGansuSciences, 9(3):4-8. (in Chinese)

[2] 张爱宁.地方科研院所创新发展绩效评价方法研究-甘肃省属科研院所为例[J]. 科研管理,2013,(34)：43-51.

ZHANG Ai-ning. (2013). An evaluation study on innovation and development performance of local scientific research institutions - An example of Gansu Provincial Scientific Research Institute [J].ScienceResearchManagement, (34):43-51.(in Chinese)

[3] 张凤.国家科研机构创新绩效的评价模型[J]. 科研管理,2007,28(2):35-42.

ZHANG Feng.(2007). An evaluation model of innovative efficiency on national research institutes [J].ScienceResearchManagement, 28(2):35-42.(in Chinese).

[4] 申红芳. 农业科研机构科技产出绩效评价及其影响因素分析[J]. 科研管理,2010,31(6):126-150.

SHENH Hong-fang.(2010). Study on the relationship between corporate governance and earnings management [J].ScienceResearchManagement, 31(6):126-150.(in Chinese).

[5] 张伟倩,缪园. 组合评价模型在我国国立科研机构绩效评价中的应用[J]. 科学学与科学技术管理,2008,29(4),36-40.

ZHANG Wei-qian，MU Yuan.(2008). The Application of Combined Evaluation Model on the Performance Evaluation of China's National Research Institutes [J].ScienceofScienceandManagementofS.&T., 29(4):36-40. (in Chinese)

[6] 李强. 公益类科研机构绩效评价测度体系研究[J]. 科技政策与管理,2005,26(11):18-21.

LI Qiang.(2005).Study of Metric System of Public Scientific Research Institutes' Performance Evaluation [J].ScienceofScienceandManagementofS.&T., 26(11):18-21. (in Chinese)

[7] 杨淇仓,李键.基于模糊综合评价法的贵州省科研机构创新绩效评价指标体系[J].科技情报开发与经济,2011,(13):129-133.

YANG Qi-cang, LI Jian.(2011). The Innovation Performance Evaluation Index System for Scientific Research Institutions in Guizhou Province Based on the Fuzzy Comprehensive Evaluation Method [J].Sci-TechInformationDevelopment&Economy, (13):129-133. (in Chinese)

[8] 赵红专,翟立新.公共科研机构绩效评价的指标与方法[J].科学学研究,2006,24(1):85-90.

ZHANG Hong-zhuan, ZHAI Li-xin.(2006).Indicators and a Method for the Perform Ance Evaluation of Public Scientific Research Institutes[J].StudiesinScienceofScience, 24 (1):85-90. (in Chinese)

[9] 陈燕羽,马子龙.非营利性科研机构绩效考评体系探讨[J].农业科技管理,2014,33(2):90-93.

CHENG Yan-yu，MA Zi-long.(2014). Studies on Performance Evaluation System for Non-Profit Scientific Research Institutions [J].ManagementofAgriculturalScienceandTechnology, 33(2):90-93. (in Chinese)

[10] 王景,陈标金.农业科技投入不足的制度根源[J].科技管理研究,2015,(5):12-17.

WANG Jing, CHAN Biao-jin. (2015). Institutional Causes of the Low Investment in Agricultural Science and Technology [J].ScienceandTechnologyManagementResearch, (5):12-17. (in Chinese)

Fund project:Supported by the Basic Science and Technology Research Support Funds of Non-profit Research Institutions of Xinjiang Uygur Autonomous Region "Performance Evaluation System Research of Xinjiang Academy of Agricultural Sciences "(KY2013055)

doi:10.6048/j.issn.1001-4330.2016.06.025

收稿日期(Received)：2016-01-29

基金项目:自治区级公益性科研院所基本科研业务费专项“新疆农科院绩效考核体系建设研究”(KY2013064)

作者简介:李苗(1984-)，女，新疆乌鲁木齐人，助理研究员，硕士，研究方向为农业信息分析，(E-mail)miao1125miao@126.com 通讯作者(Cotresponding author):戴健(1962-)，男，新疆乌鲁木齐人，研究员，研究方向为农业技术经济，(E-mail)daij@xaas.ac.cn

中图分类号：S-9

文献标识码：A

文章编号：1001-4330(2016)06-1159-07

Construction and Application of Agricultural Technology Innovation Assessment Model

LI Miao1, MIAO Hong-ping1, SU Wu-zheng1, DAi Jun-sheng1, ZHAO Chun2, DAI Jian3

(1.InstituteofAgriculturalEconomicsandScientificTechnicalInformation,XinjiangAcademyofAgriculturalScience,Urumqi830091,China;2.BeijingReebotooTechnologyCo.,Ltd,Beijing100000,China;3.XinjiangAcademyofAgriculturalSciences,Urumqi830091,China)

Abstract：【Objective】 To get out of the difficulty in quantitative assessment without goal constraints in the performance assessment of agricultural technology innovation and coordinate the examination of different types of assessment subjects and achieve networked management of assessment processes, indexes and data, a series of assessment approaches and a database management system were proposed and applied to agricultural scientific and research institutes for public welfare.【Method】Dynamic clustering analysis was applied to classify assessed units on the basis of defined role of assessment subjects; Hierarchical structure theory and approaches were applied to build an assessment index system; structural elements were analyzed using AHP analysis to determine index weighting at each level; fuzzy comprehensive evaluation method was applied to comprehensively test and compute indexes; and database technologies were applied to build an assessment management network system. Technological innovation subjects were given quantitative assessment, service transformation capacity, technological conditions and platforms, talent team, management capability and development speed. Administrative authorities were given quantitative assessment, public performance, comprehensive performance and development speed.【Result】The assessment index system and database management system of three-level multi-layer structure were built up. The coordinated hundred-mark assessment was given to innovation subjects and their test and promotion agencies and administrative authorities. After the application in Xinjiang Academy of Agricultural Sciences, the quantitative assessment in 33 institutions was accomplished and the assessment level and comprehensive capability of the assessment performers in each field was clearly determined, thus providing a scientific basis for excellence selection and development strategy making.【Conclusion】A series of proven assessment approaches and a management system have been provided for the coordinated assessment without goal constraints for different types of subjects. The system has powerful function extendibility, operability and applicability and its assessment results are reasonable, which is worthy of being popularized.

Key words:agricultural technology innovation；performance assessment；index system；network management