APP下载

基于影响评价方法的政府资助研发活动绩效评估实证研究

2021-12-04

中国科技资源导刊 2021年5期
关键词:资助专项评估

王 勇

(广东省技术经济研究发展中心,广东广州 510070)

0 引言

新古典经济学在解释创新政策的含义时认为,由于创新活动存在市场失灵,需要政府干预,而根据市场失灵的不同类型,政府可采用相应的政策工具予以纠正[1]。政府资助研发活动就是某种形式的“政策工具”。为了实现社会有限稀缺公共资源的合理利用和战略资源的合理配置,就需要科学地进行绩效评估。国际科技创新合作作为公共支出活动的有机组成部分[2-4],对其开展有效的监测评估已是大势所趋。政府资助科技创新活动是促进科技创新的重要手段。但是,在不断变化的经济社会环境中实施,政府资助即使存在预期产出,其产生的效果和影响也有许多不确定性。随着我国政治体制改革和科技体制改革进入深水区,对公共支出活动开展绩效监督和评价已经成为政府部门的一项重要职能。因此,在我国科研活动产出监管常规化和制度化的形势下,预算管理的重点应该向政府资助科技的效果和影响偏移,在绩效评估中引进影响评价,科学准确地估算科研活动的影响,提高政府资源配置效率,形成以结果为导向的预算绩效管理模

式[5]。

影响评价是国际评估界的热点和难点问题,它侧重探讨干预措施的“真实”贡献,解决归因的问题,其在发展援助、社会学等领域应用较多,但是在科技评估中鲜有应用[6]。在新时代下,在我国政府资助研发活动绩效评估机制研究中,尤其是国际科技创新合作绩效评估领域里引入科技创新影响评价方法,将影响评价融入政府管理工作、政策试点和计划实施过程中,可以减少干扰因素,降低负面影响,为我国各类研发活动提供有价值的意见和建议[7]。因此,本文将借鉴国内外绩效评估的模式和经验,研究提出适合现阶段我国科技创新大环境下的政府资助研发活动经费配置与评估模式,为提高社会科研经费配置效率、提升科研机构的竞争力提供参考。

1 文献回顾

对于影响评价的定义及其内涵,专家学者们进行了深入的研究。Gordin等[8]于2006年通过一系列的研究和访谈后,总结出科学、技术、经济、文化、社会、政策、组织、健康、环境、象征性、培训等11个影响的维度。在过去20年里,影响评价的概念不断变化,最通常的理解有以下4种定义[9]:①评价一项干预措施是对其最终福利影响的评价,而不是对其产出或实施过程的评价;②通过建立反事实场景分析一项干预措施带来的变化(如对比开展该项干预措施和未开展该项干预措施之间的差异);③在一项干预措施完成后若干年(5~10年)开展的评价活动,此时干预措施的影响可能显现;④对某一领域或地域范围内开展的所有干预措施的评价。从目前国际上科研影响评价实践看,基本上采用对上述第一种定义。不同国家的科技管理部门大都认为科技创新活动的影响应广泛地包括社会、经济、文化、环境、健康、生活质量等方面。

影响评价已经成为科技和创新评估的重要内容。Edler等[10]对欧盟25个成员国在2002—2007年间完成的171份科技和创新评估报告分析后发现:90%的评估都包括产出、成效和影响及实现目标的有效性;大约2/3的评估都包括“增值性”;大多数评估聚焦于技术或经济影响,还有一些评估关注社会影响。国际发展援助机构认为影响评价有助于改进援助的策略、提高发展援助资源的使用效率。亚洲开发银行、世界银行等国际发展援助机构采用反事实影响评价方法在扶贫、教育、健康、基础设施、农业等领域积累了丰富的案例和经验。

科学与技术是促进经济发展和提高社会福祉的基础,这已成为全世界的共识。随着政府研发投入的增加,尤其是由于经济危机导致各国财政预算紧缩的情况下,各国政府面临着如何确保财政研发投入发挥最大效益的压力,社会公众也日益关注这些投入对社会经济发展产生的影响。因此,各国政府越来越重视对政府研发投入开展影响评价[11]。从国际科技创新合作来看,国内外研究都曾提出合作归因的困难性。国际科技合作往往是在以往的研究基础上衍生而来。因此,在评价国际科技合作机制的效果时,很难从合作的效果中区分出干预措施单纯的贡献。加之国际科技合作的目标多元化,使得建立国际科技创新合作的逻辑模型更加困难。这就要求在评估中,有意识地了解合作机制区别于以往的特殊贡献和价值。必要时可以探索性地设计对照组开展影响评价[12]。

2 方法综述

影响评价是将成效归因至干预手段(指规划、计划、专项等)的一种评价理论,包含归因和反事实两个基本理念。归因是指发现效果与产生原因之间的准确关联;反事实是指对两个条件基本相同的目标群体,比较已接受干预的目标群体与未接受干预的目标群体所出现的不同发展情况,从而确认干预的作用。

影响评价的方法可以分为非试验性影响评价和试验性影响评价两类(表1)。非试验性影响评价的主要方法有事前事后评估比较法、倍差分析法、统计匹配法、断点回归法、工具变量法等;而试验性影响评价,主要是随机干预试验,它的最大优点是避免非试验性影响评价的选择误差问题。

表1 影响评价方法简介

影响评价的核心问题是归因,设计影响评价模型最大的挑战是如何判断效果变化确实是由于科技创新活动干预所致。影响是指科技创新活动干预的作用对象,与它在未接受干预或实施的情况下在结果上的差别。同时,影响程度的大小也随时间变化而改变。影响评价就是要在控制其他因素作用的情况下,分解出哪些影响和变化是由于某项(组)因素干预所引起的。此类归因要借助于反事实分析,或者说找到一组有说服力的对照组(控制组)用来与干预组(处理组)进行对比,影响评价的难点也在于此。

社会科学实验方法中因果推断的统计学基础是建立在唐纳德·鲁宾提出的反事实框架之上,在反事实统计学框架中,可以用Yi(1)表示实验被试i接受干预(Treatment)的可能结果,Yi(0)表示被试不接受干预时的结果。每个被试i接受干预τi的因果效应,被定义为这两种潜在结果之间的差,即表达式(1)为:

在现实世界中,研究者面临的挑战是,在任何给定的时间点,只能观察到Yi(1)或Yi(0)两者之一,而不能同时观察到两者。两种状态不能同时存在的条件下,每个被试的结果可以使用表达式(2)来表示:

一般来说,我们规定干预变量di取值0或者1,因此等号右边总有一项为零。如果实施了干预(di= 1),可以观察到干预导致的潜在结果Yi(1)。如果没有实施干预(di= 0),可以观察到没有干预时的潜在结果Yi(0)。在公共管理与政策等社会科学研究中,研究者通常并不关心某个个体的问题,他们真正想要了解的是某项干预产生的群体意义上的 “平均因果效应”。在潜在结果框架下,这种因果效应也被称为平均干预效应(Average Treatment Effects,ATE),可以用表达式(3)来表示。

将接受政策干预的研究对象命名为“干预组”,而没有接受政策干预的研究对象,则构成“对照组”或“控制组”,两者互为对方的反事实比较组,即干预组是接受了干预的控制组,控制组是没有接受干预的干预组。与此对应,式(3)中的μY(1)是接受干预的群体(干预组)中所有被试干预效应Yi(1)的平均值,而μY(0)是未接受干预的群体(控制组)中所有被试Yi(0)的平均值。

ATE估计量与回归分析等传统统计方法相比,其简单、清晰的特点非常明显,并且与人们的直觉较为相符,不用进行各种各样的转换。与传统的观察性研究相比,实验研究由于具备随机分配和干预这两个基本程序,建立反事实对照组的特殊优势非常明显。对于整个社会科学,包括部分自然科学,如医学中的随机对照试验,实验研究方法的目标是通过尽可能的随机化,将实验对象随机分配到干预组和控制组中,从而形成在统计学意义上各组完全等价、协变量高度平衡且可互换的反事实比较组,从而消除不可观察因素、混淆变量等通常因果推断中的障碍,得到某项政策干预产生的效果与影响,即排除了其他干扰因素,得到唯一由本项政策干预本身导致的结果。这正是公共政策的影响评价之所以采用实地实验方法为基准的理由。

此外,影响评价对数据量要求较高,评价的成本在一定程度上取决于数据密集程度和采集方法。如果需要的数据样本量较大,单个样本信息较多,且数据需要通过特殊渠道调查采集,那么整个评价成本都会较高。若现有数据库能被有效利用,就可以显著降低评价成本。

3 可行性分析

科技创新已经成为影响经济增长的决定性驱动因素,科技进步对经济增长的带动作用已明显超过资本和劳动力的贡献。作为经济学研究的一个新兴领域,科学的影响评价方法越来越广泛地应用于经济研究、政府决策、项目管理、管理咨询等领域。与传统非试验性影响评价方法相比,随机干预试验通过利用随机分配,使干预组和对照组在结果上的差异可以完全归因于干预,由此可以得到与科技创新活动“净”影响效应最为接近的估计值。进一步借助于因果链分析,随机干预试验还可以帮助参与国际科技创新合作的科研人员和政策决策者打开影响评价的“黑匣子”,理解项目或政策的作用机理,从而寻找到项目或政策成功与失败的源头,为今后进一步完善设计、改进决策奠定基础。

政府资助研发活动日益发展成为各国政府战略规划中的一个重要维度,随着其不断发展,政府对科技创新活动的支持力度不断加强,规模和范围不断扩大。在政府资助研发活动实施过程中,如何有效利用科技资源,使其创造出更多的科技产出和更大的社会价值,一直是政府和公众关注的焦点。政府资助研发活动的效果和影响评价研究是有效提高科技创新活动管理水平、促进科研产出的重要手段。现有的绩效评估方法在如何评估“效果”和捕捉“效果”的定量方法研究上明显不足。

为了更好地开展国际科技创新合作,产生了有关合作的情报信息,形成了有关指标。虽然已经开展了一些数据收集和分析工作,但指标基本上围绕传统的科研指标(如联合出版物、联合发明或国际合作计划的参与度),很少有机构或组织针对国际科技创新合作开展系统的定量化评估,并为国际合作战略决策提供支持。因此,现有的国内外有关国际科技创新合作的指标体系在衡量国际化动态和潜力方面存在明显的不足。鲜有看到一些关于国际活动在研究组织内部以及制度层面产生影响的分析报告。当涉及不同科学领域的国际合作时,这种情况更为明显。虽然大型机构均拥有自己的战略部门,开展内部报告活动并制订清晰的国际化目标,但没有看到适用于全国范围并与国际兼容的指标体系。通过一些实证研究工作,发现有少量证据表明某些国家在衡量其他国家以及自身实力的过程中对合作需求和范围开展了系统性的评估。政策制订者对如何将国际活动转化为国内科技创新体系的溢出效应、如何让中小企业受益于国际化等方面研究以及与各种国际活动及其相关成效的数据也十分鲜见。

目前,国内通常采用“前后比较”的绩效评价方法还不够科学、严谨,与国际学术界广泛认可的影响评价方法存在一定的差距。不精准的评估结果很可能会误导政策制定者。由此,在绩效评估中引进影响评价方法,应尝试通过随机方法进行分配和评价。首先,处于试点阶段的科技创新活动可以考虑随机选择对象。其次,当需求超过活动供给能力时,随机选择活动参与者实际上是一种较为公平透明的分配办法。最后,对于需要分时段开展的活动,可以把目标个体随机分配到不同实施阶段。对这几类科技创新活动应尽可能采用随机实验的评价方法,获得高质量的评价结果。

4 实证研究

4.1 研究对象

广州开发区国际科技合作专项是为积极推进广州开发区粤港澳大湾区国际科技创新中心建设、深入实施该区产业发展和民生科技领域关键技术瓶颈突破、填补国内空白而设立的。该专项重点支持区内龙头科技企业和重大科技创新平台等创新主体开展建设广州开发区海外科技创新中心项目;支持区内科技企业牵头与港澳地区及日本、欧美、澳大利亚等开展以成果转化和产业化为目标、具有清晰商业化前景和良好经济社会效益的科技研发合作。广州开发区要求所有的政府支出计划或专项每年都要进行1次绩效评估。近年来,效果与影响以成为资助计划或专项评估的重要内容。2017—2020 年,专项共有 79个在研项目,广州开发区财政资助金额超过1.53亿元,要求企业必须提供至少1:1的配套投入。

4.2 方法和步骤

案例以“随机干预试验”结合“工具变量”开展研究。政策影响评价运用自上而下的方法,我们将政府资助的各类计划、专项、基金视为广义上的“政策”。通过分解广州开发区研发效率增长的因素,从而估算国际科技合作专项对地区研发效率的贡献。

第一步,利用公开的统计数据,计算广州开发区研发效率增长量。

第二步,分析所有广州开发区政府资助类科研专项对地区研发效率的贡献。

第三步,通过专项资助提高研发投入,促进地区研发效率的增长。

第四步,通过扩散创新和技术变革,企业的R&D活动对其他研发效率的影响。

第五步,国际科技合作专项对提升地区研发效率的动态影响,如企业由专项延伸出的其他类型国际合作(表2)。

表2 国际科技合作专项对提升地区研发效率的动态影响

第六步,通过知识创造、创新和新技术转移,分析国际科技合作专项资助的项目对科研效率的贡献(表3)。

表3 “国际科技合作专项”和“不作为”的预期影响

4.3 优势和挑战

案例采用的政策影响评价方法有以下优点:一是,通过该方法测算出的政策影响,可以在不同资助计划或专项间进行比较;二是,该方法使用的非微观数据能够从广州开发区和其他来源(如项目管理专业机构的数据库)获得,解决了数据不足的难题。然而,通过此方法测算影响也具有一些挑战。一方面是研发效率增长的因素,包括物质要素投入、人力资本投入、规模经济、创新、研发产出、技术改造和购买等因素等,该方法仅考虑物质要素投入和研发产出的影响。另一方面是该方法对于科研投入比较稳定的地区较为适用,而对于科研投入状态不稳定、波动较大的地区的适用性较差。

5 结论

在我国的现实背景下,影响评价具有特别的意义,通过将政府公共政策与项目的评价建立在影响评价的基础上,从某种程度上就可以避免所谓的形象工程,可以有效提升政府的治理能力。通过建立以影响评价之依据的问责机制,可以促使政府组织将精力花在确实有效的科技计划或专项工具上,而非选择一些只有宣传效果的政策。通过影响评价,可以对不同的科技创新计划效果进行比较,基于成本数据,能够得到哪种计划或哪些政策工具的组合具有最高的性价比。如果某类科技计划或专项被发现缺乏实际效果或影响,那么可以取消或用其他计划或专项来代替。

开展政府资助研发活动影响评价,首先要有良好的数据基础作为支撑。从国际实践案例看,没有良好的数据基础无法开展影响评价。开展政府资助研发活动影响评价的前提是要有良好的项目监测数据,定期收集有关影响的各种数据。否则,一直到开展影响评价时才开始收集数据,一是时间成本、资金成本很高,二是由于缺乏前期数据进行比较而难以判断数据的可靠性。其次,要全面了解科学和创新的影响作用,就需要一个更全面的方法来测量和分析研发以及研发对社会的经济和社会影响,并开发新的分析技术来评估公共研发投资进行了尝试,如计量分析,数据联系方法和案例研究。再次,对国际科技创新合作开展影响评价适宜采用项目随机试验法。这是因为,从宏观层面,我国还缺乏一个较为权威的研发投入经济计量模型,采用项目随机试验法,可以对国际科技创新合作产生的成果进行识别和确认,并经过适当的方法对这些成果的价值进行定量化,这样可以得出国际科技创新合作影响的近似值。最后,要正确认识影响评价方法的局限性,在政府资助研发活动绩效评估中,某些科学研究活动由于其高风险性、缺少对照组等原因实际上是不适宜开展影响评价的,例如规划等宏观对象和人才、机构等非干预措施等。

猜你喜欢

资助专项评估
高校资助育人成效的提升路径分析
“七选五”阅读专项训练
“隐形资助”低调又暖心
美国防部资助研发能垂直起降的无人机
2600多名贫困学生得到资助
评估依据
立法后评估:且行且尽善
“专项巡视”,打虎上山再出发
最终评估
EMA完成对尼美舒利的评估