APP下载

部门整体支出绩效评价共性指标体系的应用分析
——基于第三方机构的绩效评价报告

2022-02-14程亚兰孔祥银

财政监督 2022年2期
关键词:共性分值结论

●程亚兰 孔祥银

一、引言

全面实施预算绩效管理是推进国家治理体系和治理能力现代化的重要抓手。随着项目支出绩效管理体系的逐渐完善,越来越多的省市开始加大部门整体支出绩效评价的实践,从而进一步推进预算绩效管理的扩围。

2013年财政部发布关于印发《预算绩效评价共性指标体系框架》的通知(财预〔2013〕53号),制定了部门整体支出绩效评价共性指标体系框架。目前的绩效评价实践中,对于部门整体支出绩效评价工作设计的评价指标大多参照这个共性指标体系模板,并结合项目支出绩效评价的评价指标衍化而成。

笔者从2015年开始涉足预算绩效评价,从项目到整体再到政策支出的延伸均参与过。根据工作经验撰写过“人大预决算审查中发现的绩效评价问题及建议”和“部门整体支出绩效评价的困惑与思考”等文章。通过参与绩效评价工作的实践,体会到尽管从政策到实践,部门整体支出绩效评价工作都在逐步推进,但效果不是太令人满意,尤其是作为部门整体支出绩效评价的核心——指标体系成为影响绩效评价质量的一个重要因素,也是导致绩效结果能否应用的关键所在。

二、部门整体支出共性指标体系框架

部门整体支出绩效评价是评价主体,根据年初设定的绩效目标和指标,运用科学合理的方法和程序,对部门在一定时期内使用财政资金及其他资金所形成的产出、效果和满意度进行综合评价,从而反映部门职责履行和效益效果实现情况。

2013年《财政部关于印发(预算绩效评价共性指标体系框架)的通知》为各地开展整体支出预算绩效评价指标体系构建提供了参考和依据。共性指标体系设定四个一级指标:投入——过程——产出——效果;7个二级指标,28个三级指标,具体见表1。共性指标只是提供了一个框架,财政部门同时鼓励和倡导各地既要灵活选择最能体现评价对象特点的共性指标,也要根据具体评价对象的特点,另行设计具体个性指标,使部门整体绩效评价真正发挥应有的作用。共性指标体系如表1(见下页):

表1 部门整体支出绩效评价共性指标体系(参考框架)

三、第三方评价机构绩效评价报告的结论和指标体系分析

根据以上部门整体支出绩效评价的共性指标体系,下面以某市2021年甲和乙两家绩效评价中介机构(均是经当地财政部门公开招标后中标的第三方机构)分别对A中学和B中学两所重点高中(注:均为重点中学,实力相当,完全可比)的2020年整体支出绩效评价为例,探讨分析按这套指标体系最后得出的绩效评价结论是否科学、合理、可信,是否具有可比性,评价结果能否直接作为下一年预算安排的依据。

(一)结论及基本情况对比表

表2 结论及基本情况对比表

A、B两所中学主要职责完全相同,具体为:宣传执行党和国家教育方针、政策、组织编制和实施学校发展的中长期规划、年度计划和学期计划;负责实施高中学历教育,促进基础教育发展,为高校输送优秀毕业生;负责学校师资队伍建设、不断提高师资队伍素质,组织开展教学改革,努力提高教学质量;负责学校社会治安综合治理及安全保卫工作;完成上级交办的其他事项。

A、B两所中学整体绩效目标相同,具体为:负责实施高中学历教育,促进基础教育发展,为高校输送优秀毕业生;负责学校师资队伍建设、不断提高师资队伍素质,组织开展教学改革,努力提高教学质量;负责学校社会治安综合治理及安全保卫工作。

通过以上分析,A、B两所中学的在校生人数、教职工人数和预算资金基本情况差不多,主要职责和绩效目标完全一致,但绩效评价的结论确有很大的差异,A校为良好,B校为优秀。如果仅根据这个评价结论安排2022年的预算,那一定会存在很大的差异。

(二)一级指标评分对比表

表3 一级指标评分对比表

通过上表分析,产生结论的差异原因主要是评价指标体系四部分的构成比例不同,甲中介对A中学一级评价指标中的投入和过程两项之和赋分占比30%,产出和效果两项赋分占比达到70%,甲中介主要把分值放在效果上。乙中介对B中学的一级评价指标中投入和过程两项之和赋分占比42%,产出和效果两项赋分占比为58%,乙中介主要把分值放在产出上。

(三)两个单位绩效评价指标体系设计比较表

1、投入指标:从投入指标来看甲中介和乙中介赋分值只相差3分,结论差别不大,但甲中介对投入指标框架做了较大调整;而乙中介完全按指标体系参考框架赋分。(见表4)

表4 投入指标及分值对比表

2、过程指标:从过程指标来看甲中介和乙中介赋分值相差5分,结论差别也相差约5分,但甲中介对过程指标框架做了进一步细分;而乙中介按部就班直接套用指标体系框架赋分。(见表5)

表5 过程指标及分值对比表

3、产出指标:从产出指标来看甲中介和乙中介赋分值相差6分,结论差别却很大,相差约10分。甲中介对产出指标框架做了很大的调整,尤其是将公用经费控制率、“三公经费”控制率、“三公经费”变动率等指标作为产出的经济性指标,这是否合适值得商榷,本文觉得应作为过程管控指标更合适。另外将数量、质量、时效和成本指标做了进一步细分,设置了很多个性的指标,评价过程更加精细化,扣分点一目了然。而乙中介按部就班完全按指标体系框架给分,没有根据评价对象的特点设置切合实际的个性化指标,而且评价过程比较粗犷,直接将绩效目标作为指标,赋分值36分,实得分36分,100%完成。(见表6)

表6 产出指标及分值对比表

4、效果指标:从效果指标来看甲中介和乙中介赋分值相差8分,结果相差约5分。甲中介对A中学的评价倾向于看效果,而且分别就三级指标进行了细化,设计了8个三级指标进行量化,服务对象满意度分别对学生和教师进行满意度测评,并且通过部门整体绩效评价对A中学未来可持续发展也进行了赋分和评价,应该说符合部门的中长期发展规划和未来的发展目标。而乙中介完全套用框架,没有针对项目的特点细化三级指标,只给了总分,比较粗略,看不出社会效益和满意度的评价依据。(见表7)

表7 效果指标及分值对比表

综上所述,通过甲中介对A中学和乙中介对B中学的部门整体支出绩效评价的结论和核心指标体系的对比分析,总体上来看,甲中介在灵活运用共性指标体系方面敢于创新,尤其在产出和效果指标体系方面突出了被评价单位的特点,个性化指标的设计围绕部门职能职责和绩效目标进行了提炼和细化,使得绩效评价的依据和过程更具科学合理性,结论也更具说服力。作为乙中介仅仅是照搬部门整体支出绩效评价的共性框架指标体系,尤其在产出和效果方面不仅没有细化,还进一步浓缩了职责履行中实际完成率、完成及时率、质量达标率和重点工作办结率四个三级指标,只采用整体绩效申报的目标作为指标,太笼统,结论是100%完成,具体是怎么完成的通过指标体系无法看出。

在指标体系的运用上尽管甲中介做了创新和调整,但有的指标的设计是否合理也值得商榷,例如产出指标——经济性——公用经费控制率、“三公经费”控制率、“三公经费”变动率这三个三级指标更像是过程中预算执行控制指标。又如效果指标——社会效益——学校治理体系完善情况、学校长远发展规划情况更像是可持续影响指标。

尽管评价结论A中学83.33分(良好),B中学91.38分(优秀),看似差别很大,但通过以上绩效指标的分析很难得出A的绩效就一定比B的差。事实上两个学校每年的教学质量、升学率和口碑不相上下,结论差异主要取决于两个中介的指标体系构成及赋分比重不同。按照这样的指标体系是否就能真正反映这两个单位的部门整体职责履行情况、整体绩效目标的实现程度、未来的发现趋势呢?可能还是个问号。

四、部门整体支出绩效评价中存在的问题

通过以上分析,可以发现不同的评价主体对同一个单位或类似单位的部门整体支出绩效评价结果会有不同,甚至还会大相径庭。究其缘由:

第一,照搬共性绩效指标,没有细化分解。具体评价所使用的绩效指标未细化到三级指标,尤其是产出指标,只是规定了实际完成率、完成及时率、质量达标率、重点工作办结率等,那么重点工作办结率与实际完成率是否有重合呢?还有社会效益、满意度这个如何衡量?是定性还是定量?实操中弹性太大,结论也会是五花八门。

第二,绩效指标权重未做明确约定。如果一定要分为投入、过程、产出和效果这四个维度,那么每个维度的分值应该是多少才适合?如果没有一个大致的约定,那么不同的评价机构就可能避重就轻,人为操作,结论自然就会不同。

第三,指标体系千篇一律,没有个性化。绩效评价个性指标应当根据预算部门和单位的职能职责、年度工作重点、所要完成的具体项目不同,设计出符合客观实际相对具有压力的指标。例如教育部门和农业部门,由于部门性质不同,应该在产出指标中的数量、质量等方面各具特色。但在实务中不管什么部门大家用一个模版去套用,评价的结果就会因人而异,失去可比性,结论应用几乎成为不可能。

第四,作为评价主力军的第三方机构的专业素养参差不齐,在通过对第三方中介机构绩效评价报告的再评审过程中,发现有的中介机构一旦通过招投标中标后就认为万事大吉,反正报告好与坏都不会对报酬有很大的影响,因此在绩效评价实施过程中存在基础工作不扎实,原始数据收集不到位,访谈走过场,问卷设计和调查对象单一,样本量小且不具有代表性,绩效分析简单应付、问题和原因分析不到位,建议措施操作性差等等一系列问题。

五、几点建议

到底绩效评价共性指标应如何选用、如何个性化、如何赋分、如何使得同类型的单位横向和同一单位纵向评价结论具有可比性、结论具有可应用性,这些都非常值得进一步研究。建议从政策和实操两个层面上加强部门整体支出绩效评价指标体系的梳理和建设工作。

第一,深刻剖析现有共性指标体系框架的限制,打破樊笼,重点探索部门整体与局部、基本支出与项目支出、重点工作与一般服务、定性与定量的关系作为突破口,全面客观的梳理和编制部门整体绩效目标和指标。2019年张琳在部门整体支出绩效评价指标体系研究——以平衡计分卡为工具中提到围绕部门决策、部门管理、部门绩效来设计绩效指标体系,兼顾财务、顾客、内部管理、学习和成长等多维度,是一种探索思路。建议财政部门成立专家组,作为重点课题,吸纳理论专家、实务工作者和第三方机构共同参与研究,制定出切实可行的指标体系指导实践。

第二,鼓励地方各级主管部门从实践的角度积极探索部门整体支出绩效评价指标体系,分部门分层级试点,建立细化至三级指标的绩效评价指标体系,确定指标权重,加强实用性探索研究。

一是地方总结实践经验,形成制度规范,指导实践工作。2019年7月,上海市财政局针对预算部门整体支出绩效管理工作,制定《上海市市级预算部门(单位)整体支出绩效管理办法(试行)》(沪财绩〔2019〕19号)(以下简称《管理办法》),办法规定部门(单位)整体支出绩效目标要求应当突出重点、细化量化、合理可行。建议在开展部门整体支出自评价时,原则上投入管理指标30分、产出指标25分、效益指标35分、影响力指标10分。

二是通过购买社会服务,研究实用性强的重点部门整体绩效评价的指标体系模板,试点并推广应用。湖北省2020年财政部门出台了“部门(单位)绩效目标管理工作规程/管理办法/实施细则”等多项预算绩效管理制度规范,并且遴选重点部门的绩效目标和指标采取购买社会服务的方式委托第三方成立专家组通过广泛的实地调研,制定出可供参考的模板来推广,变填空题为选择题,进一步规范绩效目标和指标的编制工作。

第三,加强对第三方中介机构培训和绩效评价工作的监管力度,真正发挥外脑的作用。财政部门应加强对第三方机构及其工作人员从事预算绩效评价业务的培训和指导,同时严格按照《第三方机构预算绩效评价业务监督管理暂行办法》的通知(财监〔2021〕4号)的规定对第三方机构绩效评价工作程序是否到位、底稿资料是否完整、报告撰写是否规范等加大监管和再评价力度,做到奖优罚劣。作为第三方机构也应该制定绩效评价内部管理规范,选派有经验且认真负责的主评人,按管理办法扎实做好全过程的工作,提交高质量的绩效评价报告。

猜你喜欢

共性分值结论
由一个简单结论联想到的数论题
一起来看看交通违法记分分值有什么变化
芍梅化阴汤对干燥综合征患者生活质量的影响
立体几何中的一个有用结论
悄悄告诉你:统计这样考
共性
“数控一代”示范工程引领和推动共性使能技术在中小企业推广应用
雷锋精神与辽宁精神的共性研究
结论
惊人结论