APP下载

后评价指标体系瑕疵及研究方向

2018-10-23方兴君祁晓丽

中国石油企业 2018年9期
关键词:指标体系指标评价

□ 文/方兴君 祁晓丽*

指标体系研究是项目后评价规范体系建设的重要内容,深化后评价指标体系研究是创新后评价工作实践,实现后评价工作由传统的方式方法向“坚持问题导向”与“开展系统性评价”相结合转变,促进项目后评价工作上台阶的着力点。开展系统性评价就是通过指标对比、量化分析、数据分析,发现那些不是显而易见的倾向性、趋势性的问题,客观反映项目真实管理情况、揭示风险隐患,从而推动项目管理持续优化提升,切实提升后评价工作价值,实现后评价工作目的。本文从后评价指标体系研究的必要性、后评价指标体系存在的不足和深化研究方向等方面进行探讨,论述深化后评价指标体系研究对促进项目后评价工作上台阶的重要作用。

一、深化后评价指标体系研究的必要性

项目后评价是衡量投资项目有效性的重要工作,通过问题发现、信息反馈等方式,发挥投资项目闭环管理作用。尤其是后评价工作在强化投资项目事中事后监管和持续促进企业优化资源配置、减少投资风险、提升项目经济效益及竞争力等方面具有独特优势,越来越受到企业管理层的重视。当前,各大央企都在研究如何将项目后评价工作开展得更好、更有成效,纷纷建立和完善项目后评价规范体系,包括项目后评价指标体系研究等。企业作为参与市场竞争的主体,需要全面客观地评价项目实施的过程与结果,更好地服务于未来项目的前期投资决策,更有效地指导项目及同类项目的生产运营。因此,建立能够全面客观反映项目在行业或集团公司内部绩效水平的项目后评价指标体系日益引起广泛的关注。

项目后评价指标体系是指在一个完整的逻辑框架内将项目目的和项目各个阶段的内容,即投入、产出、效果、影响等都有机地结合起来的一组相互联系的评价指标。包括由评价指标要素构成的内容框架和配套的评价方法、评价依据和评分标准,以及根据具体评价对象的内容范围、所处阶段和评价目的等因素对指标体系进行调整的原则等全部内容。

经过多年探索实践,中国石油项目后评价工作走在央企前列,随着项目后评价信息管理系统上线应用,标志着项目后评价工作进入了新的发展阶段。在新的起点上,对项目后评价指标体系研究提出了更新、更高的要求,深化项目后评价指标体系研究的必要性主要表现以下几方面:

一是项目后评价工作上台阶的需要。2005年,国资委发布的《中央企业固定资产投资项目后评价工作指南》,所附的项目后评价参考指标集,共分14类、88项指标,其中包含的评价要素近200多个。因为没有规定不同类型项目后评价体系和相应计算方法、评价方法、评价依据和评分标准等,项目后评价参考指标的可操作性不够,应用效果不理想。

中国石油组织相关单位分别于2008年、2014年和2016年对项目后评价指标体系进行了研究,构建了较为完善的覆盖各类业务的项目后评价指标体系内容框架,为开展项目综合评价评分和集团公司年度后评价项目排序奠定了基础,为项目后评价信息管理系统建设提供了支持,但因与指标体系内容框架相配套的计算方法、评价方法、评价依据和评分标准等研究不够,与构建科学合理和完整的项目后评价指标体系尚存差距。

目前,从国内各行业项目后评价工作整体发展情况来看,深化项目后评价指标体系研究受到广泛关注,都将其作为创新后评价工作实践,实现后评价工作由传统的方式方法逐步向“坚持问题导向”与“开展系统性评价”相结合转变的切入点和着力点。开展系统性评价就是基于项目后评价信息管理系统、数据库及应用模型,通过指标对比、量化分析、数据分析,发现那些不是显而易见的倾向性、趋势性的问题,客观反映项目真实管理情况、揭示风险隐患,从而推动项目管理持续优化提升,切实提升后评价工作价值,实现后评价工作目的,促进项目后评价工作上台阶。

二是提升后评价工作质量和成果水平的关键。指标体系有利于从多方面对一个复杂系统的特征及规律性进行认识和分析说明,项目后评价指标体系具有信息收集、描述、解释和评价等功能,一方面有利于促进后评价工作突出重点、抓住关键、理清思路、规范运行;另一方面量化评价、横向对比有助于减少人为因素,提升后评价工作的客观性,有助于项目后评价成果更好地应用于所属行业,增强项目投资的有效性,从同类项目对标分析中找差距,以促进项目管理的持续提升。科学的后评价指标体系是反映项目实施过程与效果的计量器,只有保证后评价指标体系的科学合理,才能保证和提升项目后评价工作质量和成果水平。指标体系是提高后评价工作针对性、有效性和提升后评价成果客观性、公正性的关键。

三是为年度后评价项目综合评分与排序提供科学依据。项目后评价工作需要结合社会经济环境变化和企业发展目标,从整体角度对项目实施过程与效果进行量化分析、综合评价,有利于使复杂问题简单化,使简单的问题规范化,为投资主体决策和实施主体建设及运营管理提供参考。指标体系科学合理与否对综合评价质量具有重要的影响,需要运用系统工程理论和反馈控制理论,根据项目及行业特点,在一个完整的逻辑框架内建立能够反映项目目标、实施过程、效益效果、影响与持续性的评价指标体系,提高项目后评价工作的客观性,为开展年度后评价项目综合评分与建立排序激励机制提供科学依据,促进投资项目科学决策和提高管理水平,促进企业树立投资的全局观念,减少盲目投资行为和投资的短期行为,使投资项目能够充分发挥创效能力,不断提高企业竞争力。

四是后评价信息管理系统优化升级的前提。项目后评价信息管理系统建设,是基于对整个后评价工作标准化、规范化和流程化管理的基本理念,采用工作流和数据流技术,实现后评价工作线上操作运行、线下研讨提升和部分成果自动生成,实现不同阶段、不同主体、不同评价人员之间的数据互动、信息共享与传递,提高项目后评价工作效率。通过数据库建设与数据积累,方便日后从大数据方面进行数据深度挖掘与分析,提升成果水平。

后评价信息管理系统和数据库建设需要有稳定的后评价内容要点和指标体系作为支撑,后评价指标体系研究是后评价信息系统中标准数据采集表、综合评分模型和对比分析模型研究,以及项目数据库建设的前置工作,与项目后评价信息系统建设完善及优化升级密切相关。因此,项目后评价指标体系研究是集团公司后评价信息管理系统优化升级的前提条件。

二、后评价指标体系研究存在的不足

经过2008年、2014年和2016年三个阶段的研究,中国石油基本实现了项目后评价指标体系内容框架的构建与完善。在总结现行后评价指标体系实际应用情况和对项目各阶段、各部分后评价内容要点进行系统分析研究的基础上,结合项目特点和后评价目标目的,按照系统性原则和依据项目实施各阶段过程与结果的内在逻辑关系对原有指标体系内容框架进行补充、调整和明晰指标要素含义描述,完善了项目后评价指标体系内容框架。但与建立科学系统完整的后评价指标体系和适应项目后评价信息化建设的需要还有差距,缺少对评价指标要素所需的基础数据与信息及来源的进一步梳理,以及配套的评价方法、评价依据、评价标准和调整原则等内容的深入研究。

项目后评价指标体系研究存在的不足主要表现以下方面:一是对构建的项目后评价指标体系筛选不足。建立科学合理的项目后评价指标体系,需要对构建的后评价指标体系按照科学的筛选原则和方法开展筛选、细化工作,逐步提升后评价指标的准确性,最终建立科学合理的指标体系。

二是尚未建立规范的计算方法、评价方法。虽然2016年版指标体系增加了指标或要素属性说明,但尚未完全对定量指标或要素给出计算公式,对定性指标或要素给出评价方法,影响了运用指标要素对评价事项进行深入分析评价的可操作性,不利于通过指标要素对比和数据挖掘分析去真正揭示项目的关键问题和提出针对性、可操作性的管理建议。

三是评价依据研究不够,基础数据信息及来源尚未规范统一。经过多年探索实践,中国石油制定了相对完善的各类项目后评价报告编制细则和相应的后评价指标体系,但由于评价依据研究不够,对所需的基础数据信息及来源不清的,严重影响项目后评价工作思路的系统全面和工作效率的提高,以及出现后评价工作缺乏标准、判断问题缺乏依据,后评价结果缺少证据支撑,未能客观、准确地表述后评价结论的问题。与后评价指标体系对应的评价标准依据的研究一直是后评价指标体系研究的短板,评价标准依据不明确、数据信息来源不统一,指标体系就是无源之水、无本之木,难以发挥应有的作用。

四是尚未制定科学合理的评价评分标准。目前,现行指标体系没有相应的评价评分标准,项目综合评价评分大多采用专家打分法等方法进行评价,评价结果与专家的经验、能力水平呈强相关关系,客观性不够,不利于项目排序激励机制和后评价结果应用于绩效考核机制的建立,不利于同类项目对比分析,以对标找差距促进项目管理的持续提升。为了提高评价准确性,增强评价结论说服力,充分体现后评价的客观、公正、公平原则,建立统一评价标准己经迫在眉睫。

五是尚未完成综合评价模型建立。由于对项目后评价指标体系的计算方法、评价方法、评价依据和评分标准等研究不足,也制约了后评价信息管理系统综合评价模型的建立和应用,影响了项目后评价信息管理系统的功能实现。

总之,项目后评价指标体系内容框架的构建只是在一定程度上解决了“评什么内容”的问题,但缺少相应配套的计算方法、评价方法、评价依据和评分指标,就是没有解决“按什么方法”、“需要什么依据”、和“怎么评”的问题。解决前者可参考的文献资料较多,考验的是研究人员的项目后评价基本理论素养,而后者可借鉴的研究成果很少,需要创新、实践性强,考验的是研究人员的项目后评价实践功底。评价方法、依据和标准的研究及制定相应规范,工作量大,实践性强,需要反复验证,难以短时出成果,需要不断探索总结,需要持之以恒发扬专业团队的工匠精神才能取得突破。

三、后评价指标优化研究方向

一是对构建的后评价指标体系进行筛选优化。主要是按照独立性和相关性原则,通过运用主、客观分析方法,尤其是运用数学分析方法,对项目后评价指标体系内容框架进行优化筛选,在指标体系构建的“精、准”上下功夫。

三个阶段指标体系研究完成情况示意图表

二是完善与规范相应的计算方法、评价方法。对优化后的指标体系开展定量指标计算方法和定性指标评价方法研究与规范,完善各类业务定量指标的计算公式,通过计算公式表达实现定量化计算;明确定性指标的评价方法,尽量将定性指标通过差减法定量化或专家评分法转化为定量化评价,在提高指标体系的可度量、可操作性上下功夫。

三是梳理与统一评价依据,明确数据信息源。首先在指标要素计算方法、评价方法研究的基础上,进一步完善指标要素评价所需的基础数据与信息,然后针对所需的基础数据与信息,对国家和集团公司有关项目全过程管理的相关制度规定和批复文件,以及项目投产以来的生产经营统计和财务报表等进行梳理,研究统一规范的数据信息载体即数据信息来源。在统一评价依据,提高数据信息质量上下功夫。

四是制定评分、评级标准和指标体系调整原则。针对指标要素的定量计算方法和定性评价方法,研究相应的评分标准,给出综合评分的指标权重、评级标准,通过制定相应的定量化标准,便于同类项目之间的横向对比。项目后评价不仅从定性角度提出评价结论,还要运用量化评价技术,通过评价指标体系给出项目的总体评分,使得评价结果更科学合理。

后评价指标体系目的是通过量化指标来判断项目的实施效果,项目类型繁多,目的不一、内容多样,评价指标的选取和评价标准的制定难以保证较强的通用性,以及有些时候量化指标不具有可比性等,需要结合项目特点、内容范围、所处阶段和评价目的等因素,对评价指标进行适当调整,形成更为适宜的指标体系,需要研究指标体系配套的调整原则。

五是开展指标体系应用实证分析。结合具体实际项目,对各类项目后评价指标体系应用进行实证分析,验证指标体系内容框架及相应评价方法依据的合理性,并制定相应规定,以固化科学合理完整的项目后评价指标体系研究成果。

猜你喜欢

指标体系指标评价
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
2022城市商业魅力指标体系
中药治疗室性早搏系统评价再评价
网络空间攻防对联合作战体系支援度评估指标体系构建
最新引用指标
莫让指标改变初衷
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于Moodle的学习评价
制造强国的主要指标