文/仰洁白

科研信息化评估指标改进有方

文/仰洁白

鉴于科研机构在信息时代的不断发展，信息化水平的不断提升，本文根据科研机构的特殊性、指标体系设置的科学性，采取增加定量问题的数量，降低科研管理信息化指标所占分值比例，提高信息化特征指标和数据库指标所占分值比例、对门户网站评估指标的调整等方法，对科研信息化评估指标体系进行调整。

科研信息化最早得名于英国的e-Science计划，是指建立在新一代网络技术和网格基础上的全新科学研究模式。所谓科研信息化就是在信息化基础设施支持下的科研活动。科研信息化的实质就是“科学研究的信息化”，包括两个基本方面：

第一，信息化的基础设施，比如英国、欧盟国家的e-infrastructure和美国的cyberinfrastructure建设；

第二，信息化的科研活动。

在信息化浪潮席卷社会各方面活动的今天，如何提高对信息的拥有率及高效利用率，从而改变传统的、封闭的科研及管理模式，成为国内外科研机构必须直面应对的挑战。在科研信息化建设中，信息化评估作为对信息化水平进行测度的一种重要手段，对提升科研机构信息化水平起到关键作用。

表 1 2009年信息化评估指标体系框架

科学理论背景

纵观国内外衡量社会、行业直至企业的信息化发展状况的研究，多数使用指数方法。本文在研究过程中，搜集、汇总了国内外关于信息化（信息社会）指数研究领域内的成果共11项：IT产业竞争力指数、联合国电子政务调查2010，信息社会指数，信息化发展指数，网络化就绪指数，日本电信与经济研究所信息化指数法，信息化发展指数（国家统计局），2007年度中央企业信息化水平评价数据采集表，交通行业信息指数，制造业信息化指数，地方信息化发展总指数。包括国外研究成果6项，国内5项，重点将各研究工作中所涉及到的指标体系、权重、计算方法等内容加以整理，可以看出：

1. 制定与公布机构方面， 由于各机构性质不同，指标设置、权重设置、数据采集方法等呈现不同的特点；

2. 信息化评价要素范围方面，差距较大；

3. 指标体系设置方面，大部分指数采用一篮子方法，设立逐级细化的指标，通过各种方法确定指标的权重，加权计算总体指数；

4.权重设置方面，超过一半的研究采用等权重或者专家指定的权重；

5. 数据采集方法方面，大部分指数研究采用公开或半公开的研究数据，国内部分行业主管部门所制定的指数采用调查问卷方式采集数据；

6. 指标粒度方面，相差很大。例如，ITU制定的IDI指数，只有11个指标；而中央企业信息化水平评价表中列入114个不同问题。

本文以某科研机构为例子。该科研机构由于其特殊性，国内外已有的关于信息化的指数对于科研机构的信息化状况不完全适用，但是其构建方法论对于调整原有科研信息化水平指标体系提供了科学合理的依据。由于科研信息化工作的衡量是社会统计学的具体应用，其评估结果应服从正态分布。该科研机构至今已完成2008、2009年信息化水平评估，在指标体系设置方面均采用一篮子的方法，设立逐级细化的指标，在数据采集方面，均采用调查问卷的方式。

图3 2009年四个指标得分分布情况

原有指标体系存在缺陷

该科研机构信息化评估指标体系分为三大部分：信息化环境、信息化应用、信息化效益。随着2008年~2009年连续两年的信息化水平评估，该科研机构的信息化水平已有大幅提升，部分信息化评估指标已不再适用，同时经过两年信息化水平评估，原有指标体系不科学、不全面的部分也暴露出来，为准确测度2010年度该机构的科研信息化水平，有必要对其原有指标体系进行调整。表1是该科研机构2009年信息化评估指标体系框架。

首先，对2009年评估指标体系总体进行分析，定量指标数量约占28.29%，定性指标数量约占55.26%，既定性又定量的指标数量约占16.45%。定性指标数量所占比例较大，定量指标数量所占比例较小。

其次，对2009年所有二级单位信息化评估得分进行分析，得分分布呈密集状态（见图1、2）。大部分二级单位信息化评估得分都处于50~70分，然而通过对二级单位的调研及专家访谈了解到，大部分二级单位信息化水平较2008年虽有提升，但总体水平依然参差不齐；另外，对2009年该科研机构的信息化评估得分进行统计分析，2009年信息化评估结果模拟正态分布的效果并不好。故而2009年信息化评估指标体系不能够完全反映真实的信息化水平。

对2009年评估指标体系的二级指标进行分析， 科研管理信息化指标、信息化特征指标、门户网站和数据库这四部分指标占全部问卷的问题数量的49.85%，分值占问卷总分的53.95%；科研管理信息化指标所占分值最高，依次是信息化特征指标、门户网站、数据库。我们分别对科研管理信息化、信息化特征指标、门户网站和数据库四部分指标得分进行分析（见图3），科研信息化指标得分分布密集，大部分二级单位得分均处于7~9分，信息化水平较高；门户网站指标得分分布密集，大部分二级单位得分均处于2~6分，信息化水平较低；信息化特征指标得分较分散，但普遍很低；数据库指标得分较分散。

由此可见，该科研机构2009年信息化评估得分分布呈密集状、不能完全准确反映信息化水平的原因是：科研管理信息化指标所占分值比重大，但得分差距较小；信息化特征指标和数据库指标得分较分散，但这两部分指标所占分值比重太低；门户网站指标得分普遍较低，整体信息化水平都不高。

调整方法

为了准确测度2010年度该科研机构的信息化水平，我们对2009年信息化评估指标体系做出以下调整：

1.增加定量问题的数量，减少定性问题的数量。经调整后，2010年信息化评估指标中定量问题的数量比例达38.91%，增加10.62%；定性问题的数量比例达47.35%，减少7.91%；既定性又定量的问题的数量基本与2009年持平。

2.降低科研管理信息化指标所占分值比例。经调整后，科研管理信息化指标分值比例由24.9%降低至18.9%。

3.提高信息化特征指标和数据库指标所占分值比例。经调整后，信息化特征指标分值比例由5.0%提升至5.4%，数据库指标分值比例由6.1%提升至10.1%。

4. 对门户网站评估指标的调整

我们对门户网站的子指标进行分析。门户网站2009年指标体系在测度门户网站指标时仅采集量化数据，例如推送量、日均页面浏览量、网站资源更新量等。根据2009年评估数据，门户网站指标得分普遍较低，信息化水平不高。对科研信息化水平进行评估，不仅是为了解和掌握科研机构本年度的信息化水平，更重要是为了对信息化水平进行定位，在此基础上不断提高。

为鼓励二级单位不断加强门户网站建设，提高信息化水平，在测度门户网站信息化水平时，除了计算各项指标绝对数量，还将各二级单位下半年情况与上半年情况进行对比，从而得到门户网站各主要指标的增长率，例如：推送量年度增长率、日均页面浏览量年度增长率等等。我们还可以将绝对数量与增长率结合，一定程度上消除由于学科领域、二级单位体量不同而带来的差异：小规模二级单位非IT类单位如果在门户网站建设中有明显进步，也可以获得高分。

另外，2010年门户网站指标体系中新增 “互动交流”指标，进一步考察除信息发布之外，各二级单位与外界的双向信息互动。表2是中文网站指标体系，英文网站与中文网站类同。

?

表3 2009、2010年信息化评估得分的描述性统计结果

调整结果分析与下一步改进

在2010年该科研机构信息化评估项目结束后，将2010年信息化评估的得分与2009年的得分进行比较分析（见表3），2010年该科研机构的信息化评估得分的标准误差和方差较大，数据分布更为分散，而数据2009的标准差和方差相对较小，数据分布较为集中。因此，经过对2009年信息化评估指标体系的调整，有效改善2009年信息化评估得分分布密集的状况。

对2010年该科研机构信息化评估的得分进行统计分析，2010年评估得分较2009年更符合正态分布，如图4所示。由此，经过对2009年信息化评估指标的调整，使2010年信息化评估结果更加科学合理。

日趋激烈的科技竞争呼唤高效的科研管理与科技创新，而高效的科研管理与科技创新呼唤更有力的信息化支撑。鉴于科研机构在信息时代的不断发展，信息化水平不断提升，本文经过对国内外相关评估指标体系的深入研究，根据科研机构的特殊性、指标体系设置的科学性，采取专家访谈、调研、数据统计分析的方法，对该机构的信息化指标体系进行调整，解决以下两个问题，并在实际应用中取得了良好的效果：

1.调整原有的信息化评估指标体系结构，使之适应新的、不断发展的信息化水平，并对之进行测度；

2.解决评估结果集中度过高的问题，使评诂结果更能反映真实的信息化水平。

由于该大型科研机构包括许多处于不同学科领域的科研子单位，部分指标对于其所在的学科领域并不完全适用，例如协同平台、科普，不能真实、贴切地反映某些科研子单位的信息化建设水平。

本文在研究过程中，所有科研子单位均使用相同的信息化评估指标体系，没有对子单位所在的学科领域进行划分。今后将就不同学科领域对子单位进行划分，根据其所在学科领域的特点，对现有指标体系进行部分调整，设置与其所在学科领域相关的信息化水平测度指标；另外，在学科领域划分的基础上，进行同一学科领域内的不同子单位的科研信息化水平的比较，以求更加真实地反映不同学科领域的科研信息化水平，并对科研机构的信息化建设起到激励作用。

（作者单位为首都经济贸易大学）