刘 琳，杨晓江，朱 明

(1.金陵科技学院研究生处, 江苏 南京 211169；2.南京航空航天大学经济管理学院, 江苏 南京 210016；3.巢湖学院教务处, 安徽 巢湖 238000)

目前，人们对学科的评价尚未建立评价自身的方法论体系，就评价实践而言，一般是依托科学计量学、数理统计学、管理数学等理论方法，利用各类数据库、统计年鉴等提供的数据，结合声誉等定性评价来进行综合评价。对这些评价进行分析不难发现，多数评价并未明确学科真正水平，对学科水平的评价也只是突出其中某些重要的可量化指标，如论文发表数量、论文被引频次等。单就某一具体学科而言，其当前水平与世界一流水平间的差距大小实际上并不清楚。同时，将学科水平评价局限于一定区域也不利于了解学科发展的最高水平。因此，应“眼睛先外看”，充分了解学科的世界一流水平，进而就如何发展学科作出科学决策。

一、评价方法

为便于问题分析，我们将研究着眼点放在与世界一流学科水平的比较上，以此为标杆，设立评价标准，构建评价指标体系，综合考虑定量和定性因素，运用层次分析法(AHP)和模糊数学[1]相关理论与方法对学科进行综合评价。AHP的基本思想是将复杂系统或复杂问题按照内在关联分解为各个组成因素，将这些因素按支配关系构造递阶层次结构，再通过对各因素进行两两比较来确定同一层次中各因素的重要性，然后综合决策者的判断，根据相对重要性作出决策[2]。这种方法将人们主观判断的定性分析结果定量化，但其本质还是模糊的。模糊评价来源于L.A.Zadeh教授于1965年提出的模糊集概念，用于评价“亦此亦彼”的模糊性问题。由于学科所涉及的因素存在诸多模糊性和不确定性，因此使用模糊数学方法进行评价有较强的适用性。

二、世界一流学科水平评价指标体系构建

(一)指标体系的构建及内涵

目前，人们对世界一流学科的认知信息主要来源于各类机构发布的大学排行榜，其中较有影响的有《泰晤士高等教育》、《美国新闻与世界报道》、德国高等教育研究中心、上海交通大学、英国高等教育基金会等媒体或机构开展的世界大学学科评价。不同排行榜对学科的评价，有偏研究性的，有注重教学质量的，还有重视声誉的，在方法与技术、指标体系、对象、结果等方面都存在较大差异。本文首先研究了这些著名排行榜的学科评价指标，同时采用问卷调查、专家访谈等方法获取研究数据，经统计分析后，选择学科声誉、学科力量、科学研究、教学与人才培养、国际融合、发展环境作为世界一流学科水平评价的基础性指标；然后对基础性指标进行分解衍生，结合世界一流学科的内涵和特征，再选择具体标识性子指标；最后综合运用层次分析法，按照指标间内在关联性进行层次分解，形成世界一流学科水平评价指标体系，如图1所示。

图1 世界一流学科水平评价指标体系

各指标基本内涵如下：

1.学科声誉指标包括社会影响力和社会地位两个子指标。社会影响力是指该学科对社会发展和社会进步所发挥的影响力大小；社会地位是指该学科在各个领域相较于其他学科所体现的重要性程度。上述两个指标均使用来自同行和社会的综合评价结果。

2.学科力量指标主要评价学科的师资力量，选取了国际知名学者、国际顶尖大师和团队结构三个子指标。国际知名学者是指以自身的突出成就而在该学科领域广为人知的专家、学者；国际顶尖大师指获得国际公认杰出奖项(如诺贝尔奖、菲尔兹奖等)的高水平学者；团队结构指某学科的不同水平师资配备情况。

3.科学研究指标以是否有对人类社会发展起决定或重要作用的研究项目或成果为标准，选择了五个子指标。其中，国际知名成果指在世界范围得到普遍关注、认可并产生重要影响的研究成果，含学术论文、专利、著作等；国际顶级奖项指获得的全球公认著名奖项，如诺贝尔奖、菲尔兹奖等；原创性研究是指围绕学科发展进行的研究中所具有的原创当量；高水平研究项目是指为解决社会实际问题而设立的达到世界领先水平的研究型项目；产学研合作强调学科自身发展与社会联系程度，以合作对象的高层次、高水平为评价依据。

4.教学与人才培养指标主要衡量学科在人才培养方面对社会所做的贡献，选择了六个子指标。其中，就业去向以毕业生是否就业于世界一流企业为衡量标准；学生选择主要指入学率，用以衡量国内外学生对该学科的选择情况；人才培养主要指培养出的毕业生水平和层次，使用相对质量指标(RCI)进行综合质量分析；培养条件指培养人才所需的资源、设备、实验室等方面条件是否达到世界先进水平；师生比指教师与学生之间的数量比，反映学科办学规模；资源投入指在培养人才上所投入的人、财、物等资源是否达到世界领先水平。

5.国际融合指标主要考量学科的国际地位，选取国际教师、国际学生、对外交流与合作三个子指标。国际教师指聘任承担该学科教学和研究任务的全时制外国籍高水平教师；国际学生指学科所吸引的外国留学生；对外交流与合作指学科参与国际交流与合作的情况，以交流与合作内容的水平为衡量依据。

6.发展环境指标用以衡量学科发展潜力和生命力，设立了四个子指标。其中，组织管理指学科管理的模式、理念、技术等是否具有国际先进性；战略远景规划指学科未来发展是否具有国际前瞻性以及实现的可能性等；支持环境指学科发展所得到的来自外部各方面的支持，包括政治、经济、社会等各方面的支持；学科特色指学科发展所形成的个性化特征。

(二)指标体系层次分析及权重设定

在构建了世界一流学科水平评价指标体系后，还需确定指标体系中各指标的权重。目前，赋予权重的方法大体有主观赋权、客观赋权以及组合赋权等方法。本研究中各指标权重的分配按照四个步骤进行。首先进行定量化。采用美国运筹学家T.L.Saaty教授提出的1—9标度法对各指标重要性程度进行两两比较，构造相应n阶判断矩阵

A=[Aij]n×n

式中Aij>0(i≠j;i,j=1,2,3,…,n)，Aii=1(i=1,2,3,…,n)，Aji=1/Aij(i≠j;i,j=1,2,3,…,n)。然后利用和积法或方根法计算指标权重。先计算各判断矩阵特征根，再找出最大特征值λmax及其对应的归一化特征向量W，从而得出同一层各指标相对于上一层指标的相对重要性的权重排序。接着进行指标一致性检验，包括层次单排序和层次总排序一致性检验。利用一致性指标CI和T.L.Saaty提出的平均随机一致性指标RI进行检验，其中，CI=(λmax-n)/(n-1),CR=CI/RI，n为矩阵阶数，λmax为矩阵最大特征根。若CR<0.1，则认为判断矩阵具有满意的一致性，反之，则需对判断矩阵进行调整直至符合要求。最后进行总指标权重合成。此外，由于不少学者认为既然决策者的意见本质是模糊的，两两比较的结果就应该是模糊数而非实数[3]，所以一些学者采用了基于区间数[4]、三角模糊数[5]和语言变量等多类型数量形式来判断矩阵的排序权重及进行一致性检验的方法。但这些方法相对复杂，计算量大，结果也因多种因素的影响而难以满足整体一致性要求，因此，本文以取区间数中心值的方法简化数量形式，根据不同评价者两两判断结果确定比较区间，然后取区间数中心值来构造判断矩阵并进行一致性检验。

按照上述步骤和方法，以来自研究型高校、教育主管部门、教育评估专业机构的工作人员和社会人士为评价者，共计20人，请他们根据多年工作经验对各指标的重要性进行两两比较，并计算得出各指标权重，然后进行分析，从中剔除一些不合理因素，再综合计算各指标权重。在这一过程中，将一致性判断不合理的评价再反馈给评价者重新进行判断，经多次循环往复，直至通过一致性检验，最终得到学科声誉B1、学科力量B2、科学研究B3、教学与人才培养B4、国际融合B5、发展环境B6六个指标在层次评价中的权重系数以及指标层各指标的权重系数。各评价指标的判断矩阵A—B、B—C及权重和一致性检验结果如表1—表7所示。

1.判断矩阵A—B。相对于世界一流学科水平评价总目标，准则层各要素间相对重要性比较结果见表1。

表1 世界一流学科水平评价(A)判断矩阵

2.判断矩阵B1—C。相对于学科声誉，其内部评价要素间相对重要性比较结果见表2。

表2 学科声誉(B1)判断矩阵

3.判断矩阵B2—C。相对于学科力量，其内部评价要素间相对重要性比较结果见表3。

表3 学科力量(B2)判断矩阵

4.判断矩阵B3—C。相对于科学研究，其内部评价要素间相对重要性比较结果见表4。

表4 科学研究(B3)判断矩阵

5.判断矩阵B4—C。相对于教学与人才培养，其内部评价要素间相对重要性比较结果见表5。

表5 教学与人才培养(B4)判断矩阵

6.判断矩阵B5—C。相对于国际融合，其内部评价要素间相对重要性比较结果见表6。

表6 国际融合(B5)判断矩阵

7.判断矩阵B6—C。相对于发展环境，其内部评价要素间相对重要性比较结果见表7。

表7 发展环境(B6)判断矩阵

8.评价指标层次总排序的计算。根据上述判断矩阵，利用方根法分别计算B—A、C—B的相对重要性权重W并进行一致性检验；同理，利用上述数据进行指标层对目标层的整体一致性检验，经计算可得，CI=0.042 9，RI=0.830 5，CR=0.052(小于0.1)，整体一致性通过检验。同时，因各CR均小于0.1，故说明该指标体系设计和权重设定比较合理，可以作为评价依据。评价指标的层次总排序如表8所示。

表8 世界一流学科水平评价指标的层次总排序结果

从研究结果来看，被调查者在对学科水平进行评价时整体偏向于社会声誉、教学质量、科研质量等较容易反映学科实力的关键性指标，相应权重较大，这比较符合目前国内的普遍认识；而对于学科力量、国际融合、发展环境等要素，由于国与国之间的差异(如文化、背景、认识上的不同)而在评价认知上有所偏差，这也为进一步论证这些因素对学科水平评价的影响程度提供了研究点。

三、世界一流学科水平模糊综合评价模型

根据模糊综合评价的基本思想，评价应确定因素集、评价集、模糊评价矩阵，并按照模糊识别的“最大隶属度”原则针对评价对象给出科学判断。

首先，确定因素集。因素集是由综合评价的各种因素组成的集合。在本文的评价指标体系中，定义一级因素集为A={B1,B2,B3,B4,B5,B6}；二级因素集为B1={C1,C2}，B2={C3,C4,C5}，B3={C6,C7,C8,C9,C10}，B4={C11,C12,C13,C14,C15,C16}，B5={C17,C18,C19}，B6={C20,C21,C22,C23}。

然后，定义评价集。将世界一流学科水平划分为5个等级并建立相应集合，即V={V1,V2,V3,V4,V5}，其中，V1为达到世界一流水平，V2为达到国际卓越水平但尚未达到世界一流水平，V3为具有国际性水平，V4为达到国内一流水平，V5为一般水平或尚未达到国内一流水平。

接着，确定权重集。由上述层次分析计算得到B1、B2、B3、B4、B5、B6对目标层A的权重集为

WA={WB1,WB2,WB3,WB4,WB5,WB6}=

{0.188 4,0.055 2,0.288 4,0.288 4,0.113 3,0.074 2}

WB1={WC1,WC2}={0.75,0.25}

WB2={WC3,WC4,WC5}={0.258,0.636,0.106}

WB3={WC6,WC7,WC8,WC9,WC10}={0.140 1,0.264 3,0.381 2,0.140 1,0.074 3}

WB4={WC11,WC12,WC13,WC14,WC15,WC16}={0.139 6,0.183 7,0.277 4,0.139 6,0.160 2,0.099 5}

WB5={WC17,WC18,WC19}={0.2,0.2,0.6}

WB6={WC20,WC21,WC22,WC23}={0.065 5,0.146 5,0.288 5,0.499 5}

最后，构造模糊评价矩阵。依据确立的评价等级，有针对性地选择若干专家、社会人士、高校教师等人员组成评价组对每个二级指标进行评价，经统计可得到各个因素对应于等级的频数，经过归一化处理，即可得到各个因素对应于各等级的隶属度，从而得到单因素模糊评价矩阵R=(Rij)n×m。R是n×m阶模糊评价矩阵，Rij∈[0,1]，其中n,m=1,2,3,…,6。

对准则层指标B作一级模糊综合评价。Bi=Ai×Ri。已知Ai={WBi},i=1,2,3,…,6；R1=(rij)2×2，R2=(rij)3×3，R3=(rij)5×5，R4=(rij)6×6，R5=(rij)3×3，R6=(rij)3×3。由此，经归一化处理可得二级指标对一级指标的隶属向量B，B={B1,B2,B3,B4,B5,B6}。

对目标A作二级模糊综合评价。W=A×B。已知A=WA，依据上述计算结果，经归一化处理得到新向量W={W1,W2,W3,W4}。

将W与评价等级V对应进行模糊运算，根据模糊识别“最大隶属度”原则就可以对所研究学科是否为世界一流学科做出基本评价，并判断对象学科目前的发展水平。

四、评价体系与评价模型的应用

运用上述分析方法，可以对某一学科进行评价，这种评价方法可用于两方面的评价比较。其一，对象学科与世界一流水平对象学科间的比较。如以某大学的管理学科为例，若针对各一级指标和二级指标设定具体量化标准并以此作为衡量是否为世界一流学科的评价标准，则可运用上述分析结果进行反模糊化处理，得到一个综合评价数值，这个数值可较为准确地反映该大学的管理学科与世界一流水平管理学科之间的差距大小。其二，两个同类对象学科间的比较。运用上述分析方法也可进行学科间的比较研究，比如就一所大学的管理学科(G1)与另一所大学的管理学科(G2)哪个更接近世界一流水平进行分析。在进行模糊综合评价时，可分别组织评价组对G1和G2进行评价，建立各自因素评判矩阵，经两级评判得到最终评价向量，再经过一定的反模糊化处理，可得到G1与G2两个学科的评价结果，从而判断孰优孰劣。

在采用层次分析法和模糊评价法对世界一流学科水平进行评价时，为提高评价的精确度和可信度，还要注意三方面的问题。其一，评价数据的获取方面问题。由于国际范围较广以及存在对评价指标认识的差异等问题，所以获取全面、科学、准确的评价数据是非常困难的。此外，许多数据和评价内容的边界本身并不十分清晰，比如学科的界定、研究成果的划定和归属等，这虽然属于模糊数学、模糊评价的应用范围，但可能会因忽略许多重要评价信息而影响到对水平的度量，从而降低评价信度和效度。其二，指标权重的确定方面问题。在上述分析中，我们采用了层次分析法来确定各指标对评价目标的重要程度。虽然方法比较科学，但由于各指标具有动态变化的特征，与政策、环境、社会经济发展等方面存在一定的相关性，所以在应用中要注意根据内外环境等条件的变化对指标权重进行适当调整，或者采取相对固期的评价方式，即评价一定时期内世界一流学科平均水平，以减少其他因素的干扰。其三，评价的调查对象的选择方面问题。由于这种评价根本上是定性基础上的定量分析，因此，无论是判断矩阵还是模糊评价矩阵的构建，都涉及调查对象的选择问题，而选择的数量、调查对象的经验与水平等因素都影响着评价的最终结果。同时，由于研究对象是世界一流学科，而国内外学者对世界一流本身的认识与理解至今尚未统一，那么不同的群体如何看待这一概念以及如何客观做出较为准确的主观判断，对于这些问题也需要在选择对象时予以考虑。

五、结语

利用AHP和模糊数学对学科进行其与世界一流水平学科的比较评价时，可大体判断该学科目前的发展水平。这种评价方法可操作性较强，程序较为简单，也能反映一定的问题，但要进一步明确水平差距的大小，则需确定各评价指标具体量化标准，过程中还需考虑科学计量学的使用范围，避免其技术上的内在缺陷，同时，应尽可能扩大主观评价者的遴选范围，增加主观评价的样本数据，以提高评价的准确性。