曾志嵘　师璐　陈敏生

摘要：在对大学第三方评价进行综合研究和比较分析的基础上，提出大学第三方指数的概念构想，通过指数理论建立计算模型与规则对入选的大学第三方评价信息进行整合和运算，构建了大学第三方指数。大学第三方指数用以综合反映多个大学第三方评价同时作用于一所大学的情况，为总体分析大学在第三方评价中的状态与趋势提供了一个新的角度和方法。通过多角度地挖掘与分析数据，大学第三方指数的综合指数、专项指数可以用于计算生成大学发展竞争力报告、基于区域内大学表现的高等教育竞争力报告等，为大学改革发展规划、区域高等教育发展战略等提供第三方评价的大数据分析和比较。

关键词：大学排名;大学第三方指数;构建;应用

高校的办学水平与发展状态，是高等教育质量的风向标。随着高等教育步入大众化阶段，政府、社会、行业、学生、家长、同行等利益相关方对其高度关注，因此迫切需要有更加全面、客观、精准的信息来评价和判别高等教育发展水平。《国家中长期教育改革和发展规划纲要（2010-2020年）》中提出，“鼓励专门机构和社会中介机构对高等学校学科、专业、课程等水平和质量进行评估”[1]。在高等教育评估的大环境下，不断创新和完善第三方评价的方法、方式，通过第三方组织和机构来评估高校的办学质量、发展趋势和竞争力，为利益相关方提供更加全面、客观和独立的视角，是大学第三方评价研究的价值目标。

一、大学第三方指数的概念构想

当前，各类大学第三方评价不断涌现，在实践中不断完善并取得了长足的发展。国内外主要的、比较受重视的和关注度较高的第三方评价，主要是针对大学整体水平和关键领域而发布的各种类型的排行评价。国内外第三方排名机构，都建立了各自的评价指标和数据库，从不同的角度对大学进行评价[2][3]，使大学的办学质量与水平越来越透明。第三方评价信息越来越受关注，为政府部门、社会各界、行业、学生及家长等提供了审视和了解大学发展状况的一个相对中立的角度，在一定程度上成为了对大学进行分类定位、资源配置和重点建设的重要参考因素，成为了社会和行业遴选人才的重要参照，成为了家长和学生选择学校的重要影响因素。然而，各类第三方评价主体都有其特定的价值取向，评价维度与评价方式各不相同，评价质量与评价结果各有所异;不同机构开展的第三方评价也存在着信息不对称、不共享等问题，各个孤立的评价信息，形成了一个新的整体概念和整体局面缺乏现象，带来了新的数据不对称和评价信息碎片化问题，在一些时候，让主管部门、大学和其它利益相关方一时难以判断，有些大学的排名结果甚至在不同排行榜中呈现出“冰火”两重天的现象，犹如在一个十字路口，同时出现众多的指路牌。

随着各类第三方评价的方法与结果越来越公开透明，第三方评价的原始信息也越来越具有较强的可获得性，政府、高校和学术领域都希望并尝试对第三方评价的综合解读与比较，呈现出对第三方评价结果进行整合和研究趋势。目前，大多数研究主要以数据的直接描述和简单比对分析为主，需要探索一个比较好的综合比较方法。大学第三方指数研究课题组开展了相关的研究并取得积极的成效，课题组通过综合分析第三方评价信息，建立了一套研究方法、计算模型和运算规则，尝试将标准不一、内容各异、权重不同的第三方评价数据进行整合和运算，形成一个能够更加全面地、客观地呈现大学的总体第三方评价状态的指数，我们将其定义为大学第三方指数（Third-party University Ranking Indexes，简称TUI）。通过第三方指数的得分情况，能够反映出大学获得的第三方评价的总体信息和状态，能够减少单一评价信息的偏倚，能够对大学的整体办学水平与质量进行更为合理的第三方评价的综合比较和分析。

二、大学第三方指数构建的价值目标

大学第三方指数构建的目的在于对各类第三方评价进行整合分析及综合评价，而不是重新构建一套指标体系，其核心价值是反映多个大学第三方评价同时作用于一所大学的情况，并尝试使评价的维度和内涵更加契合大学的社会职能与大学使命、符合国内外高等教育发展的新趋势，更加客观、全面、合理地帮助利益相关方在众多的第三方评价中进行综合判断与解读。

（一）大学第三方指数致力于客观反映当前大学第三方评价的总体趋势

当前，各个第三方机构的评价对象各不相同、评价角度各有侧重、评价质量参差不齐、评价结果各不相同，信息发布的时间、空间、形式具有多样化和分散性等特点。总体上包括“对大学综合发展实力的排名评价”“对大学科研能力、学科水平、教学质量等专项领域的排名评价”。通过对当前大学第三方评价的综合性、系统性研究，对各类第三方评价体系的价值取向、指标体系、评价趋势和评价结果的比较研究，经过前期的计算机模拟，创建了计算模型和方法，将入选的第三方评价信息进行整合和运算，计算出大学第三方指数得分，反映多个第三方评价同时作用于一所大学的状态与趋势。

（二）大学第三方指数内涵设計致力于客观反映大学社会职能和大学使命

以当前各类第三方评价的价值取向为参考基础，研读高等教育领域的相关政策以把握国内高等教育的时代背景与紧迫任务，同时结合高校工作人员的态度倾向，在第三方指数内容维度的设计中，整体上围绕着大学的社会职能与基本使命，以及国内外高等教育发展的新趋势。根据大学社会职能和大学使命设定的内容维度，对入选的大学排行榜评价指标及权重进行分拣与分配，计算相关的大学排名数据在第三方指数合成中的权重系数，反映出各类第三方评价对大学社会职能和大学使命的综合评价结果。

（三）大学第三方指数的计算结果与呈现形式致力于对接“用户”需求

为帮助利益相关方在众多的第三方评价中进行综合判断与解读，第三方指数的结果呈现形式与数据挖掘运用是需要研究和探讨的关键点。本研究立足于高校、政府、社会、行业、学生及家长等不同用户群体的需求，尝试全方位、多角度地发布第三方指数的计算结果，并对大学第三方指数的计算结果进行挖掘，用于综合分析大学的发展状态和竞争水平、综合分析大学发展水平对区域高等教育竞争力的贡献度等等。在此基础上，形成对大学改革发展规划、区域高等教育发展战略进行第三方评价的大数据分析报告和政策评价报告，从不同角度满足不同用户的需求。

三、中国内地高校第三方指数的构建与运用

从世界范围来看，大学第三方评价主要包含认证、排行、评议三类模式。[4]国外对大学第三方评价的研究集中在认证和排行方面;在我国，“大学第三方评价”的出现及系统性研究起步较晚，对大学或高等教育的第三方评价主要表现为“一枝独秀”的大学排名方式。大学第三方指数模型的构建是建立在对大学第三方评价综合研究的基础上，评价对象涵盖了中国大学，评价结果以量化形式呈现。

（一）中国内地高校第三方指数构建的方法学依据

指数理论为中国内地高校第三方指数的构建提供方法学依据。对相关文献资料进行研读可知，指数是出于特定目的来选取若干具有代表性的指标，使用恰当的方法将其合成一个显现复杂社会现象在不同时间或空间变化情况的相对数。指数化研究最初在经济领域中萌芽[5]，目前不仅广泛应用于金融投资、贸易经济、人类社会学、教育学等社会经济活动领域，而且也日益成为临床医学、气象学、化学、农业科学、数理统计学等自然科学领域的重要研究工具。指数的构建基于多种数理统计方法，需要根据研究目标在每一步选择合适的方法。中国内地高校第三方指数的构建参考指数编制的一般步骤，包括确定大学第三方评价综合研究的主题，设立中国内地高校第三方指数的评价内容，确立中国内地高校第三方指数内容维度的权重，采集大学第三方评价数据，进行数据预处理，计算中国内地高校第三方指数，评估与检验中国内地高校第三方指数，形成中国内地高校第三方指数分析报告等环节。

通过系统筛选与回顾高教领域的“指数”文献发现，相关研究分别采用指数方法从不同角度探索高校的竞争力和发展水平：部分文献以高校的办学性质为划分，通过建立评价体系对民办高校、省属高校的发展实力进行探究[6];也有一些文献从方法模型角度，基于灰色系统理论、数据包络分析法等建立高校的竞争力指数，并选取样本高校进行实证分析[7];还有一些文献对高校的发展领域进行划分，从科学研究、学科建设等视角建立高校竞争力指数，并探索高校竞争力水平的提升路径[8]。现有文献对高校竞争力指数相关问题的研究在理论和方法上不断完善、在深度和层次上不断拔高，为中国内地高校第三方指数的构建提供了丰富的经验借鉴。

（二）中国内地高校第三方指数内容维度的设立

在综合分析当前的大学第三方评价框架体系的基础上，构建一个能够客观描述和比较各个大学第三方认可度的指数模型，将提供一个新的角度和方法，更加综合、客观地评测各个大学、不同类型高等教育和地区高等教育竞争力水平。中国内地高校第三方指数内容维度的设计综合考虑大学第三方评价体系的价值取向、国内高等教育的政策环境和实证调查结果。

1.立足第三方评价机构的关注点

通过分析国内外排名机构发布的大学排行榜评价指标体系，发现当前各类排名涵盖的评价领域围绕着大学的基本职能和社会使命展开，并反映着国内外高等教育的发展趋势，主要包括：人才培养、科学研究、学科专业、社会影响、师资质量、国际化、服务社会等;其中科学研究、人才培养、学科专业、社会影响是第三方评价较为集中的领域。第三方指数构建的过程中，所纳入的评价内容主要来自于上述领域。

2.把握政府行政部门对高等教育质量的关注点

通过解读2015年国务院印发的《统筹推进世界一流大学和一流学科建设总体方案》[9]可知，“建设一流师资队伍”“培养拔尖创新人才”“提升科学研究水平”“传承创新优秀文化”“着力推进成果转化”是重点建设任务。上述5项任务除了第4项外，其余4项均是可以量化的关键词，在当前的各类大学第三方评价中有所体现，这些指标在构建大学第三方指数的内容维度时得到充分反映。

3.参考高校工作人员对第三方评价的关注点

借助学术交流会议现场开展大学第三方评价相关调查的活动宣传，对作为利益相关方的高校工作人员进行问卷调查。通过网络调查平台问卷星收集数据，调查结果显示，人才培养、学科专业、社会影响和社会服务、学术科研、师资队伍等是高校工作人员主要关注的排名领域。

通过上述研究和思考，最终在中国内地高校第三方指数的模型架构中纳入了各利益相关方都较为关注的人才培养、学科专业、社会服务和影响、科学研究、师资质量等，基于重新设定的这5个评价维度，经过总结提炼、头脑风暴、专家咨询对各类大学综合性排行榜指标和专项大学排行榜进行分拣与分配（见图1和表1）。

（三）中國内地高校第三方指数评价内容的权重确立

1.中国内地高校第三方综合指数评价维度的权重确立

对相关的各类大学综合性排行榜的指标权重与评价结果进行分析，并建立计算模型、运算方法与计分规则。当前的国内外大学第三方评价总体上围绕高等教育的人才培养、科学研究、社会服务三大职能展开，综合性大学排名的评价体系中，往往将学科专业、教师队伍等相关指标列入科学研究或人才培养领域的下设指标中。大学第三方综合指数的计算模型中，根据所参考排行榜的评价内容，以各个排行榜评价体系中人才培养、科学研究、社会服务和影响等相关指标的权重系数为基础，综合考虑所参考排行榜在3个评价领域的价值取向与权重设置趋势，重新分配并计算各个大学排行榜在3个评价领域的加权平均权重值，加和计算各评价领域的权重值后得出各个综合性排行榜的总权重系数，第三方综合指数由相关的综合性评价数据加权运算后进行标准化与线性处理得出（见表2）。

其中，T表示第三方指数的计算结果，Wi为第i项综合性排名数据的权重系数，Xi为标准化处理后的第i项排名数据。

2.中国内地高校第三方专项指数评价维度的权重确立

根据各个专项大学排行榜的评价内容与评价结果，对相关的各个专项大学排行榜进行评价领域的划分，建立计算模型、运算方法与计分规则。在对所参考的第三方专项评价数据进行分类后，采用主成分分析法计算得出各个专项排行榜的权重系数，加权计算专项排行榜的评价结果后进行标准化与线性处理得出大学第三方专项指数，包括人才培养第三方指数、科学研究第三方指數、学科建设第三方指数、教师队伍第三方指数、大学社会服务和影响第三方指数（见表3）。

其中，S表示第三方专项指数的计算结果，Mi为第i项专项排名数据的权重系数，Yi为标准化处理后的第i项专项排名数据。

（四）中国内地高校第三方指数的测算

1.大学第三方评价数据的采集

在教育部官方网站上，通过全国教育事业发展统计公报、高等教育统计数据等资料，筛选出31个省（区、市）普通高等院校的相关信息。在国内外各类大学排名的发布网站上，分别采集2017年、2018年的4个面向国内大学的第三方综合评价数据、8个面向国际大学的第三方综合评价数据和27个第三方专项评价数据。建立大学第三方评价数据库，汇总各类排行榜的评价数据，将出现在所参考的各个排名中的大学作为第三方指数的评价对象，研究其在各种大学第三方评价共同作用下的结果。2017、2018年入选标准主要是教育部批准的具有招生资格的普通本科院校，不含军事类高校和港澳台地区高校。

2.数据清洗

为了保障所采集数据的质量，设置规范化的流程对相关数据进行清洗、整理等处理。部分大学或是未被列入排行榜的评价对象、或是排名信息未被公布而在个别排行榜中的评价数据存在缺失，为了全面地展现各个大学的发展水平，需要尽可能合理地填补这些大学在排行评价中的缺失值。以所采集排行榜中均有数据记录的评价大学为样本，根据原始数据的缺失模式来构造具有相同缺失率的数据集，分别用不同的插补方法对缺失数据进行处理，以此比较评估不同插补方法的效果。对于达到排名的评价标准而在个别排行结果中出现数据缺失的大学，根据插补效果最终选定多重插补法对这些大学的缺失数据进行填补。

3.数据标准化处理

由于不同排行榜对大学的评价方法不同、评价指标的计量单位不一致，各项指标数据之间的性质、量纲不统一，评价结果之间不具有可比性。在指数计算前，对各类大学排行榜的评价结果进行“极差标准化”处理，解决不同质指标数据的同质化问题，其数学公式为：

其中，Xj表示第j项评价数据的数值，Xj为第j项评价数据标准化后的结果;正向指标即越大越优型指标，负向指标即越小越优型指标，针对不同趋势化的评价数据采用相应的公式进行处理，结果分布于0～1之间。为便于计算，本文将预处理后的排名数据统一乘以100，取值范围在0～100之间。

4.中国内地高校第三方指数的计算结果及运用

通过采集信息、建立大学第三方评价数据库、进行数据预处理等环节，对相关的大学第三方评价数据进行加权运算，计算出2017年与2018年的大学第三方指数，2017年与2018年大学第三方指数的研究计算对象分别涵盖了中国内地31个省份的856所大学、866所大学，并根据计算结果形成中国内地大学的第三方综合指数、人才培养指数、科学研究指数、学科建设指数、师资队伍指数、社会服务和影响指数;入选大学中，理工类大学的数量最多，综合类大学和师范类大学的数量分别位居第2和第3，政法类大学和体育类大学的数量相对较少。

在中国内地高校第三方指数计算结果的基础上，建立基于大学第三方指数的中国内地一流大学和中国内地高水平大学遴选标准，2017年48所大学入选中国内地一流大学、85所大学入选中国内地高水平大学，2018年50所大学入选中国内地一流大学、87所大学入选中国内地高水平大学;根据国内大学教学学科的实践，对评价大学进行类型划分，分析了11大类院校的高等教育第三方综合指数总分值竞争力及大学分类第三方综合指数得分;按照行政区属对评价大学进行划分，分析了东北、华北、华东、中南、西南、西北等6大区域普通高等教育第三方综合指数竞争力，以及内地31个省（区、市）普通高等教育第三方综合指数竞争力，以此了解基于区域内高校第三方指数得分的区域普通高等教育竞争力水平。具体结果由南方+客户端的南方号——“南方教育指数”[10]连续发布（见表4和图2）。

四、结语

中国内地高校第三方指数的构建和基于该指数的数据挖掘运用，为研究大学第三方评价提供了一种新视角。也为利益相关方能够更加客观、综合、全面解讀各种第三方评价共同作用于同一所大学的结果，减少由单一排行榜评价带来的偏倚，提供了一个新的方式和方法。中国内地高校第三方指数的研究在信息的利用、数据的清洗、指数模型的设计、数据的挖掘等方面仍有许多研究需要深入。另外，限于篇幅，对第三方指数排名与其它相关大学排名进行的比较与检验评估，以及对第三方指数展开纵向时间上的对比等结果未在本文中阐述。在未来的研究中，我们将进一步完善大学第三方指数的评价模型、拓展第三方指数的评价对象和丰富第三方指数的应用。

参考文献：

[1]中华人民共和国教育部.国家中长期教育改革和发展规划纲要（2010-2020年）[EB/OL].（2010-07-29）[2019-06-01].http：//old.moe.gov.cn/publicfiles/ business/htmlfiles/moe/info_list/201407/xxgk_171904.html？authkey=gwbux.

[2]高飞.全球大学排名：主要类型与发展趋向[J].高教探索，2015（9）：27-31.

[3]杨天平，任永灿.国内外大学评价指标体系的发展趋势[J].高教发展与评估，2014（5）：1-11.

[4]陆启越，余小波，大学社会评价：模式划分及特点分析[J].湖南师范大学教育科学学报，2014（1）：105-108.

[5]杨立军，何祥玲.大学生发展指数：概念、架构与关键技术[J].高教探索，2018（2）：109-114.

[6]吕元.陕西省民办高校发展评价与分析研究[J].统计与信息论坛，2015（3）：108-112.

[7]郭春燕，韩丹.基于灰色系统理论和模糊数学的高校软实力评价[J].统计与决策，2015（15）：90-93.

[8]丰国政.基于ESI数据库的广东重点建设高校科研竞争力计量分析[J].高教探索，2016（3）：41-45.

[9]国务院关于印发统筹推进世界一流大学和一流学科建设总体方案的通知[EB/OL].（2015-10-24）[2015-11-05].http：//www.moe.edu.cn/jyb_xxgk/moe_1777/moe_1778/201511/t20151105_217823.html.

[10]南方+客户端——“南方教育指数”.中国内地大学第三方评价综合研究报告[EB/OL].（2018-01-21）[2018-01-22].https：//static.nfapp.southcn.com/content/201801/21/c922569.html.

（责任编辑 钟嘉仪）