摘    要：作为一种数据密集性评估，研究生教育质量监测评估理念、内容与方法的演进，不只是从“控制问责”到“质量改进”、从“终结性”到“过程性”的简单替代。在“动态”范式驱动下，既要关注目的、内容、主体、要素、方式等的显性多元化，也应重视各维度、要素之间关联的多元化。为此，必须认清数据采集的目的，把握动态数据采集原则，建立健全结论反馈机制。

关键词：“动态”范式;监测评估;数据采集;反馈机制

中图分类号：G642          文献标识码：A          文章编号：1002-4107（2022）01-0013-04

随着大数据时代的到来，以“周期性、终结性、静态性、专家判断”为主的研究生教育质量监测评估范式，因其理念、时效和精准度等方面的欠缺，已不能“满足时代发展的需求”，需要建构适应时代发展特点和需求的监测评估范式，许多学者就此展开了较广泛和深入的研究。比如，王战军倡导的“动态”研究范式就建立在研究生教育大数据之上，通过运用现代信息技术的思想、思维、理念和方法，对研究生教育现象和问题进行全样本、全过程、全景式研究，揭示教育规律，动态呈现教育现状，持续提高教育教学质量，以适应社会发展和人类发展。而作为动态研究范式的具体延伸，其评估评价层面对应产生的“监测评估”等新型评估模式也迅速走入学界视野，并成为今后研究生教育评估的重要趋势之一。这就对每一位具体从事研究生教育的研究者和管理者提出了新的要求。在实际操作中，“动态”如何涵盖新形势下教育质量监测评估的特点;如何满足不同目的、主体等的评估需求;不同院校在数据采集上怎样把握动态二字;其单位值怎样界定;作为执行者，应遵循怎样的原则，通过何种组织结构方式完成数据采集。基于上述问题，本文尝试探讨“动态”监测评估范式驱动下的数据采集和反馈机制问题。

一、监测评估“动态”范式的多元性特征

在《高等教育监测评估理论与方法》一书中，王战军对评估数据范畴与分类、数据采集方法、数据清洗集成和约简以及数据仓库和数据平台等数据采集处理问题作了详细论述，为一线工作人员提供了很好的理论参照。在具体执行时，由于不同学位授权类别、不同地域、不同性质的高校具有各自的特点，其数据采集流程和数据处理方式等也会有所差别。以专业院校为例，从学科数量来看一般为单一学科或少学科，从学位授予类别来看一般为专业学位比例高于学术学位比例，从人才培养目标来看一般为应用型多于研究型。这些问题实际上关注了监测评估的另一个重心——多元：“高等教育监测评估是数据密集性评估，具有时间尺度密集、空间尺度多样、价值尺度多元的特点，其目的是为持续改进、科学决策和多元判断服务。”

质量监测评估中“动态”特点首先体现在数据采集、加工、提取的随机性、常态化，其次体现在数据采集加工、挖掘提取、汇总分析、报告反馈、改进优化等各环节的流程化与规范化。质量监测评估的“多元”，可能不只限于时间、空间、价值尺度的多元，它既包含目的（如原由、理念、价值、诊断、评优、选拔、宣传等）、内容（如生源、导师队伍、选修课程、学业成绩、图书馆文献借阅、学术报告、科研活动、专业实习、论文发表、奖学金评定、应用研究开发成果转化、就业，修业年限、品德发展、社交活动等各类数据，以及文字、数字、图片、音频、视频等不同形态的数据）、主体（比如中央政府、省级政府、培养单位、用人单位、社会组织、专业机构、大众传媒等机构，导师、研究生、工作人员、管理人员、校外专家等个体，以及博士、硕士研究生和本科生、毕业生等）、方式方法（如系统—整体评估与主题—单向评估，定量与定性，问卷、访谈、实地考察等）的显性多元化，也包含各维度、要素之间关联的多元化，而这个关联的多元化是对数据挖掘、分析和运用的关键所在。因此，质量监测不只是简单的从行政控制与问责到持续改进教育质量，从单纯倚重专家经验到兼顾信息技术和专家经验，从周期性评估向常态化监测，从终结性结论到多元主体根据需求自我进行价值判断的替代性变革;而是要强调理念、内容、方法等质量监测相关方面的多元化、动态化，比如，可以为“问责”而进行“即时性”的监测评估，也可以为“诊断”而进行“周期性”的监测评估，这取决于监测评估目的的多元化。我们既可以倚重专家经验，也可以借助信息技术，或者同时展开“终结性评估”，这取决于监测评估的目的、性质、规模和成本调控等因素。认识到“动态”范式中的多元性特征，出于不同监测评估目的，可以进行个性化的指标体系和评估模型的建构，对同一因素、指标，也可能会被赋予不同的权重。为此，就可以兼顾大数据与小数据、宏观群体状态与微观个体状态，以满足不同层次、不同主体、不同目的的监测评估需求。

二、数据采集效能的影响因素：目的、方式与反馈机制

通观数据采集至反馈的整个链条，结合实际工作经验，笔者认为，决定数据采集成果效能的关键在于三个方面：数据采集的目的、方式和动态反馈机制的建立。

（一）明确采集目的是监测评估的重要前提

“采集”从直观上解释有采摘和收集之意，与“统计”一词不同，采集更加注重在基础数据上，根据需要进行数据选择。有学者指出，在监测评估中，“一方面需要根据评价目标构建合理的评价指标体系，另一方面则需要能将各种评估指标加以有效整合的统计方法的支撑”。不同的需求、不同的目的和不同的思路将直接影响到数据采集的方向，进而影响最终分析结论。因此，在开展数据采集工作之前，必须要对此项工作的目的有一个清晰的认识。

1.不能将数据采集目的窄化为“迎评”。对于工作在一线的高校基层管理人员来说，收到上级下发的采集数据任务时，通常都伴随着一个背景——评估。近年来，随着国家对教育评估重视程度的提高，各级评估的频次越来越高，种类也越来越多。按级别有国家级、省部级、地市级、区县級的评估，按种类有综合性的学科评估、专业学位水平评估和专项性的课程建设评估、培养方案评估等。每次评估都不可避免地需要基层部门提供相关数据，久而久之部分教师和工作人员形成了一种“数据采集的目的是迎接评估”的固化印象。笔者认为，这种潜意识是对数据采集的一种误解，不利于持续性高质量地开展教育管理工作。每一种评估指标体系和考察方向都有其自身的局限性，且共性多于个性，无法充分体现本校特色的情况也时有发生。如果数据采集工作每每都跟随评估体系的变化而变化，那必将形成疲于应付、目标散乱的局面。评估的存在并非数据采集的必要条件，无论有没有评估，数据采集都要做，而且应该系统地有结构地做。

2.区分数据采集的原初和延伸目的。笔者认为，数据采集的目的有三个方面：一是为学校发展留下可资借鉴和查考的历史档案。采集形成的数据库不同于各高校每年进行的年鉴汇总和部门工作报告汇编，它既反映着学校建设的方方面面，又有重点、成体系，可以客观地反映一定历史时期学校建设的成绩及不足。二是为学校建设决策提供依据。学校师资引进与维护、学科方向的建设与调整、科研投入的力度与方向、课程体系的搭建与优化，都必须有章可循、有据可依。这种依据不能只限于评估成绩和排名，还必须考查到没有纳入评估指标体系但对本校来说体现出长远建设意义的数据。正因如此，高校各部门主动意识（而非应对评估任务的被动意识）支配下的数据采集工作就显得尤为重要。三是为迎接各类评估做好准备。正如上文所述，近年来各类评估接踵而至，评估已经成为高校教育监督的常态化工作，数据库也理所当然地肩负起被各种评估体系择选的重任。随着信息技术的飞跃性发展，评估时涉及的数据有很多已经无需受评单位提供（例如期刊发表、国家级奖项等可以直接调用公共数据库），但相当多的择优型代表性数据（例如骨干教师、代表性学术成果、代表性创作展演等）等，依然需要人工采集和整合。只有平时注重数据采集，才会在迎接评估时有充裕的时间和清晰的思路来筛选数据。由此，迎评不是数据采集的原初目的，但确实是一项重要的延伸目的。

3.增进相关主体的数据采集意识。高校数据采集任务具有集中下发、阶段性特点，部分部门和教师没有清楚地认识到数据采集的目的，加之日常办公非常繁忙，也不清楚下一次数据采集要求和格式是怎样，所以平时没有花费精力去设计本部门的数据采集思路和流程，还处在“上级要什么就去找什么、不要的就是不重要的”思想状态。实际上，基层部门和一线教师自身的数据采集意识决定着整个学校的数据采集质量和效果，间接影响着学校决策和发展。所以，对数据采集目的的认识绝不仅仅是院部、学科办、规划处等部门的事情，而应该渗透到每个职能部门和教职员工的工作思路中去。笔者认为，教师教学发展中心是贯彻高校教师数据采集意识的有效途径，应充分加以使用。早在2012年7月，教育部就颁布了《关于启动国家级教师教学发展示范中心建设工作的通知》，许多高校高度重视，近年来建立和完善了相关机构和机制。在《教育部高等教育司2021年工作要点》中更是指出，要“推动各地各高校建设教师教学发展中心，完善国家、省、高校三级立体化网络体系，完善培训平台和运行机制”。这一平台由校级层面主动运行和监管，可以在各类培训、研讨活动中置入有关评估数据采集的内容，从而有效推进一线教师树立和强化科学的数据采集意识。

（二）把握动态采集方式是监测评估的关键环节

在动态研究范式驱动下，数据采集也必须相应地呈持续化和动态化进行。所谓动态，指运动中的状态，虽然字面意思很容易理解，但具体到实际操作过程中，就需要给动态圈定一个计时单位或形成一个实时更新的数据采集平台才能开展工作。此外，动态采集不但是各部门自身数据的采集方式，更需要全校各部门数据形成联动，否则，信息孤岛式动态数据的参照意义将大打折扣。

1.计时单位式动态采集。所谓计时单位式动态采

集是指以天、周或月等时间单位为数据采集周期，规律化采集数据的方式。从操作主体来看，这种方式更加适用于行政管理职能部门。原因在于，这些部门对教育目标、教育形势、政策精神的把握和领会较一般教师更为深入，工作时间规律，组织纪律性较强，善于系统规律地采集数据。例如，教务部门以天为单位的出勤情况收集和以学期为单位的课程信息收集;宣传部门以周为单位的学术活动信息收集;研究生培养办以月为单位的学生实践情况收集等。从操作路径来看，这种数据采集方式是从上到下的，特点是目标性强，采集规律易于把握，贯彻执行力度较大，执行情况较好。但是，如果计时单位是天或周，数据采集种类较多、频次较为密集，则需要充足的人手和顺畅的由上至下的工作任务传导机制。

2.实时更新式动态采集。所谓实时更新式动态采

集是指当数据发生变化时，同时或以最快的速度被操作主体采集数据的方式，主要分为两类：一是已经实现自动捕捉信息的平台，例如财务系统，每一笔经费的投入和使用都会明确记录在账，经费总量自动得出增减值数据;二是半自动的信息填报平台，例如科研信息系统，必须先经过教师或学生的手动数据输入（虽然期刊发表情况可以通过中国知网等学术成果集成平台直接获取，但通常情况下无法自动区分教师或学生身份，更无法自动识别年龄、性别、学科归属等），才能实时汇总产生总值变化。从操作主体来看，这种动态数据采集方式更加适合于一线教师和学生，数据类别更适合于科研成果、获奖和展演信息等。原因在于，这类数据直接发生于师生本人，数据的支撑材料也最先到达本人手中，由其主动、尽快填报是最理想的动态采集方式。从操作路径来看，这种数据采集方式是从下到上的，特点是准确度高，数据来源分布广，不容易出现盲区。当然，这种采集方式要以工作平台的便捷操作及师生的主动配合为前提，且字段规格等限定应当规范和易懂，否则收集来的数据将无法避免五花八门、文不对题的窘况，给后期的数据清洗和整理带来巨大困难。

3.联动式动态采集。所谓联动式动态采集，强调的是各部门的数据动态关联。无论采集路径是从上到下还是从下到上，每类数据都一定有其归口部门统合，统合后最重要的操作就是联合观测。如果说每个独立数据都是一颗石子，那既有的数据背景就像涌动着的湖面，不同的石子投入湖中产生出不同的涟漪，它们交织在一起，叠加于湖面原有的样貌，形成新的波形。这个最终产生的波形才是我们需要的结果。例如国際交流处的动态数据与研究生部的师生信息数据联动观测，才能得出某个时间区间内，去某地开展某种交流的学生年级/专业/所属导师分布，出访某地的教师年龄/职称/专业/海外经历/出访时间等是否具有集中性和规律性。继而延展开来，再与财务处的账务数据动态关联，可以匡算出出访某地的经费投入与成果产出比，还可以得出以月为单位或以季度为单位的同比增减情况，为经费使用提供前瞻性参考。可以说，联动式动态采集方式是动态数据采集的成效显现环节，虽然这对数据库的贯通共享提出了较高的要求，但只要经过合理统筹设计，在当今的技术手段条件下是可以实现的。

需要注意的是，联动式动态采集必须根据数据产生所需时长进行灵活取值，例如，某月的经费投入与该月的成果产出并不构成因果关系，某届研究生获奖激增也不能完全归功于当年的课程设置。数据采集和使用者要在操作过程中根据实际情况制定联动取值方案，多源观测，避免发生低级错误。

（三）建立结论反馈机制是监测评估的有效保障

要想达成动态数据采集为学校建设发展提供决策依据的目的，则数据采集形成结论之后，最为重要的一环就是结论的反馈。虽然这很容易被理解，但是在现实操作过程中，原始数据提供方得不到最终数据分析结论的情况很常见，这样非常不利于基层工作人员和一线教师掌握学校发展动态，也无法对其今后的数据采集工作形成指导。所以，建立科学的数据结论反馈机制是必要和必须的，其运行成效也需要及时被评价，以适应不断变化的教育发展环境和要求。

1.结论反馈的途径。数据结论的反馈并非是开一个教职工大会，播放几张PPT，看一看各色图表就能完成的。它需要科学而恰当的反馈途径，将原始数据来源、数据采集方式、数据分析模型和最终结论详实地报告给每位教职员工。具体来看，结论的反馈可以根据被反馈主体区分为职能部门路径和个体师生路径。第一，对于职能部门，可以通过校内OA系统流转或收文的形式，确认抵达各个部门负责人的手中，如果条件允许，应开放动态数据采集平台的相应权限，使职能部门能够更为直观地结合动态数据挖掘结论深度;第二，对于个体师生，应至少将与其本职工作/本学科方向相关的数据结论及时予以反馈，或编制质量报告及时推送。由于师生数量较多，可通过广泛告知和集中研读相结合的反馈途徑，定期将数据结论通过系部下发到个人，同时在党政联席会和学生干部会议上进行学习和讨论，继而再通过这些核心成员将会议精神传递给周边师生，收集意见建议，通过系部上报给职能部门。由此，能够让每一个数据的创造者拥有集体荣誉感和决策参与感，同时为其学术道路的走向提供指导，为学术成果的产出提供动力。

2.反馈机制的成效评价。反馈机制是否真正发挥作用，要看反馈后的改进措施是否到位，这就需要对其进行成效评价。笔者认为，由于这一评价主要针对的是学校的决策部门和相关职能部门，故应当由学校的上级分管部门进行监督评价。对于根据数据分析结论及时调整了工作方向、完善了工作细节、产生了明显进步的相关部门和人员应进行鼓励;对于将动态数据分析结论束之高阁、不予理睬，从而导致学科发展迟缓或产生重大隐患的责任人应进行问责。

反馈机制的建立健全将大大改善学校基层教职员工只知晓大型评估排名、不了解当下存在问题的普遍情况，推动达成数据采集的根本目的。

三、动态数据采集和反馈中的困难与挑战：数据与人

数据本身并没有意义，数据的意义是源自主体并依靠主体来发掘和实现的。我们既要关注到客观、冰冷的数据背后那一个个活生生的人，也要关注到数据采集、加工过程中的每一个活生生的人。实际上，即使在严重依赖各种模型、技术、工具的今天，人的因素在质量监测评估中仍然起着及其重要甚至是决定性的作用。笔者从事研究生教育数据采集整理工作已近四年，关注动态研究范式及其驱动下的数据采集策略也已有相当长的时间。通过实践，笔者认为，高校动态数据采集和反馈主要面临三大困难，而这三大困难都与数据采集和加工的主体相关。

（一）信息孤岛林立，无法贯通对接

虽然目前技术手段可以实现整体化的动态数据采集系统搭建，但是由于在此之前，部分高校不同部门为了便于自身数据的收集整理，开发了仅针对某项工作或某个部门工作的独立系统，形成了一个个信息孤岛。这些系统之间有的并不兼容，有的即便可以兼容也需要耗费大量的人力完成数据迁移，使得处于繁忙工作中的操作主体无法下定决心放弃原系统。此外，设计一个既可供数据联动并按照数据模型导出分析结论，又能充分体现本校特色的系统，不但需要各个部门的通力配合，还要求设计者熟稔研究生教育规律，并对该校的特色学科、特色指标有所体悟，着实不易。

（二）师生在数据采集工作上的主动意识不强

部分教师和研究生忙于学术，对填报系统、填写表格等事宜不够重视，甚至“谈表色变”，即便发表了文章、获得了奖项，也未必做到尽快填报上传。这就导致数据采集不全，无法及时反映学校成果产出的全貌。要想解决这一难题，建议结合工作考核、成绩发布等与其学术生活息息相关的措施，鼓励师生主动填报，按规填报。

（三）支撑材料收集不足，规格难以统一

这里所谓的支撑材料，主要指非结构化数据，例如活动海报、宣传手册、音视频等。这些数据来源广，规格多，制式常有不同，而且很多材料在提交时没有标明作者/获奖者的简要信息，致使后期要靠人力逐一核对数据，为动态数据的采集带来困难。

综上，监测评估“动态”范式因符合时代特点和需求，越来越成为研究生教育管理从业者优选的研究范式。在其驱动下，数据采集呈现动态优于静态的发展态势，而且在评估层面也相应产生了监测评估的理论与方法。无论是从事研究生教育的行政工作人员还是专任教师，必须跟上时代步伐，深入认识数据采集的目的，运用多种动态数据采集办法，注重反馈机制的亲身促建，以帮助学校搭建动态数据从采集到反馈的完整闭环，为我国的“双一流”建设增砖加瓦。

参考文献：

[1]王铭，王战军.质量树：高等教育监测评估新方法[J].清华大学教育研究，2015（3）.

[2]王战军，乔刚.大数据驱动的教育研究新范式[J].北京大学教育评论，2018（1）.

[3]李芬，王战军.基于大数据的研究生教育监测评估研究[J].学位与研究生教育，2016（7）.

[4]冯成志.多重因素分析在大学评估指标整合中的应用[J].中国人民大学教育学刊，2013（1）.

[5]裴小琴，夏春明，范圣法.教学质量监控与评估体系的内涵建设探究[J].黑龙江教育（高教研究与评估），2015（10）.

[责任编辑  宋    宇]

收稿日期：2021-04-26

作者简介：孙宁宁（1981—），女，山东青岛人，上海音乐学院党委组织部副研究员，博士，主要从事高等教育和音乐学研究。

基金项目：上海音乐学院“音才辈出”项目“双一流建设背景党委下的监测评估与对应策略研究”（2018013）