陶槊 魏东东 徐光明

摘 要：随着智慧高校工作在全国范围内的展开，为了能更好衡量与指导未来各高校的智能信息化工作，必须为智慧高校信息系统建设开发一套科学的评估技术。可行的方法是建立完整的评价模型;在此框架上，利用高校积累的评价大数据，设定3级评价指标;通过几种算法，分别获取主客观评价权值，再借助改进的增广拉格朗日乘子 （augmented langrange multiplier， ALM）算法获得组合优化权值以获取更有效的评估效果;接着验证组合优化算法功效;最后通过实例检验该算法的实用性。

关键词：信息系统评估;指标体系;复合权重;ALM算法

中图分类号：TP393.02

文献标志码：A

近年来，随着我国智慧化校园建设的全面推进，教育主管部门和各院校信息部门都在积极开展“高校智慧化建设评价指标体系”工作。与此同时，大数据技术的成熟，智慧化校园建设亟待研发一套智能评估工具，借助高效算法，充分利用好海量的评价数据，促进高校提升智能信息系统建设，并为智慧化校园建设构建一套行之有效的综合评估指标体系。

目前国内外对高校信息化水平科学评估方法已有许多研究成果与案例，如美英学校技术与就绪（school technology and readiness，STaR）量表评估体系和学校信息化自我评估框架（the self-review framework， SRF）[1]，日本2018年通過的《平成30年的学校信息与通信技术（information and communications technology， ICT）环境建设方针》，对院校信息化建设评估进行规范[2]。在我国，基本研究基于国家-省2级研究课题展开，主要集中在教育手段、基础建设、应用水平、决策分析、模型架构等5个方面[3-4]，初步构建了一套我国的高校教育信息化的理论评估体系。

但通过调研发现，高校评估方法更多的关注于单方面指标体系的分析与评估，特别是缺少对智慧校园指标体系的综合化应用与研究。同时在算法构建上，主要是模糊数学[5]、层次分析、指标聚合[6]、神经网络等方法[7]，这样容易受主观判断或等级评价的模糊性影响，难以反映信息化建设具体变化情况，或者是计算复杂，实现困难。另外，因校际间建设水平、发展方向与理念的不同，势必造成具体建设指标差异大，难以帮助高校起到引领示范作用。因此根据以上情况，本文主要进行了以下工作：（1）以权威性的指标体系为基础，对客观软硬件指标内容细化与量化，以院校门户网站生成的后台评分大数据为基础进行收集，清洗、整理生成主观评价数据;（2）引入层次化分析与主客观评估模型。然后通过组合优化算法，确定权重，整合各项评分，获得综合评估结果;（3）通过试验验证评价算法的可靠与适用性，利用该组合评估算法模型发现智慧高校建设发展特点。

1 评估模型

由上级部门颁发的各类评估指标文件对高校信息化建设起到了指导示范作用，但各个指标系之间都或多或少存在约束关系，为能全面反映智慧化建设成果，需实施3方面的工作：（1）建立基本框架模型（见图1），组织指标体系与关系，明晰架构与规范流程;（2）在各约束条件与对应评估指标之间寻找1种优化组合方法，平衡各评分系统权重关系获得最优解，体现了主客观评价的统一;（3）利用新技术，以高效算法生成更加科学化评估体系，又能反过来指导智慧高校建设。

1.1 评估指标

本文以2021年3月教育部颁布的《高等学校数字校园建设规范（试行）》（教科信函[2021]14号）和安徽省教育厅《高等学校教育信息化建设评价指标体系2.0》（皖教秘科[2021]11号）指导文件为基础，对已有的指标体系的评分体系进行系统研究，确定3级评价指标内容，作为客观性智慧校园建设评价指标依据，编制6维度3级指标体系（见表1，限于篇幅，第3级指标略）。

1.2 大数据的收集与处理

以表1为蓝本，制作调查项目，在高校已建立的门户网站、贴吧、论坛上做问卷调查、满意度调查、抽奖投票、意见反馈获得业务支撑与业务应用的主观评分。利用教研、图书馆、OA、云课堂、慕课（massive open online course，MOOC）、仿真实验等平台，通过项目申报、考试测评、学术调研、在线评价形式收集与整理综合数据，并对数据进行指标化统一与量化。对无法在线计分的项目，如基础设施，数据资源量，安全保障，运维管理体系等，则直接按照《指标体系2.0》要求，一部分划分层次等级，一部分按数量做分值统计，然后实现对所有项目的指标的标准化处理。

以表1内1级指标为例，设高校评价指标体系集I={I1，…Im}， I1={I11，…In1}，…I6={I16，…In6}，Iai∩Ibj=，a，b∈[1，n]。初始指标得分集X，权值向量集W={w1，w2，…，wn}，其中xi=1n∑nj=1xji，归一化评估权值wi=∑nj=1wji=1，对应i级n个指标m个评分的矩阵S=（sij）m·n，si为Ii的指标得分。

2 基本评估算法

层次化、模糊评估与遗传、神经网络算法评估各有优劣，层次化法减少了主观判断的随意性，但全面性反映能力不足，模糊评估法更能反映智慧化校园建设的实际效果，但对数据限制和操作人员要求高，实效性不足[4，7-8]，本文采用层次评估与系数统计组合算法作为智慧高校评估手段，以方便体现高校信息化建设综合能力，弱化算法的不足。

2.1 层次评估法

智慧校园评价指标存在关联情况，且打分区间一般呈正态分布，反映了动态评价指标的不确定性，因此采用模糊层次分析（fuzzy analytical hierarchy process，FAHP）算法[9]。设评分区间从差-好Y={y1，y2，y3，y4，y5}， yl=（0～0.2|0.2～0.4|0.4～0.6|0.6～0.8|0.8～1）， l=1，…，5，a，b∈yl，且a≤b。在某层对单因子进行评估中，存在指标序列模糊映射f：F（E）←T，即f（ek）是T的关联度。设第i指标因子集Ci={c1i，…cni}，n∈Z+，则因子矩阵C：

通过试验可知，对不同样本，当λ<0.003，L收敛，但是收敛之后还会在误差周围出现震荡，当λ>0.05，整个函数收敛困难，在0.003<λ<0.05时，函数正常收敛。根据统计，在0.004 5≤λ≤0.005 5区间，可以保证良好的快速收敛性。

为考察不同算法对指标参数的评估效果，统一初始参数，设λ=0.005，分别用不同算法对评估样本测试wi的确定情况（见图2和图3）。各20次运算，取平均结果，从图2和图3可知，在已知λ，σ的前提下，标准ALM算法可以获得快速收敛，但因其对乘子λ敏感问题，需要进行更多的样本与参数测试，而交替方向乘子算法（alternating direction multiplier method， ADMM）采用交替梯度求解[16]，实际收敛速度最慢，而本文改进的ALM算法是将二者优势结合起来，先对所有样本提前做归一化处理限制异常样本，利用改进相似度系数σ控制c|h（x）|2，以满足评估要求的误差参数，简化极值计算，实现更快的梯度下降计算，以获得更优的收敛速度，并避免对初始值的过多调整，保证了算法的通用性。

4 试验与分析

4.1 权重算法分析

根据高等学校数字校园建设规范体系要求，重点建设顺序为：基础设施优于业务平台优于业务应用优于资源建设优于保障体系优于安全体系，分别选取比较有典型或主流的评估确定权值算法进行比较。在统一问卷与指标系数情况下，分别计算1级指标的权重，根据计算结果得图5：

从图4可以看出，直接的多层次模糊算法指标波动就会明显影响评判结果，不利于评估要求的随时变动;熵权法权重波动明显，其评估准确性有待进一步考查，经典的AHP+CRITIC组合方法[17]评估效果有所改善，但结果波动性大;遗传算法的效率有一定提高，但是因需要大量的训练样本，对应当前高校迅速升级变化的环境，需要经常性的加以训练，影响效率，而本文采用的主客观组合优化算法，具备更好的评估准确性与计算效率结合。

4.2 智慧高校评估测试

根据2节、3节算法计算本校4年来有大数据评价样本的1级指标权值，得表3：

根据安徽省教育厅颁发的指标体系获得的综合评分，结合本校4年来信息化建设的已知经验与成果，和图5比较分析可以看出：（1）4年来，本校在设施建设方面的投入，对名义指标有一定提高，但是结合其他关联因素影响，整个评分并未获得同步增长;而在信息支撑方面因操作环境的改善和课程建设的发展，评分却获得持续提高，但其增长趋势却随时间的延续而放缓，这意味着如果要保证智慧校园建设效果，必须考虑在支撑系统中做长期持续的调整或投入才是本校未来智慧化建设的工作重点。（2）在信息应用与数据资源方面，虽受量纲影响，但因权值的变化，总体未见明显提高，体现了组合权重算法的意义;而对保证和维护系统，在组合权重的调整，可以明显体现在4年工作变化的等比例关联，进一步验证了对信息化建设评估可以体现本校对安全建设与运维体现的具体工作可以使用权重加以呈现。

总之，该组合优化算法评估系统体现了智慧化高校建设成果与内涵，可以作为智慧高校评估系统的有效工具加以应用与推广。

5 结语

目前高校智慧化评估技术仍处于初创阶段，本文通过利用大数据信息获取，建立指标评估体系;采用适应评估量化的模糊层次模型与反映主客观因素的变异系数法获得初始权值，并利用改进的ALM组合优化算法以强化部分关键指标。接着通过试验验证算法的收敛性，再根据计算验证本校历年智慧校园建设状况，进一步检验本评估算法的可行性与实效性。总之，该评估方法通过试验验证，证明是一套可行的智慧高校优化评估手段，值得推广。

参考文献：

[1]张聪. 高校教育信息化评估成熟度模型构建及其应用研究[D]. 上海： 上海外国语大学， 2017.

[2]彭裕茜， 李志平. ICT在日本教育工学中的发展与启示[J]. 科教导刊， 2020， 4（2）： 10-12.

[3]CHARLIE L， MICHAEL C， ANDRE A. Digital ITEMS module 1： reliability in classical test theory[J]. Educational Measurement： Issues and Practice， 2018， 37（2）： 71-72.

[4]伊洁. 高等教育信息化水平评价指标体系研究[D]. 山西： 山西师范大学， 2018.

[5]LIU S， CAI H， YANG Y， et al. Research progress of grey relational analysis model[J]. Systems Engineering-Theory & Practice， 2013， 33（8）： 2043-2046.

[6]元杨芳. 资讯聚合类APP用户满意度评价指标体系构建研究[D]. 河南： 郑州大学， 2020.

[7]金晶， 李宗昊， 朱亮， 等. BP神经网络在铁路建设风险评估中的應用[J]. 铁道工程学报， 2019， 36（3）： 103-109.

[8]孙茜， 江胜月. 基于改进模糊评价法的PPP高速公路项目风险评估[J]. 齐齐哈尔大学学报（自然科学版）， 2020， 36（6）： 72： 82.

[9]PHAM N T， DO A D， NGUYEN Q V， et al. Research on knowledge management models at universities using fuzzy analytic hierarchy process （FAHP）[J]. Sustainability， 2021， 13（2）： 809-819.

[10]YEONG W C， KHOO M， THAM L K， et al. Monitoring the coefficient of variation using variable sampling interval CUSUM control charts[J]. Journal of Statistical Computation and Simulation， 2021， 91（3）： 501-521.

[11]SUN M， LIU J. An accelerated proximal augmented Lagrangian method and its application in compressive sensing[J]. Journal of Inequalities and Applications， 2017， 2017（1）： 217-223.

[12]COHEN A， KOLASSA J， SACKROWITZ H B. Penalized likelihood and multiple testing[J]. Biometrical Journal， 2019， 61（1）： 62-72.

[13]ROCKAFELLAR R T. The multiplier method of hestenes and powell applied to convex programming[J]. Journal of Optimization Theory & Applications， 1973， 12（6）： 555-562.

[14]ZHU H， GAO Y， HOU Y， et al. Real-time pricing for demand response in smart grid based on alternating direction method of multipliers[J]. Mathematical Problems in Engineering， 2018（7）： 541-549.

[15]MARIIA M. Using the method of ideal point to solve dual-objective problem for production scheduling[J]. ScienceRise， 2016， 7（24）： 46-49.

[16]ZHANG T. Analysis of multi-stage convex relation for sparse regularization[J]. Journal of Machine Learning Research， 2010， 11（2）： 1081-1107.

[17]MINAKSHI K， MAKARAND S， KULKARNI. Single-measure and multi-measure approach of predictive manufacturing control： a comparative study[J]. Computers & Industrial Engineering， 2018， 127（12）： 182-195.

（責任编辑：于慧梅）

Abstract：

With the implementation of intelligent campus project all over our nations colleges， it is necessary to develop a suit of systematic evaluating technology of smart information system in order to assess and instruct IT construction for all the campuses in future. It is feasibe to build a kind of evaluation model firstly， and then setup 3-level index system， taking advantage of accumulated big data in academic IT system. By the use of several methods， the model can obtain initially objective and subject weights， and then compute optimal compound weights to acquire efficiently results， relying on the improved ALM（augmented langrage multiplier） algorithm. Finally， experiments were carried out to verify validity of the compound algorithms， and tested their availability by the means of real cases.

Key words：

IT evaluation; index system; compound weights; ALM algorithm