陶 槊，魏东东

(合肥科技职业学院 经济管理系，合肥 231201)

近年来，随着我国智慧化校园建设的全面推进，教育主管部门和各院校信息部门都在积极开展“智慧高校信息化建设评价指标体系”工作。同时，大数据技术的成熟，高校工作亟待研发一套信息建设评估工具，借助高效算法，利用好现存的海量评价数据，促进高等院校信息化工作发展，并为智慧校园建设构建一套行之有效的综合评估指标体系。

目前国内外对高校信息化水平科学评估方法已有许多研究成果与案例，如美英STaR评估体系和学校信息化自我评估框架(SRF)[1]，日本2018年通过的《平成30年的学校ICT环境建设方针》，对院校信息化建设评估进行规范[2]。在我国，基本研究基于国家-省2级研究课题展开，主要集中在教育手段、基础建设、应用水平、决策分析、模型架构等5个方面[3-4]，初步构建了一套我国的高校教育信息化的理论评估体系。

但通过调研也发现，高校评估方法更多关注单方面指标体系的分析与评估，特别是缺少对智慧高校综合指标体系的应用与研究。同时在算法构建上，主要是模糊数学[5]、层次分析、指标聚合[6]、神经网络等方法[7]，这样容易受主观判断或等级评价的模糊性影响，难以反映信息化建设具体变化情况，或者是计算复杂，实现困难。另外，因校际间建设水平、发展方向与理念的不同，造成具体建设指标差异大，难以帮助高校起到引领示范作用。据此，本文主要开展了以下研究：1)以国家和省级的指标体系为基础，对客观软硬件指标内容细化与量化；收集、整理院校现有信息平台累计的后台评分大数据，生成主观评价数据；2)引入层次化分析与主客观评估模型。然后通过组合优化算法，确定权重，整合各项评分，获得综合评估结果；3)通过实验验证评价算法的可靠与适用性，利用该组合评估算法模型发现智慧高校信息建设发展特点。

1 评估模型

由上级部门颁发的各类评估指标文件对高校信息化建设起到了指导示范作用，但各个指标系之间都或多或少存在约束关系，为能全面反映信息化建设成果，需实施3方面的工作：1)建立基本框架模型(见图1)，组织指标体系与关系，明晰架构与规范流程；2)在各约束条件与对应评估指标之间寻找一种优化组合方法，平衡各评分系统权重关系获得最优解，体现客观评价与主观体验的统一；3)依靠新技术，以优化算法生成更加合理的评估体系，用于指导高校信息化建设。

图1 高校信息化评估流程

1.1 评估指标

本文以2021年3月教育部科技司制定的《高等学校数字校园建设规范(试行)》(教科函〔2021〕14号)和安徽省教育厅《高等学校教育信息化建设评价指标体系2.0》[8]系统性指导文件为基础，进行研究分解，同时将智慧校园建设要求作为评价指标依据，编制6维度3级指标体系(见表1，限于篇幅第3级明细指标略)。

表1 高校信息系统评估指标表

1.2 评价数据的获取

以表1为蓝本，制作调查项目，在高校已建立的门户网站、贴吧、论坛上做问卷调查、满意度调查、抽奖投票、意见反馈获得业务支撑与业务应用的主观评分。利用教研/图书馆/OA、云课堂、MOOC、仿真实验等平台，通过项目申报、考试测评、学术调研、在线评价形式收集与整理综合数据，并对数据进行指标化统一与量化。对无法在线计分的项目如基础设施，数据资源量，安全保障，运维管理体系等则直接按照《指标体系2.0》要求，一部分划分层次等级，一部分按数量做分值统计，然后实现对所有项目的指标的标准化处理。

2 基本评估算法

层次化-模糊评估与遗传-神经网络算法评估，各有优劣，前一种减少了主观判断的随意性，但全面性反映能力不足，另一种更能反映高校信息建设的实际效果，但对数据和操作人员要求高，实效性不足，本文采用层次评估与系数统计组合算法作为高校信息系统评估手段，以方便体现高校信息化建设综合能力，弱化算法的不足。

2.1 层次评估法

信息系统评价指标存在关联情况，且打分区间一般呈正态分布，反映了动态评价指标的不确定性，因此采用Fuzzy Analytical Hierarchy Process(FAHP)算法[9]。设评分区间从差至好Y={y1,y2,y3,y4,y5},yl=(0～0.2|0.2～0.4|0.4～0.6|0.6～0.8|0.8～1),l=1，…，5，a,b∈yl,且a≤b。在某层对单因子进行评估中，存在指标序列模糊映射f：F(E)←T，即f(ek)是T的关联度。设第i指标因子集Ci={ci1,…,cin}，则因子矩阵C：

(1)

于是得单级权值评估公式：

(2)

利用三角模糊算法简化一致性判断矩阵：

(3)

转换并求模糊一致性矩阵Q：

(4)

归一化处理后，指标i的权值wi：

(5)

2.2 变异系数法

智慧校园建设涵盖内容多样，各个项目不能简单进行分值累加，否则很容易造成各校评价分值片面化，忽略自身实际建设需求。所以本文采用变异系数法[10]，兼顾消除不同指标间的不同量纲效应，并通过权值变化来反映异化数据间的差距与不同。

根据高校建设项目，校际间评比，适于采用高优指标，此数据越高越好：

(6)

如果是为寻找本校建设短板，则采用低优指标：

(7)

(8)

得权值：

(9)

3 优化处理

3.1 权重优化模型

(10)

对等式约束的非线性优化：

(11)

f(x)：Rn→R；h(x)：Rn→Rm。

利用罚函数的无约束优化[12]转换为：

(12)

i=1,…，n,

(13)

(14)

(15)

其中：

(16)

3.2 算法过程

根据上节公式要求，设计求最小权值wi过程：

Initial(σ,μ0,Numiteration,εabs,,εrel，…);k=0;

//参数初始化

While (‖σ(k)‖2>εrelor‖s(k)‖2>εdual) andk<=Numiteration

//收敛条件

//计算中间值

for(l=1;l<=m;l++)

//计算欧氏距离

if min(d) then update Dismin,wi;}

//记录最小距离及min(wl)

alteration(σ,μk+1,Lσ+1,…);

//优化更新

k++;}

3.3 收敛性验证

3.3.1 收敛参数

(17)

(18)

当式(18)的1阶导数为0时，梯度函数迭代收敛，且残差的最优解s*(k)=-(μl/σ+gl(wl))，即：

s*(k)=max{0,-(μl/σ+gl(wl))}。

(19)

式(19)中，在计算-(μl/σ+gl(wl))后，0和-(μl/σ+gl(wl))这2个数据，取最大的那个有效。

3.3.2 验证测试

表2 不同初值下最终收敛极值统计表

图2 迭代μ收敛情况变化

图3 迭代残差系数s收敛情况变化

4 实验与分析

4.1 权重算法分析

根据高等学校数字校园建设规范体系要求，对基础设施/业务平台/业务应用/资源建设/保障体系/安全体系，选取有代表性的评估模式确定权重算法进行比较。在统一指标系数情况下，分别计算1级指标的权重，根据计算结果得图4。

图4 各种权重计算对比图

从图4可以看出，直接的多层次模糊算法指标随时波动会明显影响评判结果，不利于评估要求；熵权法权重波动明显，其评估准确性有待进一步考查，经典的AHP+CRITIC组合方法[17]评估效果有所改善，但结果前后差异大；遗传算法的准确率高，但是因需要大量的训练样本，对应当前高校迅速升级变化的环境，需要经常性地加以训练，影响效率，而本文采用的主客观组合优化算法，具备评估准确性与计算效率更好地结合。

4.2 评估测试

根据2～3节算法计算本校4年来有大数据评估样本的1级指标权值，得表3。

表3 历年1级指标组合权值计算表

(20)

根据式(20)得到表4和图5。

表4 本校信息系统历年评分表

图5 本校2017—2020年1级指标综合评估与权值评分曲线图

根据获得的综合评分，结合本校信息化建设的已知经验与成果，和图5比较分析可以看出：1)4年来在设施建设方面的投入，对名义指标有一定提高，但是结合其他关联因素影响，整个评分并未获得同步增长；而在信息支撑方面因操作环境的改善和课程建设的发展，评分却获得持续提高，但其增长趋势却随时间的延续而放缓，这意味着如果要保证信息化建设效果，必须考虑在支撑系统中做长期持续的调整或投入，才是本校未来智慧高校建设的重点。2)在信息应用与数据资源方面，虽受量纲影响，但因权值的控制，总体未见明显提高，体现了组合权重算法的意义；而保障和维护系统因组合权重的调整，工作与评估成绩表现出同步关联变化，进一步验证了该评估模式可以有效反映高校信息化建设的成效。

总之，该组合优化算法评估系统体现了高校信息化建设成果与内涵，并能为智慧高校建设发现问题与指引方向，可以作为高校评估系统的有效工具加以应用与推广。

5 结语

目前智慧高校信息化水平评估技术仍处于初创阶段，本文通过利用大数据信息获取，建立指标评估体系；采用适应评估量化的模糊层次模型与反映主客观因素的变异系数法获得初始权值，并利用改进的ALM组合优化算法以强化重要指标。接着通过实验验证算法的收敛性，再根据计算验证本校历年校园信息系统建设状况，进一步检验本评估算法的可行性与实效性。总之，该评估方法通过实验验证，证明是一套可行的高校信息系统优化评估手段，值得推广。