吴天宇，王士同

江南大学 人工智能与计算机学院，江苏 无锡214122

随机向量函数连接网络（random vector function link network，RVFL）是一种输入权值和隐藏层神经元的偏置值随机产生的前馈型神经网络。这种学习机制使得RVFL 有学习速度快和对计算资源要求低的优势。研究人员对RVFL 不断改进，如Chen 和Wan解决了在RVFL 中由噪声引起的小奇异值问题。Chen 和Liu提出了一种新的稀疏预训练RVFL，它采用稀疏自动编码器以无监督学习的方式预训练随机分配的网络参数。

现实情况中通常会以不同的测量方法收集许多数据。例如同一个图像用不同的特征提取方法，同一个物体在多个不同角度下展现，把这样针对同一对象从不同途径或层面获得的特征数据称为多视角数据，其呈现出多态性、多源性、多描述性。面对新兴的数据应用场景，多视角间存在重要相关信息，单视角RVFL 无法逐个学习。与传统的单视角学习相比，多视角学习（multi-view learning，MVL）分别为每个视角特征构造一个学习模型，通过同一对象的冗余视角数据共同优化构建模型。

早期的多视角学习方法倾向于将多个视角合并成为一个更全面的视角，但是这种简单的视角拼接策略忽略了每个视角的分布特征。近期基于不同策略的多视角分类算法相继被提出，其目的是利用多视角间的相关信息得到更为准确有效的分类结果。其中常见的多视角算法有协同正则化型算法和协同训练型算法。

实现协同训练型算法的重要前提是存在充分冗余的视角，协同训练类型的算法目标是最大化不同视角之间一致性。这方面的代表性算法有多训练支持向量机（multi-training support vector machine，MTSVM）。协同训练式算法有严格的学习假设并且对建模的充要条件有严格要求。

在协同正则化类算法中，目标函数需要将不同视角之间的分歧最小化。典型的方法有稀疏多视角支持向量机（sparse multi-view SVM）、多视角拉普拉斯支持向量机（multi-view Laplacian SVM）、多视角向量值流形正则化方法（multi-view vector valued manifold regularization）等。这些基于SVM 的方法可以有效解决多视角应用场景问题，但是这些方法也具有一定的局限性，这些方法忽略了视角之间的互补信息，另一方面支持向量机求解过程中的局限性如二次规划求解对计算机内存需求大，迭代速度慢。

现有的多视角学习算法之间虽然存在各种明显的差异，但这些算法主要体现了多视角学习的共识原理或互补性原理。在多视角学习中，共识和互补性原理在指导模型构建中起着重要作用。共识原理的目的是最大化多个不同视角的一致性，改善算法的泛化误差范围。相反，互补原理强调视角之间共享互补信息，目的是更全面地描述数据，提高算法的鲁棒性。

Vapnik 等人提出使用特权信息学习（learning using privileged information，LUPI）来解决学习模型中的补充知识。一个可能的常用类比是学生与教师的学习:当学生在学校学习一个概念，教师可以随时提供额外的解释（特权信息）。与教师只提出问题并给出答案的方式相比，教师的额外解释可以显著提高学生的学习情况。但是在以后的测试中，当学生遇到类似问题时，无法获得老师的专业知识也就是特权信息。LUPI 将人类教学理念融入了机器学习概念中。对于一个特定的任务，比如分类，训练数据不仅是目标任务的监督信息，还有一些额外的特权信息（附加信息）。

从多视角学习的角度来看，不同的特征视角可以相互提供特权信息实现互补。因此，多种观点共享互补信息，类似于人类学习中教师的回答和解释。因此很自然地将LUPI概念应用于多视角学习并提出了一个结合特权信息的多视角随机向量函数连接网络。

本文的贡献总结如下：将特权信息和多视角学习概念结合在RVFL 的基础上提出了一种快速多视角特权协同随机向量函数连接网络（fast multi-view privileged random vector function link network，FMPRVFL）。该网络在平均情况下相互利用冗余视角的附加信息作为特权信息监督当前视角的分类，并以此设计了FMPRVFL 的目标函数，利用解析解对目标函数进行优化，从而使FMPRVFL 训练速度更快。随后在64 个数据集上进行了实验。结果验证了FMPRVFL 优于其他算法。

1 相关工作

1.1 多视角学习

多视角学习发展迅速，多视角学习方法在一定程度上相较于特定的单视角学习显示出一定优势。多视角学习算法通常是在共识或互补原理的指导下建立的，现有的多视角算法可以分为三类：协同训练类型算法、协同正则化类型算法和余量一致性类型算法。协同训练类型算法旨在最大化不同视角之间的一致性，例如协同测试支持向量机（co-testing SVM）、鲁棒协同训练支持向量机（robust cotraining SVM）。相比之下，协同正则化类型的算法可以最大程度地减少不同视角之间的分歧，例如稀疏多视角支持向量机、多视角拉普拉斯支持向量机。最近还提出了余量一致性类型的算法，该类型算法利用多视角分类结果的潜在一致性，在最大熵判别（maximum entropy discrimination，MED）的基础上实现。余量一致性类型算法与协同正则化类型算法对多视角的判别或回归函数限制不同，余量一致性类型算法对多个视角的余量变量进行建模，使其尽可能相似，即每个输出变量和判别函数的余量都大于每个余量变量。例如MVMED（multi-view maximum entropy discrimination），以最小化两个视角边距之间的相对熵实现了边距一致性。MED-2C（consensus and complementarity based maximum entropy discrimination）以互补子空间将共识和互补的两个原理整合到多视角MED，相对于MVMED 有更好的泛化性。

1.2 特权信息学习

LUPI 使用仅在训练期间可用的数据帮助学习模型在测试阶段实现更好的预测结果。特权信息作为附加特征用来改进特定的分类器，Vipnik 和Vashist提出了最早的LUPI 算法支持向量机SVM+（support vector machine+）。Xu 等人利用训练数据中的其他深度图像作为特权信息，设计了一种新颖的距离度量学习算法。Shi 等人提出了一个最后一层的预测结果用作特权信息的级联多列RVFL+框架。

这些方法主要利用共识原理或互补原理应用多视角数据改善模型的通用性能。本文在平均情况下相互利用冗余视角的附加信息作为特权信息监督当前视角的分类。本文方法同时满足共识原理和互补原理，相对于其他同时利用共识原理和互补原理的方法，关注在平均状况下相互监督的情况并且在此基础上设计的目标函数可以利用解析解对目标函数进行优化，从而使FMPRVFL 泛化能力更好，训练速度更快。

2 算法介绍

2.1 随机向量函数连接网络

RVFL 由于其通用逼近能力和出色的泛化性能，是最流行的单层前馈神经网络之一。在近三十年中，许多研究人员研究了RVFL 在各个领域的众多变体。Chen 和Wan为功能连接网络提出了两种新颖的算法，以便有效地计算最佳权重并实时更新权重，他们还解决了最有可能在RVFL 中由噪声引起的小奇异值问题。Chen 等人提出了一种新颖的单隐藏层神经网络结构，可以快速计算最佳权重。下面将详细介绍本次使用的RVFL，其网络结构如图1 所示。

图1 RVFL 网络的架构Fig.1 Architecture of RVFL network

给出一组具有标记的数据{(x,y)|x∈R,y∈{-1,1},=1,2,…,}，具有个增强节点的RVFL 网络可以表示如下：

式中，是输出向量权重；是连接输入数据和增强节点输出的级联矩阵；是标签矩阵。

从式（1）可以通过Moore-Penrose 伪逆如式（6）或者岭回归式（7）计算出权重，†是Moore-Penrose 伪逆，是一个单位矩阵，是权衡参数。

式中，ζ是训练误差，y是一个标签，y∈{-1,1}，(x)表示组合特征向量。

2.2 快速多视角特权协同随机向量函数连接网络

在多视角学习中普遍接受的假设是每个特征视角都可以单独提供一个信息分类器，从不同特征视角构建的分类器在预测时往往是一致的。FMPRVFL的目标是训练一个决策函数()，满足多视角分类的一致性和互补性，如图2 所示。

图2 FMPRVFL 结构示意图Fig.2 Illustration of construction of FMPRVFL

若()≥()≥0 则：

可以用(1-(()-()))替代式（10）。有：

由此可以得到目标函数：

为了进一步说明FMPRVFL 的机理，给出如下详注。

（3）引入非负松弛变量（18a）和（18b）在平均情况下让两个视角之间相互监督，从而保证它们之间的一致性和互补性。C是一个非负惩罚参数。

为了更好地解释非负松弛变量保证它们之间的一致性和互补性的作用方法，将式（18a）和式（18b）展开得到式（19a）和式（19b）。

对式（19a）和式（19b）中第二项进行变换得到式（20a）和式（20b），然后进一步展开得到式（21a）和式（21b）。

在式（17）中求解w和w后，分别在每个视角上和联合在两个视角上建立分类器，根据具体情况对新样本的标签进行预测。

2.3 目标函数优化

可以通过固定w对w求逆再固定w对w求逆相互迭代，或者使用梯度下降法一步步迭代求解出合适的w和w。这样求解一般情况下，其解不保证是全局最优解并且靠近极小值时收敛速度减慢。将w和w构造在一起，将式（26）～（29）带入式（25）中直接得到了w和w，得到了这个目标函数的解析解，相较于梯度法有更快的速度。

依据式（17）构造拉格朗日函数(w,w)，对w、w求导。

在二分类中通过以下方法确定测试样品的预测标签：

基于上述优化结果，算法的实现步骤如算法1所示。

FMPRVFL

FMPRVFL 在步骤1 中，算法的时间复杂度和增强节点的个数和输入样本量有关，为()。一般情况下远大于，因此此步的时间复杂度为()，在步骤2 中生成级联矩阵复杂度为()，步骤3 中求伪逆的复杂度为()，其中涉及到矩阵乘的复杂度为()，为输入训练样本数，为输入样本特征维数总和，为隐藏节点数。一般情况下≪且≪，综合来看算法的时间复杂度为()。

3 实验评估

3.1 数据集

为了检验FMPRVFL 的性能，本节对一些真实数据集进行评估。为了保证实验的真实准确，每种方法进行了5 折交叉验证实验，并且计算平均结果和标准差作为最终结果，采用了常用的准确率（accuracy，Acc）作为衡量指标并记录了算法段运行的时间。所有模拟实验都是在同一个环境下完成的，采用在Windows10 1903系统Intel i7-9750 2.60 GHz六核CPU和32 GB RAM 的计算机上 搭建Matlab2016b 环境中进行。

AwA：包含50 种动物的30 475 张图像，图像数据是在2016 年从公共资源（例如Flickr）收集的。每张图像具有6 个预先提取的特征表示。在二分类实验中使用SURF（speeded up robust features）特 征2000-D 和HOG（histogram of oriented gradient）特征252-D。

NUS-WIDE：由新加坡国立大学的媒体实验室创建的网络图像数据集。数据集包括：269 648 张图像和5 018 个唯一标签；从这些图像中提取的6 种类型的低级特征，包括64-D 颜色直方图、144-D 颜色相关图、73-D 边缘方向直方图、128-D 小波纹理、225-D逐块颜色矩和基于SIFT 描述的500-D 特征；可用于评估的81 类分类场景。本文实验使用其中单目标图集，选择了225-D 逐块颜色矩Normalized_CM55 和73-D 边缘方向直方图Normalized_EDH。

数据集的信息如表1 所示，为了进行更基本的比较，把数据集拆分成多个二分类。NUS-WIDE 数据集类别排序按照首字母顺序。第一个实验的选取方式参考了数据集作者给出的测试。第二个实验直接以首字母排序后从第5 个到第75 个每间隔10 组成一组二分类数据集。

表1 实验中用到的数据集Table 1 Datasets used in experiment

3.2 实验设置

实验选取一些主流对比算法,其中RVFL-A 和RVFL-B 为带权重参数的用岭回归求解的RVFL，相当于一组消融实验。SVM-2K 是基于SVM 的多视角学习模型，SVM-2K 结合了标准SVM 和KCCA（kernel canonical correlation analysis）的距离最小化。MED-2C方法将共识性和互补性原则集成到MED 框架中，以进行多视角分类。PSVM-2V在SVM-2K的基础上结合特权信息，以QP问题迭代求解。

为了获得所有方法的最佳参数，实施了5 重交叉验证并且运行10 次求平均值，SVM-2K、MED-2C 和PSVM-2V的高斯RBF（radial basis function）核函数的核参数选自{10,10,10,10,10,1,10,10,10,10,10}。依据原作者的设置方法在实验中将算法中两个视角的内核参数设置为相同值。在集合{10,10,…,10}上调整PSVM-2V、SVM-2K、MED-2C、RVFL中的参数等。在FMPRVFL中，设置==并同上面核化参数相同的范围选取即{10,10,…,10}。隐节点数从{80,100,120,140,160}中选择。

3.3 实验结果和分析

本节将比较FMPRVFL 和所有对比测试方法的性能。从图3 也可以直观看出，在多数情况下，FMPRVFL 的性能均优于其他算法。

图3 在AwA 数据集上的分类性能Fig.3 Classification performance on AwA dataset

在此讨论FMPRVFL 的参数敏感性，在隐节点参数固定后精度会随参数、C、变化，选择参数的部分结果如图4。在参数选择中当C在10处达到精度的极大值，或C都较大时模型的精确度达到最佳。从图4（b）来看，当参数处于10时，精度随变化幅度不大；在=0.01 时精度达到极大值。

图4 不同参数下FMPRVFL 在AwA 第27 组实验中性能变化Fig.4 Performance of FMPRVFL with different parameters on dataset AwA27

表2 和表3 分别列出了来自AwA 和NUS-WIDE的36 个和28 个数据集二分类结果。FMPRVFL 在数据集AwA 的结果相对视角A 的RVFL 平均高出约3个百分点，相对视角B 的RVFL 平均高出约12 个百分点，相对SVM-2K 平均高出约3 个百分点，相对MED-2C 平均高出约6 个百分点，相对PSVM-2V 平均高出约2 个百分点。在6 组数据集略低于PSVM-2V，但是这种情况两者也非常接近，最坏情况第24 组低约3个百分点。本文方法在NUS-WIDE 数据集上对比视角A 的RVFL 平均高出约2 个百分点，相对视角B 的RVFL 平均高出约4 个百分点，相对SVM-2K 平均高出约4 个百分点，相对MED-2C 平均高出约4 个百分点，相对PSVM-2V 平均高出约2 个百分点，在5 组数据集略低于PSVM-2V，但是这种情况两者也非常接近，最坏情况第4 组实验低约2 个百分点。表4 记录了各个算法运算时间，可以看出FMPRVFL 相较于PSVM-2V、SVM-2K、MED-2C 这类用二次规划多次迭代求解的方法有较为明显的优势。

表2 在AWA 数据集上的分类性能Table 2 Classification performance on AwA dataset

表2 （续）

表3 在NUS-WIDE 数据集上的分类性能Table 3 Classification performance on NUS-WIDE dataset

表4 在NUS-WIDE 数据集上的平均运行时间Table 4 Average running time on NUS-WIDE dataset 单位：s

综上所述可以得出以下结论：在多数情况下，FMPRVFL 的性能均优于其他算法。可以看出，FMPRVFL 以最高的平均准确度和最快速度获得了最佳性能。对于大多数数据集，FMPRVFL 具有比PSVM-2V 更高的准确性，并且比自身单独两个视角的性能更好，这进一步证明了FMPRVFL 本身可以按照互补性原理充分利用两个视角作为特权信息，并遵循共识性原理添加正则化项以实现更好的分类性能。

4 结束语

本文提出了一种快速多视角特权协同随机向量函数连接网络（FMPRVFL）来有效地解决多视角分类任务。FMPRVFL 在平均情况下相互利用冗余视角的附加信息作为特权信息监督当前视角的分类。该方法的目标函数可以求出解析解，可以使用伪逆方法快速求解。在64 个多视角数据集上进行实验，相比SVM-2K、MED-2C、PSVM-2V，在实际任务中，FMPRVFL 可以实现更好的泛化性能和更快的速度，证明了该方法的有效性。目前只设计了两视角的FMPRVFL，在一些任务中更多视角可能会对模型构建带来更多帮助，FMPRVFL 可以进一步改进使用两个以上视角数据。FMPRVFL 中激活函数的选择对网络泛化能力的影响还有进一步探索的空间，后续可以使用核化方法提高非线性拟合能力。