最小二乘损失在多视角学习中的应用
2021-02-21刘云瑞周水生
刘云瑞,周水生
(西安电子科技大学 数学与统计学院,陕西 西安 710126)
近年来,人们收集和存储数据的能力得到了极大的提高。在科学研究和社会生活的各个领域,海量表现形式复杂的数据涌现。针对同一对象从不同途径或不同层面获得的特征数据被称为多视角数据,其呈现出多态性、多源性、多描述性和高维异构性等特点。多视角数据广泛存在于生物医学研究[1-2]、工业生产实践[3-4]和无监督学习等领域[5-6]。
多视角数据不仅可以从不同领域、不同特征提取获得,而且也可以通过随机划分、主成分分析、降维等方法人工生成[7-8]。不同视角间既具有内在联系,又存在差异,因此需要一种新的学习方法对这些数据和特征进行加工处理,从而充分合理地利用多视角数据中的信息。这就诞生了一个新的领域——多视角学习(Multi-View Learning,MVL)。经典的支持向量机(Support Vector Machines,SVM)属于单视角学习范畴,可以很好地解决小样本分类、回归等学习问题,是一种基于结构风险最小化原则和最大间隔原理的机器学习方法。但是,支持向量机所用到的数据往往是单个视角的数据,并不能很好地发掘多视角数据之间的结构特性。目前围绕支持向量机衍生出来的多视角学习算法越来越多,较为流行的有以下几种算法:基于学习使用特权信息框架(Learning Using Privileged Information,LUPI),是通过将特权信息确定的非负校正函数替换标准支持向量机中的松弛变量得到的SVM+模型[9-12];将多视角学习理论应用于最大熵判别算法(Maximum Entropy Discrimination,MED),得到多视角最大交叉熵模型(Multi-View Maximum Entropy Discrimination,MVMED)[13-14];……
