丁 跃

(重庆大学 数学与统计学院，重庆 401331)

0 引 言

支持向量机[1](Support Vector Machine)是建立在核函数基础上的机器学习算法,在模式识别、机器学习等领域有着广泛的应用.不同的核函数，同一核函数不同核参数,对于支持向量机泛化能力的影响是显著的[2],在一些复杂的问题中,特别是数据具有异构性,样本分布不平坦,单一核函数已经难以满足问题的需要,为此Lanckriet提出来多核学习算法。多核学习算法通过将这些核函数组合起来学习,得到更高的泛化能力。

关于多核学习算法的主要研究成果有Lanckriet等[3]首先使用了半正定规划技术,完成了对于核矩阵的学习问题，但是其在大规模数据和高维数据的学习上面，学习效率较低Sonnenburg 等[6]在多核函数锥组合的基础上,提出了一种通用而更有效的多核学习算法。 该方法将多核学习问题改写为一种半无限线性规划(Semi-infinite linear program, SILP) 形式, 新的规划形式可以在标准的SVM 应用问题中,利用成熟的线性规划方法进行求解. Rakotomamonjy等提出的简单多核学习 (SimpleMKL)[7]，引入新的混合范数将候选核函数的权系数包含在标准支持向量机的经验风险最小化中，目标函数转化为凸的、且光滑函数，在权系数的确定中，使用梯度下降算法，SimpleMKL，相比于其他算法获得更高的效率。

以上的多核学习算法对于所有输入样本，核函数的权系数是一样的，这无形中对样本进行了一种平均处理，局部多核学习算法(LMKL)利用选通函数，局部的选用了合适的核函数，但是，LMKL有以下的不足：LMKL算法所选用的选通函数有严重的参数参数沉余，其使用选通函数l1范数的形式，提高了核函数间的稀疏性，但是削弱了核函数间的“互补”作用。……