陈加略 姜 远

(计算机软件新技术国家重点实验室(南京大学) 南京 210023) (软件新技术与产业化协同创新中心 南京 210023) (chenjl@lamda.nju.edu.cn)

最优间隔分布脊回归

陈加略 姜 远

(计算机软件新技术国家重点实验室(南京大学) 南京 210023) (软件新技术与产业化协同创新中心 南京 210023) (chenjl@lamda.nju.edu.cn)

脊回归(ridge regression, RR)是经典的机器学习算法之一，广泛应用于人脸识别、基因工程等诸多领域.其具有优化目标凸、存在闭合解、可解释性强以及易于核化等优点，但是脊回归的优化目标并没有考虑样本之间的结构关系.监督流形正则化学习是最具代表性的、最成功的脊回归正则化方法之一，其通过最小化每类类内方差来考虑样本之间的类内结构关系，可是单纯地只考虑类内结构仍然不够全面.以一种全新的视角重新审视最近提出的“最优间隔分布学习”原理，发现了最优间隔分布的目标可以同时优化类内间隔方差和类间间隔方差，从而同时优化了局部的类内结构和全局的类间结构.基于此提出了一种充分考虑数据结构化特征的脊回归算法——最优间隔分布脊回归(optimal margin distribution machine ridge regression, ODMRR)算法，该算法具有RR以及MRRR(manifold regularization ridge regression)的各种优势.最后通过实验验证了该方法具有优越的性能.

脊回归；流形正则化；最优间隔分布；间隔方差；全局结构

脊回归(ridge regression, RR)[1]的优化目标致力于最小化模型输出以及样本标记之间的二次误差，在人脸识别[2]、基因工程[3]、肝脏致癌预测[4]等诸多领域[5]有着广泛的应用.脊回归具有优化目标凸、存在闭式解、可解释性强……