刘凤秋 张红旭

摘 要：针对正定核函数的支持向量机所导出的凸二次优化问题， 提出了一个离散型神经网络模型。利用KarushKuhnTucker （KKT）条件和投影理论构造投影方程， 使得投影方程的解与优化问题的解一一对应； 进一步基于投影方程建立离散神经网络； 理论结果表明， 网络的平衡点与优化问题的最优解相对应， 且网络具有全局指数收敛性。 相比于连续网络， 所提出的网络结构简单， 减少了计算的复杂度； 所得理论结果保证了网络能够有效求解支持向量机中的优化问题。 最后， 利用分类问题和标准数据集进行实验， 数值结果验证了本文所设计的网络在求解支持向量机优化问题的有效性。

关键词：离散神经网络； 支持向量机； 凸优化； 全局指数收敛

DOI：10.15938/j.jhust.2018.04.025

中图分类号： O23

文献标志码： A

文章编号： 1007-2683（2018）04-0133-07

Abstract：This paper proposes a discretetime neural network model to solve the convex optimization problem deduced by a positivekernelbased support vector machine （SVM）. First， the projection equations are constructed through the KarushKuhnTucker （KKT） conditions and projection theory so that there exists a onetoone correspondence between the solution of projection equations and the optimal solution of optimization problem， and then a discretetime neural network was constructed by projection equations. Second， the obtained theoretical results indicate that the equilibrium point of the proposed neural network corresponds to the optimal solution of the optimization problem， and the proposed neural network is globally exponentially convergent. Compared with some continuous neural networks， the architecture of proposed neural network is simple， which decreases the computational complexity. Finally， some classification problems and benchmarking data sets are used in the experiment. The numeral results show the efficiency of the proposed neural network for solving the optimization problem in SVM.

Keywords：discretetime neural network； support vector machine； convex optimization； global exponential convergent

0 引 言

支持向量机（SVM）最初是针对二类分类问题提出的。 SVM采用了结构风险最小化原理， 具有很好的泛化能力[1-2]。 近来， 将SVM与已有的算法相结合， 产生许多新的基于核函数算法， 如支持向量回归算法[1]， 费希尔判别法[1]，等不断被提出， 并且已经成功应用于函数逼近、模式识别、时间序列分析与预测等专业领域[3-4]。

正定核的SVM是一类凸二次优化问题。 随着SVM在各个领域的广泛应用， 针对该凸优化问题提出了许多求解算法， 例如， SVMLight算法[5]、序列最小优化算法[6]、拉格朗日方法 [7-8]、以及神经网络优化算法[9-22]。 相比于其它算法， 神经网络优化算法主要优点之一是能很好地获得优化问题的实时解， 这使得其在求解优化问题中表现出了优良的性能并获得广泛的关注[23]。……