吴炎翰

摘 要： 在日常生活、工程应用和研宄数学中，优化问题普遍存在。对于优化问题的高效求解一直为学者探究，自1986年Hopfield 和Tank 提出优化问题可以利用神经网络求解之后，人们广泛关注并不断研究这样一种高效的优化求解方法[1][4]。

本文在凸优化理论，Lyapunov 稳定性理论的背景前提下，利用Karush-Kuhn-Tucker（KKT）条件转换并构造了一个递归神经网络模型，研究了如何利用神经网络求解含等式与不等式约束条件的凸优化问题。

关键词： 遞归神经网络；非线性凸优化；KKT条件

1 论述 凸优化问题和Karush-Kuhn-Tucker（KKT）条件

1.1 凸优化，由于其已经证明的性质——局部最优解即为全局最优解——以及拉格朗日对偶性[2]被广泛用于线性回归、插值拟合等问题。将无法求解或难以求解的优化问题（如Linear-Fractional规划，整数规划）转化为凸优化问题是近年来学者和业界工程师广泛研究并使用的解决手段。

接下来，我们看如下带有等式和不等式（非线性）约束条件的凸优化问题：

其中，f（x）是可微凸函数， G（x）≤0 ， Hx=0分别是凸优化问题的等式约束条件和不等式约束条件，不失一般性地，令H是一个行满秩矩阵（ rank（H）=m

1.2 Karush-Kuhn-Tucker（KKT）条件，是非线性优化问题下对Lagrange乘数法的推广。可以将含等式约束优化问题扩展至含有不等式约束条件的问题。

那么，对于上述凸优化问题，其KKT条件为：定义拉格朗日函数L（x）=f（x）+g（x）Ta+h（x）Tb，若x是该优化问题的一个最优解，那么存在a∈Rm， b∈Rl， 使得下面的式子成立：

1）aTg（x）=0

2）L（a，b，x）对x求导为零

3）h（x）=0

2 针对上述凸优化，欲通过神经网络求解，我们需要将其转换为一个动力系统，通过对KKT条件的推导，我们构造了递归神经网络模型：

其中y=[y+g（x）]+

易证该神经网络动力系统是李雅普诺夫（Lyapunov）稳定的，且可以从任意初始点收敛于上述凸优化的最优解。

3. 我们使用以下的凸优化例子作为算法效用的验证[3]：

通过基于matlab R2018a平台的测试 ，发现在初始点随机的情况下，该递归神经网络模型收敛于最优解（0.982，1.672，0，0），并有相对较好的收敛效率。

4. 结束语

使用神经网络来提效改善非线性凸优化问题的求解是本文的目标。本文利用了KKT条件，凸优化的优良性质，针对该类问题构造了递归神经网络模型，并利用该神经网络的稳定性确保了凸优化求解的收敛性。最后，通过数值模拟举例证明了该优化求解算法的实用性。

参考文献

[1]Simple 'neural' optimization networks： An A/D converter， signal decision circuit， and a linear programming circuit. IEEE Transactions On Circuits And Systems， Circuits And Systems， IEEE Transactions On， IEEE Trans. Circuits Syst [serial online]. 1986；（5）：533. Available from： IEEE Xplore Digital Library， Ipswich， MA. Accessed August 27， 2018.

[2]Boyd S， Vandenberghe L. Convex Optimization [e-book]. Cambridge ； New York ： Cambridge University Press， 2004.

[3]A dynamic system model for solving convex nonlinear optimization problems. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION. 17， 4， 1696-1705， ISSN： 10075704.

[4]Xia Y， Feng G. A new neural network for solving nonlinear projection equations. Neural Networks [serial online]. July 2007；20（5）：577-589. Available from： Academic Search Complete， Ipswich， MA.

[5]Hosseini A， Wang J， Hosseini S. A recurrent neural network for solving a class of generalized convex optimization problems. Neural Networks [serial online]. August 1， 2013；44：78-86. Available from： ScienceDirect， Ipswich， MA.