彭爱民

(湖北第二师范学院数学与数量经济学院，湖北 武汉 430205)

0 前言

自Hopfield提出人工神经网络优化方法以来[1-2]，由于其大规模并行协同处理能力，引起了广泛关注.Kennedy 和Chua提出了基于罚函数的神经网络模型[3]，理论分析表明当罚因子趋向于无穷大时，该网络可以得到线性规划的最优解，然而在实际问题的求解中，罚因子趋向于无穷大是无法实现的.Zhang等利用Lagrange乘子理论，提出了Lagrange 神经网络模型[4].该模型不含有罚因子，能够有效求解凸非线性规划问题，但引入松弛变量将不等式约束变为等式约束，增加了网络的复杂性.黄远灿等提出了改进的Lagrange 神经网络模型[5]，对不等式约束不需要引入松弛变量，减少了网络的复杂程度，并且改进了乘子的收敛速度.本文中利用Log-Sigmoid(L-S)型Lagrange函数构造一种新的神经网络.

Polyak[6]利用函数S(t，k)=(1+exp(-kt))-1逼近x+=max{0，x}，当参数k不大时逼近效果非常好.由于ψ(t，k)=2ln2S(t，k)的优良性质，如任意阶导数存在，一、二阶导数有界，针对非线性规划问题 minf(x)

使得

gi(x)≥0

(NLP)

构造出Log-Sigmoid型Lagrange函数(L-S Lagrange)

及其对偶

(DP)

L-S Lagrange函数具有性质：

对任何KKT对(x*，λ*)，有

(A1)L(x*，λ*，k)=f(x*)；

(A2)xL(x*，λ*，k)=xL(x*，λ*)=f(x*λigi(x*)=0；

(A3)2xxL(x*，λ*，k)=2xxL(x*，λ*)+0.5kgi(x*)TΛgi(x*).

其中L(x*，λ*)是Lagrange函数，Λ=diag(λi).

本文中总假设(NLP)问题的解非空.

为了方便叙述，给出一些条件和定义.

(A4) Slater条件成立：即∃x∈Rn，使g(x)>0.

定义1若∃x*，使g(x*)≥0，且gj(x)(j∉i|gi(x)=0线性无关，称点x*为正则点.

对于L-S Lagrange函数及其对偶，下列结论成立.

定理1[7]如果条件(A4)成立，且原问题有解x*，那么对偶问题有解(x*，λ*)，且f(x*)=dk(λ*)，对任意k>0成立.

L-S Lagrange函数相对于一般Lagrange函数而言，在求解其对偶问题，即求解乘子时具有线性或超线性收敛速度.

1 L-S Lagrange神经网络

这一节将根据L-S Lagrange函数及其对偶问题的解构造神……