一个共轭梯度算法与随机两人零和博弈分析
2021-04-13李向荣黎鹏卢俊宇袁功林
李向荣,黎鹏,卢俊宇,袁功林*
(1.广西大学 数学与信息科学学院, 广西 南宁 530004; 2.广西大学 商学院, 广西 南宁 530004)
0 引言
考虑如下的最优化问题:
min{f(x)∣x∈Rn},
(1)
其中f:Rn→R并且f∈C2。求解该该模型的方法有牛顿法、拟牛顿法、信赖域方法和共轭梯度法等,其中共轭梯度法因结构简单,存储量小被广泛使用。常见的求解问题式(1)的共轭梯度算法迭代公式为
xk+1=xk+αkdk,
(2)
其中,xk是当前迭代点,dk是搜索方向,αk为沿着搜索方向的步长,k=0,1,2,…。搜索方向dk定义如下:
(3)
其中,βk∈R,不同的βk决定不同的共轭梯度算法[1-9]。著名的PRP算法公式[10-11]中βk有如下形式:
(4)
其中,gk=g(xk)=f(xk),gk+1=g(xk+1)=f(xk+1)分别是xk和xk+1处的梯度。PRP算法能有效处理大规模优化问题,并且数值表现优越,但其收敛性不理想。如在下列弱Wolfe-Powell(WWP)线搜索下,它不能满足非凸函数的全局收敛性。
(5)
和
(6)

(7)
和
(8)

① 搜索方向满足充分下降性;
② 在YWL线搜索下新算法对一般函数具有全局收敛性;
③ 对大规模优化问题来说新算法比PRP算法优秀。
本文所用记号如下:gk为目标函数,f(x)在点xk处的梯度,‖·‖为向量的欧氏范数。
1 目标与算法
PRP算法对一般方程来说不满足全局收敛性的一个重要原因在于它不具有充分下降性,TOUATI-AHMED等[13], AL-BAALI[14], GILBERT等[15], HU等[16]表明了对共轭梯度法来说充分下降性是保证全局收敛性的关键。而王博朋等[17]提出了如下的一种三项共轭梯度法公式的搜索方向:
(9)

上述算法能求解如下的非线性方程组:
q(x)=0,x∈Rn,
(10)
其中,q:Rn→Rn连续可微且单调。笔者发现其中的qk是一个n维向量,是该非线性方程组的解,使得q(x)=0。考虑如式(1)无约束优化问题中的g(x)→0,这两者之间是否有联系,下面就来证明一下。……