高前明

(南京财经大学 应用数学学院, 江苏 南京 210023)

0 引言

考虑无约束优化问题:

(1)

其中f:Rn→R是连续可微的目标函数,g(x)=f(x)是f(x)的梯度.在求解无约束优化问题(1)的众多经典算法中,共轭梯度法是一种备受研究者青睐的优化算法.由已知的初始点x0∈Rn,利用共轭梯度法可以得到如下迭代点列{xk}:

xk+1=xk+αkdk

(2)

其中αk>0为每一次迭代的搜索步长,由某种线搜索得到,其中有较为经典的弱Wolfe线搜索,

(3)

其中0<δ<σ<1.

dk为每一次迭代的搜索方向,其定义为

(4)

其中gk表示g(xk),βk是一个标量参数,用来调整每次迭代共轭梯度法的搜索方向.容易看出,βk的选取对共轭梯度法的全局收敛性和数值效果有较大影响.目前被广泛使用的βk的选取公式有如下4种:

分别被称为Fletcher-Reeves(FR)[1], Polak-Ribiere-Polyak(PRP)[2], Hestenes-Stiefel(HS)[3], Dai-Yuan(DY)[4],其中,‖·‖表示欧几里得范数.

众所周知,上述4种方法的收敛性质和数值效果有较大差异.通常FR方法和DY方法有良好的收敛性质,但数值实验效果不如PRP和HS方法;PRP和HS方法虽然数值效果好,但即使采用精确线搜索步长也无法保证它们的全局收敛性.因此,在这些经典算法的基础上,也有许多修正的共轭梯度法被相关研究者相继提出[5],并且有收敛性和数值效果都较为理想的方法.JIANG[9]等人提出了修正的DY(MDY)和修正的FR(MFR)共轭梯度法[9],它们均满足充分下降条件:

(5)

Tsegay[10]等人在JIANG和JIAN研究的基础上,提出一种新充分下降的共轭梯度法(SDCG),在多种线搜索下,它满足充分下降性式(5),并且在弱Wolfe线搜索下,证明了它的全局收敛性.文[10]中提出的算法βk的表达式为

(6)

2006年，WEI[11]等人提出了一种修正的PRP(MYL)共轭梯……