一个充分下降的修正PRP共轭梯度法
2018-10-21陈孔群张雁胡乔乔陈碧玉
陈孔群 张雁 胡乔乔 陈碧玉
摘要:本文对PRP共轭梯度法参数公式进行修正得到一个新公式,以新公式为方向调控参数产生新的搜索方向,并得到一个新算法。不论采用何种线搜索条件产生步长,均可证明由算法产生的迭代方向每步均自动满足充分下降条件,且证明了新算法的全局收敛性.最后的数值结果表明新算法是有效的。
关键词:无约束优化;Wolfe非精确线搜索;共轭梯度法;充分下降;全局收敛
共轭梯度法是求解大规模优化问题最有效的方法之一。本文考虑用共轭梯度法解决如下无约束优化问题:
minx∈Rnf(x)
其中f:Rn→R为一阶连续可微函数.共轭梯度法的迭代公式的一般形式为:
xk+1=xk+αkdk,(1)
dk=gk,k=1,
gk+βkdk1,k2,(2)
其中gk=
SymbolQC@ f(xk),αk是搜索步长,通常由非精确线搜索产生。βk为方向调控参数,dk为线搜索方向,通常由βk产生。通常由不同参数产生的搜索方向即称为不同的共轭梯度法,著名的有代表性的共轭梯度法(统称为经典共轭梯度法)包括HS方法,FR方法,PRP方法和DY方法,记yk=gkgk1,则它们的参数公式分别为:
βHSk=gTkyk1dTk1yk1,βFRk=‖gk‖2‖gk1‖2,βPRPk=gTkyk1‖gk1‖2,βDYk=‖gk‖2dTk1yk1。
近二十多年来,以上四个共轭梯度法的收敛性以及数值性质已被广泛研究,并在此基础上提出了很多理论性质和数值表现均优良的新型共轭梯度法,文献[1]对FR方法和DY方法进行了改进,得到两个新的βk公式:
βMFRk=‖gk‖2max‖gk1‖2,u|gTkdk1|,
βMDYk=‖gk‖2maxdTk1(gkgk1),u|gTkdk1|。
新算法均不依赖任何线搜索条件即可自动产生充分下降方向,在标准Wolfe线搜索条件下证明了算法所产生的点列全局收敛。文[2]将FR公式改进为
βNk=gTk(gk‖gk‖‖dk1‖dk1)‖gk1‖2,(3)
显然由(3)式不难得到0
SymbolcB@ βNk
SymbolcB@ 2βFRk,基于文献,[12]文[3]将(3)式修正为:
βJYJk=‖gk‖2(gTkdk1)2‖dk1‖2‖gk1‖2+ugTkdk1,(4)
借鉴文……
