基于混合割线方程修正的L-BFGS算法
2020-05-13陈昱含
四川轻化工大学学报(自然科学版) 2020年2期
关键词:方法
陈昱含
(重庆师范大学数学科学学院, 重庆 401331)
引 言
求解非线性无约束优化问题是最优化理论与算法研究方面最基本的问题,在许多高科技领域都有着重大的应用意义。本文中,考虑以下无约束优化问题:
(1)
其中,函数f:Rn→R是一个二次可微连续函数。BFGS方法是解决无约束优化问题的最有效的拟牛顿方法之一,具有良好的数值结果和理论收敛性。该方法通过更新对称矩阵Bk去逼近目标函数的Hesse矩阵,使其满足割线方程(拟牛顿条件),即
Bk+1sk=yk
(2)
其中,sk=xk+1-xk,yk=gk+1-gk,Bk的更新公式如下
(3)
由于BFGS方法在每次迭代中都需要计算和存储更新的矩阵,将其应用于大规模优化问题时,效率可能会降低。为此,Liu[1]首先引入了有限记忆BFGS(L-BFGS)方法,这是对BFGS方法的改编。它可以看作是用额外的存储来加速收敛速度的共轭梯度法,也可以被视为存储受到限制的BFGS方法。它既克服了拟牛顿法计算量大的困难,同时又保持了良好的收敛性。
近年来,国内外许多学者积极投身到L-BFGS方法的研究中。Hou[2]利用Li[3]提出的割线方程对标准的L-BFGS方法进行修正,建立了在非凸假设和一定条件下的超线性收敛性。Biglari等人[4]为了改善目标函数的曲率信息,使用四阶张量模型导出了一个新的割线方程,提出了基于高阶张量模型的L-BFGS算法,并研究了该方法在一致凸问题上的全局和局部收敛性。Tarzanagh等人[5]针对文献[6-9]提出的几种割线方程,进行组合改进,提出了一种基于修正割线方程的正则化有限记忆BFGS型新方法,并在某些标准假设下,提供了新方法的全局收敛性。……
登录APP查看全文
