刘 倩，张 征

( 西华师范大学 数学与信息学院，四川 南充 637009 )



非凸优化问题的惯性邻近梯度算法

刘 倩，张 征

( 西华师范大学 数学与信息学院，四川 南充 637009 )

研究了惯性邻近梯度法求解极小化一个非光滑函数与一个光滑函数之和的优化问题。通过假定目标函数满足KL不等式,证明了该算法的收敛性。

惯性邻近梯度法；非凸优化；KL不等式

0 引 言

本文中,我们考虑如下优化问题:

(1)

近年来,问题(1)受到了极大的关注。邻近梯度法是求解问题(1)的经典方法。2015年,PeterOchs等人在文献[1]中提出了求解问题(1)的如下惯性邻近梯度法:

xn+1=proxαnf(xn-αn▽g(xn)+βn(xn-xn-1)。

(2)

由于g为非凸函数,通过假定目标函数满足KL不等式(定义3), 他们证明了算法的收敛性。若目标函数f,g都为凸函数,通过借助Nesterov加速梯度方法的思想,Lorenz和Pock在文献[2]中提出了如下惯性邻近梯度法,

(3)

在一定的假设下,文献[2]中证明了算法(3)的收敛性。若假定为光滑函数(不一定凸),则算法(3)为

(4)

本文的目的是通过假定g为光滑函数, 借助文献[1]中证明算法(2)的思想来研究算法(4)的收敛性。值得注意的是,由文献[2]知,算法(4)比算法(2)数值效果好。这也是促使我们研究算法(4)的动机。

1 预备知识

在本节中, 我们给出一些概念和预备知识。

(ⅲ)h在x∈domh处的极限次微分,记作∂h(x),定义为

注1 由定义1知,

0∈∂h(x)。

(5)

(ⅲ)若h为凸函数,则∂h(x)退化为凸分析中经典的次微分定义。

注2 满足(5)的点x称为h的稳定点。h的所有稳定点集合记为crit(h)。

(ⅰ)φ(0)=0 ;(ⅱ)φ在(0,η)上连续可微且在0处连续;(ⅲ)φ′(s)>0,∀x∈(0,η);

(ⅳ) 对任意的x∈U∩[h(x*)

φ′(h(x)-h(x*))d(0,∂h(x))≥1。

注3 记Φη为满足(i),(ii),(iii)的函数集合。若h在dom∂h的每一点满足KL性质,则称h为KL函数。

有

引理4[8]设{ak}k∈N和{bk}k∈N为实数数列满足bk≥0,∀k∈N,{ak}k∈N下有界且ak+1+bk≤ak,对任意的k∈N。则……