基于BB步长的近端随机递归动量算法
2024-02-13钱玉香
钱玉香,赵 勇,杨 帆
(重庆交通大学数学与统计学院,重庆 400074)
0 引 言
本文考虑如下的复合优化问题:
minx∈dΨ(x)=f(x)+g(x) ,
(1)

为了有效求解复合优化问题(1),国内外学者提出了诸多高效的算法。FUKUSHIMA等[3]提出的近端梯度下降(ProxGD)算法是解决该类问题的一种经典算法,其主要迭代步骤为:
xt=proxηg(xt-1-η∇f(xt-1)) ,
其中η>0为步长。当样本数据非常大时,ProxGD算法每一步的计算成本都非常昂贵。因此,GHADIMI[4]用随机梯度代替全梯度,提出了近端随机梯度下降(ProxSGD)算法。但随机采样的方式引入了随机误差,限制了该算法的收敛速度。XIAO和ZHANG[5]提出了一种近端随机方差缩减(ProxSVRG)算法来提高ProxSGD算法的收敛速度。NGUYEN等[6]提出了一种近端随机递归梯度(ProxSARAH)算法并达到了相同的效果。此外,CUTKOSKY和ORABONA[7]提出了一种随机递归动量(STORM)算法求解非凸优化问题,该算法结合动量递归技术和自适应步长来实现方差缩减的效果。WANG和WEN[8]将动量递归技术与近端梯度算法结合,提出了求解非凸非光滑复合优化问题的近端随机递归动量(ProxSTORM)算法。
众所周知,步长是影响梯度类算法收敛速度的一个关键因素。在大多数随机算法中,通常采用两种步长策略:1)固定步长,需要手动调整参数以达到最佳性能;2)衰减步长,但是当迭代接近最小值时,可能会降低算法性能。为了解决这一问题,TAN等[9]将Barzilai-Borwein(BB)步长[10]应用到SVRG中,提出了SVRG-BB 算法求解强凸优化问题,并且通过数值实验验证了SVRG-BB算法具有良好的算法性能,可以达到与使用最佳步长的SVRG算法相同甚至更好的效果。YANG等[11]将BB 步长与mS2GD算法结合,提出mS2GD-BB算法,并证明了mS2GD-BB算法对于非光滑强凸目标函数在期望意义下是线性收敛的。为……