非凸不可分离问题的广义交替方向乘子法的收敛性
2021-12-29薛中会胡惠晴党亚峥
上海理工大学学报 2021年6期
薛中会, 胡惠晴, 党亚峥
(1.上海出版印刷高等专科学校,上海 200093;2.上海理工大学 管理学院,上海 200093)
1 问题的提出
考虑具有非凸不可分离的优化问题

式中:f:Rn→R∪{+∞}是恰当的下半连续函数;h:Rm→R是连续可微函数;g:Rn×Rm→R是光滑函数,且x和y是不可分离的。
问题(1)的一个特殊形式是没有函数g,且目标函数是可分离的,即

利用交替方向乘子法(ADMM)求解问题(2)的一种有效算法的迭代格式为

式中: λ为拉格朗日乘子; β为惩罚参数, β >0。
ADMM算法通过引入一个新的辅助变量,将原问题改写为一个目标函数可分离且辅助变量与原变量是线性约束的形式,通过交替更新原变量、辅助变量和对偶变量来迭代求解问题的最优解。通过引入合适的辅助变量,每个迭代步骤可以变成非常简单的子问题,通常可以收敛到稳定点或者被并行求解。这使得ADMM算法适用于求解大规模的优化问题。
对于f和h都是凸函数的情况,ADMM(式(3))的收敛性得到了很好的证明,并且对其进行了收敛率分析[1-3]。在没有凸性的假设下,更难以证明ADMM的收敛性。在这方面的研究取得了一些进展[4-8]。Guo等[4]利用经典ADMM算法求解非凸多块可分离最优化问题,证明了其收敛性,并且提出了一些充分条件,保证了算法的超线性和线性收敛速率。Li等[5]提出了一种近似ADMM算法来解决非凸非光滑优化问题,证明了当罚参数足够大且生成的序列有聚点时,算法所产生迭代点列收敛到稳定点。
目前的研究大多数考虑如下的问题:

然而,由于函数g的存在,即使目标函数是凸的情况,对ADMM(式(4))的收敛性分析的研究还处于初期,研究成果很少。并……
登录APP查看全文
