具有隐私保护的分布式共轭对偶梯度算法
2018-06-21吕净阁李德权
长春理工大学学报(自然科学版) 2018年3期
吕净阁,李德权
(安徽理工大学 数学与大数据学院,淮南 232000)
多个体系统是由大量自主个体或节点相互之间通过局部信息交流而构成的网络化系统[1],其中每个个体或节点独立地进行计算和通信,并通过与邻居个体相互协调可有效处理复杂任务。正因为多个体系统的自主性、智能性和协同一致性等特点,近年来随着计算能力和网络技术的快速发展而备受研究者的关注,并在众多领域有着广泛的应用。作为多个体系统极为重要的一个应用领域,分布式优化问题研究的是系统中的n个个体如何协同地求解如下最小化问题:

其中,x∈R是所有个体所知的状态决策变量,fi:R→R是个体i的局部目标函数,个体间通过交流各自的本地局部目标函数和状态信息来求解问题(1)。解决问题(1)的典型分布式算法包括分布式(次)梯度算法(DG)[2,3]、对偶平均(DDA)[4,5]、交替方向乘子法(ADMM)以及变体[6-9]等方法。目前,这些分布式优化算法广泛应用于机器学习、无线传感器网络等领域。分布式(次)梯度算法主要通过计算每个局部目标函数的(次)梯度以及个体间的平均状态来寻求最优解;而对偶平均则针对凸但非平滑损失函数,通过对函数求一阶(次)梯度来解决分布式问题;ADMM算法则通过引入拉格朗日函数完成对原问题的转换而形成对偶问题,在对原始变量迭代的同时进行对偶变量的迭代来寻求最优解。
上述分布式优化算法通常要求系统中的个体在每一次迭代时将本地估计传递给邻居个体来寻求一致最优解。……
登录APP查看全文