本研究提出了基于 ADMM 算法的分布式算法,用于通过网络通信最小化局部已知的凸函数之和,研究表明,在函数为凸函数时,目标函数值和可行性冲突都会收敛,当函数是强凸函数且有 Lipschitz 连续梯度时,该算法生成的序列会线性收敛到最优解。此外,我们的分析还通过节点的最大和最小度以及网络的代数连通度凸显了网络结构对收敛速度的影响。
Jan, 2016
本文提出了一类新的随机异步分布式优化方法,将标准的交替方向乘子法推广到异步设置中,其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点,最终收敛性在连接性条件下得到保证,数值结果证明了我们的理论。
Mar, 2013
本文研究了具有强凸局部目标函数的去中心化一致性优化问题,并建立了其线性收敛速率及加速的指导原则,其中采用了交替方向乘子方法 (ADMM) 来解决该问题,该方法可在单个代理处进行迭代计算并在邻居之间进行信息交换。
Jul, 2013
本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题,并提出了与经典共识子梯度方法相比,收敛速度更快但计算复杂度更高的 ADMM 算法。同时,通过引入一步不精确计算的方法,降低了 ADMM 的计算复杂度,并证明了该算法具有良好的收敛性能。
Feb, 2014
我们证明了 Alternating Direction Method of Multipliers (ADMM) 收敛到最优的原始对偶解,假设成本函数 f (x)+g (y) 被限制在对点集 X 和 Y 上。
Dec, 2011
该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性,发现当增广拉格朗日乘数的惩罚参数足够大时,经典 ADMM 算法会收敛到静止解的集合。对于共享问题,我们发现 ADMM 无论变量块的数量如何,都是收敛的。该分析不对算法生成的迭代强加任何假设,并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。
Oct, 2014
本文研究交替方向乘子法 (ADMM) 用于多个非光滑凸可分函数的线性约束约束下极小化问题的收敛速率,通过引入一种新的与其它满足该问题的近似算法有所不同的证明手段,我们在不限制强凸性的情况下,建立了全局线性收敛性的证明方案,表明 ADMM 的线性收敛性可以在三个以上的可分函数的情况下适用,包括 LASSO,Group LASSO 和 Sparse Group LASSO 等当代应用。
Aug, 2012
本论文提出了一种新的证明交替方向乘子方法(ADMM)在一个目标项强凸时线性收敛的方法,并在一个数值示例上演示了通过选择算法参数来最小化收敛速率的做法,同时构造了一个接近匹配的收敛率下界。
Feb, 2015
本文研究了分布式交替方向乘子法,提出了使用不同的优化参数来提高算法性能的方法,并引入了自适应一致性交替方向乘子法来自动调节期权参数,最终获得了 O(1 /k)的收敛速度。
Jun, 2017
分布式采样方案基于交替方向乘子方法,用于处理机器学习任务中的分布式数据集,并在贝叶斯推断任务中提供不确定性量化。通过优化算法的收敛性理论保证和与现有基于梯度的方法相比的实验证据,论文表明该方案具有优越性。
Jan, 2024