DOPE: 用于成对能量的分布式优化
提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM),可解决相互连接节点或代理的分离优化问题,该算法已被证明在网络为二分图或所有函数都是强凸时收敛,用于解决信号处理和控制问题时,相较于现有算法将通信频率大幅降低。
Feb, 2012
本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题,并提出了与经典共识子梯度方法相比,收敛速度更快但计算复杂度更高的 ADMM 算法。同时,通过引入一步不精确计算的方法,降低了 ADMM 的计算复杂度,并证明了该算法具有良好的收敛性能。
Feb, 2014
本文针对图像科学中广泛使用的一类优化问题,基于 ADMM 算法,通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决,并在实际应用中进行了比较实验,表明最优化效果良好。
Jun, 2015
本文提出了一类新的随机异步分布式优化方法,将标准的交替方向乘子法推广到异步设置中,其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点,最终收敛性在连接性条件下得到保证,数值结果证明了我们的理论。
Mar, 2013
我们证明了 Alternating Direction Method of Multipliers (ADMM) 收敛到最优的原始对偶解,假设成本函数 f (x)+g (y) 被限制在对点集 X 和 Y 上。
Dec, 2011
本文研究了分布式交替方向乘子法,提出了使用不同的优化参数来提高算法性能的方法,并引入了自适应一致性交替方向乘子法来自动调节期权参数,最终获得了 O(1 /k)的收敛速度。
Jun, 2017
本文概述了分布式优化技术的历史发展轨迹,从 20 世纪 60 年代 Dantzig、Wolfe 和 Benders 开创的基于对偶的方法追溯到增广拉格朗日交替方向不精确牛顿(ALADIN)算法的出现。该文重点介绍了凸问题的拉格朗日松弛和分解策略,改进了诸如交替方向乘子法(ADMM)之类的方法。2000 年代末期,分布式优化在机器学习和图像等领域重新引起了人们的兴趣,ADMM 方法表现出了实际的有效性和统一潜力。本文还强调了近端中心方法的出现及其在不同领域的应用。此外,本文着重介绍了 ALADIN 的独特特点,该算法在非凸场景下无需引入辅助变量即可提供收敛性保证,与传统的增广技术有所区别。总之,这项工作总结了分布式优化的历史轨迹,并强调了 ALADIN 在应对非凸优化挑战方面的有希望前景。
Aug, 2023
该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性,发现当增广拉格朗日乘数的惩罚参数足够大时,经典 ADMM 算法会收敛到静止解的集合。对于共享问题,我们发现 ADMM 无论变量块的数量如何,都是收敛的。该分析不对算法生成的迭代强加任何假设,并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。
Oct, 2014
本文提出了一种新的方法来加速 ADMM 的收敛速度,通过自动决定每次迭代中需要的约束惩罚来加速收敛速度,并且还提出了一种方法,可以自适应地确定更新惩罚所需的最大迭代次数。这种方法可以有效地引导分布式优化的自适应动态网络拓扑,其在合成和真实数据,以及计算机视觉的应用方面得到了证明。
Jun, 2015
本文研究了基于 ADMM 的分布式优化方法,提出了一种异步 ADMM 算法,可以有效提高分布式计算的时间效率,同时通过对算法参数的适当选择,可以保证算法收敛到 Karush-Kuhn-Tucker(KKT)点集。
Sep, 2015