Sep, 2015

大规模优化的异步分布式 ADMM 算法与收敛分析 - 第一部分

PDF
TL;DR本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。
distributed optimizationadmmasynchronous computingconvergence analysisnon-convex optimization
发现论文，激发创造
  • 随机交替方向乘子法异步分布式优化

    本文提出了一类新的随机异步分布式优化方法，将标准的交替方向乘子法推广到异步设置中，其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点，最终收敛性在连接性条件下得到保证，数值结果证明了我们的理论。

    Mar, 2013

  • 自适应一致性 ADMM 分布式优化

    本文研究了分布式交替方向乘子法，提出了使用不同的优化参数来提高算法性能的方法，并引入了自适应一致性交替方向乘子法来自动调节期权参数，最终获得了 O（1 /k）的收敛速度。

    Jun, 2017

  • 基于不精确共识 ADMM 的多智能体分布式优化

    本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题，并提出了与经典共识子梯度方法相比，收敛速度更快但计算复杂度更高的 ADMM 算法。同时，通过引入一步不精确计算的方法，降低了 ADMM 的计算复杂度，并证明了该算法具有良好的收敛性能。

    Feb, 2014

  • D-ADMM: 可高效通信的可分离优化分布式算法

    提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM)，可解决相互连接节点或代理的分离优化问题，该算法已被证明在网络为二分图或所有函数都是强凸时收敛，用于解决信号处理和控制问题时，相较于现有算法将通信频率大幅降低。

    Feb, 2012

  • 网络分布式 ADMM 的收敛速率

    本研究提出了基于 ADMM 算法的分布式算法，用于通过网络通信最小化局部已知的凸函数之和，研究表明，在函数为凸函数时，目标函数值和可行性冲突都会收敛，当函数是强凸函数且有 Lipschitz 连续梯度时，该算法生成的序列会线性收敛到最优解。此外，我们的分析还通过节点的最大和最小度以及网络的代数连通度凸显了网络结构对收敛速度的影响。

    Jan, 2016

  • 分布式优化自适应惩罚快速 ADMM 算法

    本文提出了一种新的方法来加速 ADMM 的收敛速度，通过自动决定每次迭代中需要的约束惩罚来加速收敛速度，并且还提出了一种方法，可以自适应地确定更新惩罚所需的最大迭代次数。这种方法可以有效地引导分布式优化的自适应动态网络拓扑，其在合成和真实数据，以及计算机视觉的应用方面得到了证明。

    Jun, 2015

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014

  • 随机网络上的在线分布式学习

    在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。

    Sep, 2023

  • ADMM 在分散式一致优化中的线性收敛性

    本文研究了具有强凸局部目标函数的去中心化一致性优化问题，并建立了其线性收敛速率及加速的指导原则，其中采用了交替方向乘子方法 (ADMM) 来解决该问题，该方法可在单个代理处进行迭代计算并在邻居之间进行信息交换。

    Jul, 2013

  • 完全分散化环境下，基于有序 ADMM 的通信高效联邦学习

    本文提出了一种名为基于排序的交替方向乘法方法（OADMM）的通信高效算法，它能够在分布式网络中实现优化和控制，相比传统的 ADMM 算法，在保持精度的情况下显著降低通信开销，并同时引入了建立在 OADMM 之上的 SOADMM 方法加快了收敛速度。

    Feb, 2022