Aug, 2023

学习（通过）分布优化

PDF
TL;DR本文概述了分布式优化技术的历史发展轨迹，从 20 世纪 60 年代 Dantzig、Wolfe 和 Benders 开创的基于对偶的方法追溯到增广拉格朗日交替方向不精确牛顿（ALADIN）算法的出现。该文重点介绍了凸问题的拉格朗日松弛和分解策略，改进了诸如交替方向乘子法（ADMM）之类的方法。2000 年代末期，分布式优化在机器学习和图像等领域重新引起了人们的兴趣，ADMM 方法表现出了实际的有效性和统一潜力。本文还强调了近端中心方法的出现及其在不同领域的应用。此外，本文着重介绍了 ALADIN 的独特特点，该算法在非凸场景下无需引入辅助变量即可提供收敛性保证，与传统的增广技术有所区别。总之，这项工作总结了分布式优化的历史轨迹，并强调了 ALADIN 在应对非凸优化挑战方面的有希望前景。
distributed optimizationaladinaugmented lagrangian alternating direction inexact newtonadmmproximal center method
发现论文，激发创造
  • 基于不精确共识 ADMM 的多智能体分布式优化

    本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题，并提出了与经典共识子梯度方法相比，收敛速度更快但计算复杂度更高的 ADMM 算法。同时，通过引入一步不精确计算的方法，降低了 ADMM 的计算复杂度，并证明了该算法具有良好的收敛性能。

    Feb, 2014

  • 大规模优化的异步分布式 ADMM 算法与收敛分析 - 第一部分

    本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

    Sep, 2015

  • 随机交替方向乘子法异步分布式优化

    本文提出了一类新的随机异步分布式优化方法，将标准的交替方向乘子法推广到异步设置中，其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点，最终收敛性在连接性条件下得到保证，数值结果证明了我们的理论。

    Mar, 2013

  • 随机网络上的在线分布式学习

    在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。

    Sep, 2023

  • 一种通用的分布式双坐标优化框架用于正则化损失最小化

    本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的分布式坐标优化算法。

    Apr, 2016

  • DOPE: 用于成对能量的分布式优化

    本研究提出了一种交替方向乘子法（ADMM），该方法可以解决优化成对函数的非凸问题，适用于图像分割等领域，可以将问题分解为多个小的子问题，并通过一个新的约束条件保证了子问题的一致性，通过迭代求解子问题和更新一致性变量来加速收敛。

    Apr, 2017

  • 在线交替方向法（长版本）

    本文介绍了一种基于交替方向方法的高效在线优化算法，该算法可在具有线性约束的情况下解决在线凸优化问题，并探讨了两种在线情景，基于目标函数和是否需要附加 Bregman 距离，同时建立了综合和强凸函数方面的后悔界，并证明了在线处理的收敛性。此外还提出了一种无需显式处理投影的在线学习算法。

    Jun, 2013

  • 自适应一致性 ADMM 分布式优化

    本文研究了分布式交替方向乘子法，提出了使用不同的优化参数来提高算法性能的方法，并引入了自适应一致性交替方向乘子法来自动调节期权参数，最终获得了 O（1 /k）的收敛速度。

    Jun, 2017

  • D-ADMM: 可高效通信的可分离优化分布式算法

    提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM)，可解决相互连接节点或代理的分离优化问题，该算法已被证明在网络为二分图或所有函数都是强凸时收敛，用于解决信号处理和控制问题时，相较于现有算法将通信频率大幅降低。

    Feb, 2012

  • 一类非凸问题交替方向乘子法的收敛分析

    该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

    Oct, 2014