在大数据领域中，我们提出两种分布式优化技术，用于解决分布式统计方法和计算的问题；同时，我们还介绍了一种基于 Group ADMM 算法的分布式坐标下降算法，以获得通信效率高的正则化估计。实验证明了我们提出算法的有效性。

Oct, 2023

本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

Aug, 2019

本文概述了分布式优化技术的历史发展轨迹，从 20 世纪 60 年代 Dantzig、Wolfe 和 Benders 开创的基于对偶的方法追溯到增广拉格朗日交替方向不精确牛顿（ALADIN）算法的出现。该文重点介绍了凸问题的拉格朗日松弛和分解策略，改进了诸如交替方向乘子法（ADMM）之类的方法。2000 年代末期，分布式优化在机器学习和图像等领域重新引起了人们的兴趣，ADMM 方法表现出了实际的有效性和统一潜力。本文还强调了近端中心方法的出现及其在不同领域的应用。此外，本文着重介绍了 ALADIN 的独特特点，该算法在非凸场景下无需引入辅助变量即可提供收敛性保证，与传统的增广技术有所区别。总之，这项工作总结了分布式优化的历史轨迹，并强调了 ALADIN 在应对非凸优化挑战方面的有希望前景。

Aug, 2023

在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。

Jul, 2024

提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM)，可解决相互连接节点或代理的分离优化问题，该算法已被证明在网络为二分图或所有函数都是强凸时收敛，用于解决信号处理和控制问题时，相较于现有算法将通信频率大幅降低。

Feb, 2012

本研究提出了一种交替方向乘子法（ADMM），该方法可以解决优化成对函数的非凸问题，适用于图像分割等领域，可以将问题分解为多个小的子问题，并通过一个新的约束条件保证了子问题的一致性，通过迭代求解子问题和更新一致性变量来加速收敛。

Apr, 2017

本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

Sep, 2015

本文提出了一类新的随机异步分布式优化方法，将标准的交替方向乘子法推广到异步设置中，其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点，最终收敛性在连接性条件下得到保证，数值结果证明了我们的理论。

Mar, 2013

本篇论文提出一种基于分布式环境中的 L1 正则化优化问题的通信高效框架，通过将经典目标在更一般的原始对偶设定中进行观察，我们开发了一类新方法，能够有效地分布式和应用于常见的稀疏性诱导模型。

Dec, 2015

本文提出了一种新的方法来加速 ADMM 的收敛速度，通过自动决定每次迭代中需要的约束惩罚来加速收敛速度，并且还提出了一种方法，可以自适应地确定更新惩罚所需的最大迭代次数。这种方法可以有效地引导分布式优化的自适应动态网络拓扑，其在合成和真实数据，以及计算机视觉的应用方面得到了证明。

Jun, 2015