本文提出了一种新的方法来加速ADMM的收敛速度，通过自动决定每次迭代中需要的约束惩罚来加速收敛速度，并且还提出了一种方法，可以自适应地确定更新惩罚所需的最大迭代次数。这种方法可以有效地引导分布式优化的自适应动态网络拓扑，其在合成和真实数据，以及计算机视觉的应用方面得到了证明。

Jun, 2015

本文研究了基于ADMM的分布式优化方法，提出了一种异步ADMM算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到Karush-Kuhn-Tucker（KKT）点集。

Sep, 2015

本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于ADMM。

Oct, 2016

本文提供了DP-ADMM算法，它结合了近似增广拉格朗日函数和时间变化的高斯噪声添加，以在相同的不同隐私保证下，实现更高效的一般目标函数的分布式学习，同时应用矩accountant方法来限制端到端的隐私损失。DP-ADMM算法可以用于更广泛的分布式学习问题，具有可证明的收敛性和明确的效用-隐私权衡，并且可以实现高的收敛性和模型精度。

Aug, 2018

本文提出了使用差分隐私的Alternating Direction Method of Multipliers（P-ADMM）算法，使得在分布式机器学习中每个本地数据集与邻近代理交换计算结果的迭代过程中保持数据隐私不泄露，并证明这一算法与非私有算法有着相同的收敛率, 实验结果表明P-ADMM在现有的基于ADMM的差分隐私算法中表现最佳。

Jan, 2019

本文提出了 PP-ADMM 和 IPP-ADMM，采用扰动优化和稀疏向量技术，在保护本地数据隐私的同时，提高了模型的准确性和收敛速度，并跟踪零集中的差分隐私度量，实验证明在相同的隐私保证下，该算法优于现有算法。

Aug, 2020

本研究提出并分析了一种自适应二元平均方案，解决多智能体在延迟和异步性存在情况下的联合在线学习问题，并提供了一个适用于完全去中心化和异步环境中的自适应学习策略及优化方案。

Dec, 2020

本文介绍了一种基于P2P通信的分布式在线学习算法，允许使用随机梯度并使用有限时协调协议来将本地训练模型进行聚合运算，以适应隐私、安全或成本限制等的数据分布式情境。并通过逻辑回归任务的实验结果来验证该算法的性能。

Jul, 2023

通过采用深度展开方法，我们提出了展开的 D-ADMM 算法，它在每个代理之间仅交换了固定数量的消息，有效地减少了 D-ADMM 中的通信数量，同时保持了算法的可解释性和灵活性。我们将展开的 D-ADMM 算法应用于分布式估计任务和分布式学习场景，并证明了该方法在保持性能的同时显著减少了通信开销。

Sep, 2023

分布式学习问题中，通过在网络上交换信息，代理可以最小化全局目标函数。我们的方法具有两个显著特点：只在必要时触发通信以大幅减少通信量，并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了通信丢失的影响，证明了我们的算法对通信故障具有鲁棒性。文章最后提供了分布式LASSO问题、MNIST数据集和CIFAR-10数据集上的分布式学习任务的数值结果。实验结果强调了基于事件的通信策略带来的50%或更多的通信节省，展示出对异构数据分布的韧性，并凸显我们的方法优于FedAvg、FedProx和FedADMM等基线方法。

May, 2024