May, 2024

基于 ADMM 的分布式事件驱动学习

PDF
TL;DR分布式学习问题中，通过在网络上交换信息，代理可以最小化全局目标函数。我们的方法具有两个显著特点：只在必要时触发通信以大幅减少通信量，并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了通信丢失的影响，证明了我们的算法对通信故障具有鲁棒性。文章最后提供了分布式 LASSO 问题、MNIST 数据集和 CIFAR-10 数据集上的分布式学习任务的数值结果。实验结果强调了基于事件的通信策略带来的 50% 或更多的通信节省，展示出对异构数据分布的韧性，并凸显我们的方法优于 FedAvg、FedProx 和 FedADMM 等基线方法。
distributed learningcommunicationconvergence ratedata-distributionalgorithm
发现论文，激发创造
  • 网络分布式 ADMM 的收敛速率

    本研究提出了基于 ADMM 算法的分布式算法，用于通过网络通信最小化局部已知的凸函数之和，研究表明，在函数为凸函数时，目标函数值和可行性冲突都会收敛，当函数是强凸函数且有 Lipschitz 连续梯度时，该算法生成的序列会线性收敛到最优解。此外，我们的分析还通过节点的最大和最小度以及网络的代数连通度凸显了网络结构对收敛速度的影响。

    Jan, 2016

  • 完全分散化环境下，基于有序 ADMM 的通信高效联邦学习

    本文提出了一种名为基于排序的交替方向乘法方法（OADMM）的通信高效算法，它能够在分布式网络中实现优化和控制，相比传统的 ADMM 算法，在保持精度的情况下显著降低通信开销，并同时引入了建立在 OADMM 之上的 SOADMM 方法加快了收敛速度。

    Feb, 2022

  • 基于 ADMM 的高效联邦学习通信方案

    本文提出了基于 ADMM 的联邦学习算法，具有通信高效性、收敛线性以及计算复杂度低等优点。

    Oct, 2021

  • 基于不精确共识 ADMM 的多智能体分布式优化

    本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题，并提出了与经典共识子梯度方法相比，收敛速度更快但计算复杂度更高的 ADMM 算法。同时，通过引入一步不精确计算的方法，降低了 ADMM 的计算复杂度，并证明了该算法具有良好的收敛性能。

    Feb, 2014

  • 分布式特征隐私学习：ADMM 共享方法

    本文提出了一种用于处理分布式学习中固有分布或纵向分区的特征的风险最小化方法的 ADMM 共享框架，介绍了新颖的差分隐私 ADMM 共享算法，并通过精心设计的噪声扰动对隐私保证进行了约束，其实验结果表明所提出的 ADMM 算法具有高效的收敛性和鲁棒性，并在高维特征空间的数据集上表现出优势，尤其是相对于梯度方法。

    Jul, 2019

  • 随机网络上的在线分布式学习

    在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。

    Sep, 2023

  • 量化一致性 ADMM 用于多智能体分布式优化

    研究了基于交替方向乘法方法的量化分布式算法，用于解决多代理分布式优化问题，该算法适用于包括 LASSO 在内的更一般目标函数（可能是非平滑的）在有限容量和其他实际约束下进行通信。

    Oct, 2015

  • GADMM: 快速且通信高效的分布式机器学习框架

    本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

    Aug, 2019

  • 通过深度展开的分布式 ADMM 实现有限通信的分布式优化

    通过采用深度展开方法，我们提出了展开的 D-ADMM 算法，它在每个代理之间仅交换了固定数量的消息，有效地减少了 D-ADMM 中的通信数量，同时保持了算法的可解释性和灵活性。我们将展开的 D-ADMM 算法应用于分布式估计任务和分布式学习场景，并证明了该方法在保持性能的同时显著减少了通信开销。

    Sep, 2023

  • D-ADMM: 可高效通信的可分离优化分布式算法

    提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM)，可解决相互连接节点或代理的分离优化问题，该算法已被证明在网络为二分图或所有函数都是强凸时收敛，用于解决信号处理和控制问题时，相较于现有算法将通信频率大幅降低。

    Feb, 2012