完全分散化环境下,基于有序 ADMM 的通信高效联邦学习
提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM),可解决相互连接节点或代理的分离优化问题,该算法已被证明在网络为二分图或所有函数都是强凸时收敛,用于解决信号处理和控制问题时,相较于现有算法将通信频率大幅降低。
Feb, 2012
本文提出一种快速且高效的分布式机器学习框架,名为 Group Alternating Direction Method of Multipliers (GADMM),该算法在分布式 topology 中解决问题,且与现有算法相比,实现更快的收敛和更高的通讯效率;此外,还提出了 GADMM 的变体,即 Dynamic GADMM (D-GADMM),并证明了其在时间变化的网络拓扑下的收敛性。
Aug, 2019
本文研究了基于 ADMM 的分布式优化方法,提出了一种异步 ADMM 算法,可以有效提高分布式计算的时间效率,同时通过对算法参数的适当选择,可以保证算法收敛到 Karush-Kuhn-Tucker(KKT)点集。
Sep, 2015
本文研究了分布式交替方向乘子法,提出了使用不同的优化参数来提高算法性能的方法,并引入了自适应一致性交替方向乘子法来自动调节期权参数,最终获得了 O(1 /k)的收敛速度。
Jun, 2017
本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题,并提出了与经典共识子梯度方法相比,收敛速度更快但计算复杂度更高的 ADMM 算法。同时,通过引入一步不精确计算的方法,降低了 ADMM 的计算复杂度,并证明了该算法具有良好的收敛性能。
Feb, 2014
本文提出了一类新的随机异步分布式优化方法,将标准的交替方向乘子法推广到异步设置中,其中随机的高斯 - 塞德尔迭代用于找到两个单调算子求和的零点,最终收敛性在连接性条件下得到保证,数值结果证明了我们的理论。
Mar, 2013
分布式学习问题中,通过在网络上交换信息,代理可以最小化全局目标函数。我们的方法具有两个显著特点:只在必要时触发通信以大幅减少通信量,并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了通信丢失的影响,证明了我们的算法对通信故障具有鲁棒性。文章最后提供了分布式 LASSO 问题、MNIST 数据集和 CIFAR-10 数据集上的分布式学习任务的数值结果。实验结果强调了基于事件的通信策略带来的 50% 或更多的通信节省,展示出对异构数据分布的韧性,并凸显我们的方法优于 FedAvg、FedProx 和 FedADMM 等基线方法。
May, 2024
本文提出了一种通信高效的、去中心化的机器学习算法 —— 量化组 ADMM (Q-GADMM),通过量化减少通信链接,采用随机量化方法进行误差传播控制,以及利用深度神经网络架构与随机采样的量化随机 GADMM (Q-SGADMM),通过对多项测试结果的对比表明,该算法在通信效率方面明显优于 GADMM,在同等时间内实现了相同的准确率和收敛速度。
Oct, 2019
研究了基于交替方向乘法方法的量化分布式算法,用于解决多代理分布式优化问题,该算法适用于包括 LASSO 在内的更一般目标函数(可能是非平滑的)在有限容量和其他实际约束下进行通信。
Oct, 2015