Aug, 2019

GADMM: 快速且通信高效的分布式机器学习框架

PDF
TL;DR本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。
发现论文，激发创造
  • Q-GADMM：量化组 ADMM 用于通信高效的分散机器学习

    本文提出了一种通信高效的、去中心化的机器学习算法 —— 量化组 ADMM (Q-GADMM)，通过量化减少通信链接，采用随机量化方法进行误差传播控制，以及利用深度神经网络架构与随机采样的量化随机 GADMM (Q-SGADMM)，通过对多项测试结果的对比表明，该算法在通信效率方面明显优于 GADMM，在同等时间内实现了相同的准确率和收敛速度。

    Oct, 2019

  • 完全分散化环境下，基于有序 ADMM 的通信高效联邦学习

    本文提出了一种名为基于排序的交替方向乘法方法（OADMM）的通信高效算法，它能够在分布式网络中实现优化和控制，相比传统的 ADMM 算法，在保持精度的情况下显著降低通信开销，并同时引入了建立在 OADMM 之上的 SOADMM 方法加快了收敛速度。

    Feb, 2022

  • D-ADMM: 可高效通信的可分离优化分布式算法

    提出了一种分布式算法 - 分布式交替方向乘子法 (D-ADMM)，可解决相互连接节点或代理的分离优化问题，该算法已被证明在网络为二分图或所有函数都是强凸时收敛，用于解决信号处理和控制问题时，相较于现有算法将通信频率大幅降低。

    Feb, 2012

  • ADMM 用于全局收敛的高效深度学习

    本文提出 dlADMM 算法解决常规深度学习中使用 ADMM 所面临的全局收敛保证缺失，收敛速度慢以及计算时间复杂度高的问题，并且通过在子问题中使用迭代二次近似和回溯进行有效增强的特定算法设计，将时间复杂度从特征维度的立方降至二次，并在温和条件下提供了支持 ADMM 的深度神经网络问题全局收敛的第一份证明。大规模实验表明，本文所提出的 dlADMM 算法优于大多数比较方法。

    May, 2019

  • 高效通讯的分布式鲁棒性分布式学习

    本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

    May, 2022

  • 大规模优化的异步分布式 ADMM 算法与收敛分析 - 第一部分

    本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

    Sep, 2015

  • 基于 ADMM 的分布式事件驱动学习

    分布式学习问题中，通过在网络上交换信息，代理可以最小化全局目标函数。我们的方法具有两个显著特点：只在必要时触发通信以大幅减少通信量，并且对于不同代理的本地数据分布置之不理。我们分析了算法的收敛速度并在凸设置中导出了加速收敛速率。我们还表征了通信丢失的影响，证明了我们的算法对通信故障具有鲁棒性。文章最后提供了分布式 LASSO 问题、MNIST 数据集和 CIFAR-10 数据集上的分布式学习任务的数值结果。实验结果强调了基于事件的通信策略带来的 50% 或更多的通信节省，展示出对异构数据分布的韧性，并凸显我们的方法优于 FedAvg、FedProx 和 FedADMM 等基线方法。

    May, 2024

  • AA-DLADMM：一种基于加速 ADMM 的深度神经网络训练框架

    提出了一种名为 AA-DLADMM 的算法，它使用了 Anderson 加速以改进 ADMM 优化算法的收敛速度，通过在四个基准数据集上进行广泛实验证明了该算法的有效性和效率。

    Jan, 2024

  • 自适应一致性 ADMM 分布式优化

    本文研究了分布式交替方向乘子法，提出了使用不同的优化参数来提高算法性能的方法，并引入了自适应一致性交替方向乘子法来自动调节期权参数，最终获得了 O（1 /k）的收敛速度。

    Jun, 2017

  • 一种通用的分布式双坐标优化框架用于正则化损失最小化

    本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的分布式坐标优化算法。

    Apr, 2016