May, 2022

高效通讯的分布式鲁棒性分布式学习

PDF
TL;DR本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。
decentralized learningmachine learningheterogeneous datadistributed algorithmscommunication efficiency
发现论文，激发创造
  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 无线通信与网络的去中心化学习

    本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

    Mar, 2015

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 不可靠通信的分散联邦学习

    通过优化通信链路的混合权重，提出了一种被称为 Soft-DSGD 的鲁棒性分散式随机梯度下降方法，它能够在通信不可靠的情况下实现相同的渐近收敛速率的分散式训练系统，同时利用所有可用的非可靠通信链路加速收敛。

    Aug, 2021

  • GADMM: 快速且通信高效的分布式机器学习框架

    本文提出一种快速且高效的分布式机器学习框架，名为 Group Alternating Direction Method of Multipliers (GADMM)，该算法在分布式 topology 中解决问题，且与现有算法相比，实现更快的收敛和更高的通讯效率；此外，还提出了 GADMM 的变体，即 Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

    Aug, 2019

  • 强健且通信高效的协作学习

    本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

    Jul, 2019

  • 一种基于有效本地函数逼近的高效分布式学习算法

    本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

    Oct, 2013

  • 具有本地更新和梯度跟踪的强健分布式学习

    我们提出了一种分散的极小极大优化方法，利用局部更新和梯度跟踪两个重要模块，用于解决分布式学习中的数据异质性和对抗鲁棒性的挑战，并分析了算法 Dec-FedTrack 在非凸 - 强凹极小极大优化情况下的性能，证明其收敛于一个稳定点。同时进行数值实验以支持我们的理论发现。

    May, 2024

  • 面向通信高效的自适应梯度方法

    提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。

    Sep, 2021

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019