Mar, 2024

数据异构下去中心化学习的本地更新有效性

PDF
TL;DR在本文中，我们研究了两种基础的分散式优化方法：分散式梯度跟踪（DGT）和分散式梯度下降（DGD），并考虑了多次本地更新。我们证明了增加本地更新步骤可以降低通信复杂性，并揭示了通信与计算之间的权衡关系。在数据异质性较低且网络连接良好时，增加本地更新可以有效降低通信成本。我们还证明了在超参数化的情况下，即使没有梯度修正，DGD 中使用本地更新也可以降低通信复杂性。数值实验验证了我们的理论结果。
发现论文，激发创造
  • 通信高效的本地分散式 SGD 方法

    本研究提出了一种名为 LD-SGD 的算法，该算法结合了本地更新和分散式通信，提供了分析框架，并给出了收敛的充分条件。该框架为分散式优化设计了更新方案，并具有理论和实际的通信优化效果，从而在分散式设置中提高了通信效率。

    Oct, 2019

  • 基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力

    本文利用现有的一阶数据异质性假设，为本地 SGD 提供了新的下界，显示了这些假设不足以证明本地更新步骤的有效性。此外，在相同的假设下，我们证明了加速小批量 SGD 的极小 - 极大优化性质，完全解决了几个问题类的分布式优化。我们的结果强调了需要更好的数据异质性模型，以了解本地 SGD 在实践中的有效性。为此，我们考虑了高阶平滑性和异质性假设，并提供了新的上界，暗示了当数据异质性较低时，本地 SGD 优于小批量 SGD。

    May, 2024

  • 具有动态拓扑和本地更新的去中心化 SGD 的统一理论

    这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

    Mar, 2020

  • 分布式随机梯度追踪方法

    本文研究了分布式多智能体优化问题，其中每个智能体拥有一个光滑和强凸的本地代价函数。在仅具有本地代价函数梯度的无偏估计时，我们提出了一种分布式随机梯度跟踪方法（DSGT）和一种类似于 Gossip 的随机梯度跟踪方法（GSGT），并展示了这些方法对大规模网络的可比性能和通信成本的差异。

    May, 2018

  • 全局更新跟踪：一种用于异构数据的去中心化学习算法

    本文提出了一种名为 GUT 的新型跟踪方法，旨在降低异构数据在分散式学习中的影响，通过对各种 CV 数据集，模型架构和网络拓扑的详尽实验，证明了该方法相对于其他技术在异构数据分散式学习中实现了最先进的表现，并提升了 1-6% 的测试准确度。

    May, 2023

  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 具有本地更新和梯度跟踪的强健分布式学习

    我们提出了一种分散的极小极大优化方法，利用局部更新和梯度跟踪两个重要模块，用于解决分布式学习中的数据异质性和对抗鲁棒性的挑战，并分析了算法 Dec-FedTrack 在非凸 - 强凹极小极大优化情况下的性能，证明其收敛于一个稳定点。同时进行数值实验以支持我们的理论发现。

    May, 2024

  • 分布式在线学习的优化梯度跟踪

    本文提出了一种基于广义梯度跟踪（GGT）框架的去中心化在线学习算法，并使用新的半定编程分析理论对其性能进行了理论分析和优化，进而得到实际数据集上的优异表现。

    Jun, 2023

  • 周期平均的本地随机梯度下降：更紧密的分析和自适应同步

    本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。

    Oct, 2019

  • 异构数据本地 GD 初步分析

    本文首次对局部梯度下降进行收敛性分析，用于平滑和凸但任意函数的平均值最小化问题，在联邦学习中涉及隐私数据和异构性。我们证明在低精度情况下，该方法的通信复杂度与梯度下降相同。

    Sep, 2019