Sep, 2019

相同和异构数据的本地随机梯度下降的更紧密理论

PDF
TL;DR本文提出了一种新的 Local SGD 方法的分析方式，去掉了不必要的假设并详细阐述了同一和异构两种数据环境下的区别，对于这两种情况，我们提高了现有理论并提供了最优步长和最优本地迭代次数。我们的界限基于一种特定于不同数据的 Local SGD 方法的新的方差概念。当 $H=1$ 时，我们恢复已知的语句以保证我们结果的紧密性。实证证据进一步验证了数据异构性对 Local SGD 性能的严重影响。
local sgddata heterogeneityoptimal stepsvarianceperformance
发现论文，激发创造
  • 基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力

    本文利用现有的一阶数据异质性假设，为本地 SGD 提供了新的下界，显示了这些假设不足以证明本地更新步骤的有效性。此外，在相同的假设下，我们证明了加速小批量 SGD 的极小 - 极大优化性质，完全解决了几个问题类的分布式优化。我们的结果强调了需要更好的数据异质性模型，以了解本地 SGD 在实践中的有效性。为此，我们考虑了高阶平滑性和异质性假设，并提供了新的上界，暗示了当数据异质性较低时，本地 SGD 优于小批量 SGD。

    May, 2024

  • 随机梯度下降中的重尾现象

    本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

    Jun, 2020

  • SGD 稳定性：紧密度分析和改进的界限

    本文研究了随机梯度下降方法在训练大规模机器学习模型中的应用，分析了损失函数和数据分布对其泛化性能的影响，提出了改进的数据相关的上界和下降算法来进一步了解深度网络的泛化能力。

    Feb, 2021

  • SGD: 一般分析和改进速率

    提出 SGD 收敛的通用简单定理，该定理可描述与特定概率法相关的各种 SGD 变体的收敛性。该定理是第一次执行这种分析，大多数 SGD 的变体以前从未明确考虑过。论文依赖于最近引入的期望平滑性的概念，并不依赖于随机梯度方差的统一界限。

    Jan, 2019

  • 异构数据本地 GD 初步分析

    本文首次对局部梯度下降进行收敛性分析，用于平滑和凸但任意函数的平均值最小化问题，在联邦学习中涉及隐私数据和异构性。我们证明在低精度情况下，该方法的通信复杂度与梯度下降相同。

    Sep, 2019

  • 具有动态拓扑和本地更新的去中心化 SGD 的统一理论

    这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

    Mar, 2020

  • 小批次随机梯度下降和局部随机梯度下降的稳定性与泛化能力

    通过稳定性和泛化性分析研究了小批量随机梯度下降和本地随机梯度下降的学习能力，从而证明它们可以实现线性加速度以达到最佳风险界限。

    Oct, 2023

  • 利用 SGD 处理异构噪声数据的数据学习

    探讨来自不同异构来源的数据的学习方法，提出了用于这种模型学习的随机梯度算法。实验表明该方法在处理杂音水平较低到中等的数据时效果优于使用单个学习速率或仅使用两个数据集中较少有杂音的数据集。

    Dec, 2014

  • 局部 SGD：统一理论和新高效方法

    该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

    Nov, 2020

  • 解决数据异构性：带有样本诱导拓扑的新分布式 SGD 统一框架

    本研究提出了一个通用框架，用于统一集中式和分布式场景下的多个基于梯度的随机优化方法，通过引入一个增光图，设计了一种合适的拓扑结构，使得 VR 和 GT 方法能够有效消除设备内外的数据异质性，并提供了一种统一的收敛分析。

    Jul, 2022