ICLROct, 2021

小批量 SGD 与局部 SGD 洗牌：紧密收敛界与进一步研究

PDF
TL;DR研究分布式学习中的本地 SGD 和基于随机梯度的优化方法，通过随机梯度下降的方案，降低了随机抽样带来的估计偏差和方差，提高了模型的训练效率，实验表明，该方案的效果比替代方案更好。
distributed learninglocal sgdfederated averagingstochastic gradientsconvergence analysis
发现论文，激发创造
  • 异构分布式学习中的小批量对比本地 SGD

    本文研究异构分布共享的随机梯度下降优化问题，通过对比 Local SGD 和 Minibatch SGD，得到加速的 Minibatch SGD 是解决高异质性问题的最优方法，并提出了第一个比 Minibatch SGD 更好的 Local SGD 的上界解。

    Jun, 2020

  • 局部 SGD 比小批量 SGD 更好吗？

    本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时优于小批量 SGD 的第一个保证，并展示了局部 SGD 存在一种性能下限，比小批量 SGD 保证更差。

    Feb, 2020

  • 带洗牌的分布式随机梯度下降算法的收敛性分析

    本文研究了在大规模机器学习中使用随机梯度下降的数据处理方法，特别是在数据划分和洗牌上的方法，以及不同洗牌方法下的全局和局部的收敛性和收敛速率，为大规模机器学习中的数据处理方法提供了重要的理论性结果和实验验证。

    Sep, 2017

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • 小批次随机梯度下降和局部随机梯度下降的稳定性与泛化能力

    通过稳定性和泛化性分析研究了小批量随机梯度下降和本地随机梯度下降的学习能力，从而证明它们可以实现线性加速度以达到最佳风险界限。

    Oct, 2023

  • 基于间歇通信的分布异构学习中局部 SGD 的局限性与潜力

    本文利用现有的一阶数据异质性假设，为本地 SGD 提供了新的下界，显示了这些假设不足以证明本地更新步骤的有效性。此外，在相同的假设下，我们证明了加速小批量 SGD 的极小 - 极大优化性质，完全解决了几个问题类的分布式优化。我们的结果强调了需要更好的数据异质性模型，以了解本地 SGD 在实践中的有效性。为此，我们考虑了高阶平滑性和异质性假设，并提供了新的上界，暗示了当数据异质性较低时，本地 SGD 优于小批量 SGD。

    May, 2024

  • 局部 SGD：统一理论和新高效方法

    该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

    Nov, 2020

  • 带洗牌的 SGD: 无需分量凸性和大的 epoch 要求的最优速率

    本文研究了无替换 SGD 算法在有限和优化问题上的应用及其两种不同的指标洗牌方式（RandomShuffle 和 SingleShuffle）。作者们建立了这些算法的最小二次理论下的优化收敛率。此外，作者们进一步应用了各自分量的凸性来缩小 RandomShuffle 的宽松收敛结果，并减少了所有先前艺术品中共有的缺点。

    Jun, 2020

  • Primal-Dual 视角下的洗牌 SGD 经验风险最小化及改进界限

    本文围绕随机梯度下降 (SGD) 优化方法，在经验风险最小化的线性预测器上，利用原始 - 对偶视角对 SGD 进行了分析，并证明了一种细粒度复杂度界的方法，以数据矩阵为基础，证明了它比现有的复杂度界更加紧密地预测了 SGD 的性能。

    Jun, 2023

  • 本地 SGD 收敛快且通信量小

    本论文证明了局部随机梯度下降算法在凸问题上能够以与小批量随机梯度下降算法相同的速率收敛，并且与工人数量和小批量大小呈线性加速关系，其中通信轮数可以减少长达 T ^ {1/2} 个因子。

    May, 2018