Sep, 2017

带洗牌的分布式随机梯度下降算法的收敛性分析

PDF
TL;DR本文研究了在大规模机器学习中使用随机梯度下降的数据处理方法，特别是在数据划分和洗牌上的方法，以及不同洗牌方法下的全局和局部的收敛性和收敛速率，为大规模机器学习中的数据处理方法提供了重要的理论性结果和实验验证。
stochastic gradient descentdistributed machine learningglobal/local shufflingconvergence ratelarge-scale machine learning
发现论文，激发创造
  • 小批量 SGD 与局部 SGD 洗牌：紧密收敛界与进一步研究

    研究分布式学习中的本地 SGD 和基于随机梯度的优化方法，通过随机梯度下降的方案，降低了随机抽样带来的估计偏差和方差，提高了模型的训练效率，实验表明，该方案的效果比替代方案更好。

    Oct, 2021

  • 非替换式 SGD 的排序

    本文探讨了基于随机排序和增量梯度下降算法收敛率的不同速度，找到一种可以提高算法非替代形式的收敛率的排序方式，通过实验数据验证了基于这种排序方式的一些优化想法在多个数据集上的效果以及在更复杂的神经网络上的应用前景。

    Jun, 2023

  • Shuffle SGD 总是比 SGD 更好：对任意数据顺序的 SGD 的改进分析

    该论文研究了随机梯度下降算法在非凸优化问题中的迭代次数，发现采用随机 / 单扰动的随机梯度下降算法的收敛速度要快于经典的随机梯度下降算法，实验证明其具有更好的性能。

    May, 2023

  • 一种针对洗牌式梯度方法的统一收敛分析

    本文提出了一种适用于解决有限和优化问题的通用洗牌型梯度方法的统一收敛分析，涵盖了许多已知的变体，并在非凸和凸设置中提出了新的非渐近和渐近收敛速度。

    Feb, 2020

  • 有限轮数后，随机重洗优于随机梯度下降

    本论文首次提出了证明随机梯度下降算法的 RandomShuffle 版本在 “合理” 迭代次数后，比常规的有替换版本更快收敛的非相态解决方法。同时，论文还探讨了该问题在强凸性、稀疏数据和非强凸梯度主导函数等方面的推广。

    Jun, 2018

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • 关于随机梯度方法的最终迭代收敛性

    用 “随机梯度下降”（SGD）而无需替换的 “洗牌梯度方法”，基于曲率刻画关于目标值的收敛速度，证明其对于目标值的最优性。

    Mar, 2024

  • 具有动态拓扑和本地更新的去中心化 SGD 的统一理论

    这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

    Mar, 2020

  • 用于凸优化的 Shuffling Momentum Gradient 算法

    本文通过对分类的动量渐变法的分析，对有限和强凸优化问题进行了研究，并取得了与现有文献中最好成绩相匹配的结果。

    Mar, 2024

  • 异步共享内存中随机梯度下降算法的收敛性

    本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

    Mar, 2018