May, 2023

Shuffle SGD 总是比 SGD 更好：对任意数据顺序的 SGD 的改进分析

PDF
TL;DR该论文研究了随机梯度下降算法在非凸优化问题中的迭代次数，发现采用随机 / 单扰动的随机梯度下降算法的收敛速度要快于经典的随机梯度下降算法，实验证明其具有更好的性能。
stochastic gradient descentneural networksconvergence propertiesrandom/single shufflingnon-convex optimization
发现论文，激发创造
  • 非替换式 SGD 的排序

    本文探讨了基于随机排序和增量梯度下降算法收敛率的不同速度，找到一种可以提高算法非替代形式的收敛率的排序方式，通过实验数据验证了基于这种排序方式的一些优化想法在多个数据集上的效果以及在更复杂的神经网络上的应用前景。

    Jun, 2023

  • 有限轮数后，随机重洗优于随机梯度下降

    本论文首次提出了证明随机梯度下降算法的 RandomShuffle 版本在 “合理” 迭代次数后，比常规的有替换版本更快收敛的非相态解决方法。同时，论文还探讨了该问题在强凸性、稀疏数据和非强凸梯度主导函数等方面的推广。

    Jun, 2018

  • 随机重排：简单分析，显著提高

    该研究探讨了利用随机重排来压缩有限和函数的算法 ——Random Reshuffling。该算法在凸优化和非凸优化中很有实用性，并且通常比随机梯度下降更快。研究者通过理论和实验表明，新的方差类型为 RR 的卓越性能提供了额外的理论依据。此外，他们还展示了 Shuffle-Once 算法的快速收敛性，并进一步提出了多种适用于非强凸和非凸目标的算法。他们的理论优于现有文献，同时也揭示了在某些情况下，随机变量的不同类型可能产生更大的影响。

    Jun, 2020

  • 超参数化情况下随机重排的快速收敛及 Polyak-Łojasiewicz 条件

    研究了过度参数化的机器学习模型，提出了抽样无替换的 SGD 变体 - random reshuffling-，并证明了在一些假设条件下，它可以比 SGD 更快地收敛。此外，对于 Polyak-L ojasiewicz (PL) 函数类问题，当样本数小于条件数与参数之积或小于参数的强增长条件时，证明了 random reshuffling 优于 SGD。

    Apr, 2023

  • 关于随机梯度方法的最终迭代收敛性

    用 “随机梯度下降”（SGD）而无需替换的 “洗牌梯度方法”，基于曲率刻画关于目标值的收敛速度，证明其对于目标值的最优性。

    Mar, 2024

  • 随机梯度下降法的效果如何？

    本研究探讨了随机梯度下降在平滑和强凸有限和优化问题上的性能，重点研究了包含在个体函数的随机排列中的启发式方法，给出了这些启发式方法的期望优化误差的下界，说明了它们的优势和劣势。

    Jul, 2019

  • 带洗牌的 SGD: 无需分量凸性和大的 epoch 要求的最优速率

    本文研究了无替换 SGD 算法在有限和优化问题上的应用及其两种不同的指标洗牌方式（RandomShuffle 和 SingleShuffle）。作者们建立了这些算法的最小二次理论下的优化收敛率。此外，作者们进一步应用了各自分量的凸性来缩小 RandomShuffle 的宽松收敛结果，并减少了所有先前艺术品中共有的缺点。

    Jun, 2020

  • 非凸优化的基于符号随机重排算法的收敛性

    signSGD 与随机重排（SignRR）在非凸优化中具有相同的收敛速率，我们还提出了利用减小方差的梯度和动量更新的 SignRVR 和 SignRVM 算法，且将这些算法扩展到数据在不同机器上分布的情况。

    Oct, 2023

  • 为什么随机重洗超越随机梯度下降

    本文研究了随机重洗方法的收敛速率，表明在特定条件下随机重洗方法通过迭代平均和逐渐缩小的步长可以以概率一的方式在优化目标值的次优性上以 $\Theta (1/k^{2s})$ 的速率收敛，从而改善了 SGD 的 $\Omega (1/k)$ 收敛速率。

    Oct, 2015

  • 带洗牌的分布式随机梯度下降算法的收敛性分析

    本文研究了在大规模机器学习中使用随机梯度下降的数据处理方法，特别是在数据划分和洗牌上的方法，以及不同洗牌方法下的全局和局部的收敛性和收敛速率，为大规模机器学习中的数据处理方法提供了重要的理论性结果和实验验证。

    Sep, 2017