Jul, 2018

带有偏置但一致的梯度估计的随机梯度下降

PDF
TL;DR本研究针对带图等情景，探讨 Stochastic gradient descent (SGD) 中 consitent estimator 的效用及其相对于 unbiased estimator 的同等收敛性。实验证明，consistent estimator 在 strongly convex, convex, and nonconvex 目标下均表现良好，这一研究有助于进一步提高 SGD 的效率并设计大规模图的高效训练算法。
发现论文，激发创造
  • 有偏差 SGD 指南

    本文分析了带偏估计器的随机梯度下降（BiasedSGD）算法在凸和非凸环境下的效果并比较了带偏估计器和无偏估计器的优缺点，同时提出了一组新的比以往任何假设更弱的假设，并通过实验结果验证了理论发现。

    May, 2023

  • 偏见自适应随机逼近的非渐近分析

    本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

    Feb, 2024

  • 非凸学习的随机梯度下降算法 (无需假设梯度有上限)

    本文研究证明了随机梯度下降在非凸学习中，无需统一梯度有界性假设也能达到最优收敛率的情况，并在一定程度上对于一般非凸目标函数和梯度主导的目标函数实现了几乎必然收敛。特别地，在方差为零的情况下可以得到线性收敛。

    Feb, 2019

  • 随机梯度下降中模型参数的统计推断

    研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

    Oct, 2016

  • 随机梯度下降法与有偏梯度的收敛性

    分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。

    Jul, 2020

  • 高维推断中的非凸损失在线随机梯度下降

    研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

    Mar, 2020

  • 随机梯度算法的变分分析

    本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的 KL 散度作为理论框架，让 SGD 有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

    Feb, 2016

  • 一个替代观点：随机梯度下降在何时逃离局部极小值？

    本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么 SGD 在神经网络中工作得非常好。

    Feb, 2018

  • 有序 SGD: 一种新的经验风险最小化随机优化框架

    论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

    Jul, 2019

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017