Feb, 2020

有偏随机梯度下降用于条件随机优化

PDF
TL;DR本研究提出了一种有偏随机梯度下降算法（BSGD），并在不同结构假设下研究了偏差 - 方差权衡。我们确定了 BSGD 的样本复杂度，包括强凸、凸和弱凸目标，在平滑和非平滑条件下，并为凸 CSO 目标提供相匹配的下界。通过进行广泛的数值实验，我们证明了 BSGD 在鲁棒逻辑回归，模型无关元学习（MAML）和工具变量回归（IV）中的性能。
conditional stochastic optimizationbiased stochastic gradient descentsample complexitiescso objectivesnumerical experiments
发现论文，激发创造
  • 去偏置条件随机优化

    本文提出了一种新的随机外推技术来有效减少样本平均渐变在条件随机优化问题中的偏差，并且结合方差降低技术在非凸光滑目标中能够显著地提高样本复杂度。本文还为 CSO 的有限和变体开发了新的算法，最后提出我们的去偏差技术可能是适用于其他随机优化问题的有意思的工具。

    Apr, 2023

  • 带有偏置但一致的梯度估计的随机梯度下降

    本研究针对带图等情景，探讨 Stochastic gradient descent (SGD) 中 consitent estimator 的效用及其相对于 unbiased estimator 的同等收敛性。实验证明，consistent estimator 在 strongly convex, convex, and nonconvex 目标下均表现良好，这一研究有助于进一步提高 SGD 的效率并设计大规模图的高效训练算法。

    Jul, 2018

  • 随机梯度下降优化方法的适应性

    该研究介绍了一种名为 SCSG 的自适应算法，通过批量方差降低和几何随机变量技术，该算法对强凸性和目标精度具有适应性，实现了比其他已有适应性算法更好的理论复杂度。

    Apr, 2019

  • 优化随机函数组合的无偏模拟

    本文介绍了一种用于解决随机函数组合的凸优化问题的无偏梯度仿真算法，并将其与两个方差减少算法相结合，得出该算法基于无偏梯度仿真展现出令人满意的收敛性能，最后为两个随机函数组合优化问题应用了该算法：最大化 Cox 部分似然模型和训练条件随机场。

    Nov, 2017

  • 非凸学习的随机梯度下降算法 (无需假设梯度有上限)

    本文研究证明了随机梯度下降在非凸学习中，无需统一梯度有界性假设也能达到最优收敛率的情况，并在一定程度上对于一般非凸目标函数和梯度主导的目标函数实现了几乎必然收敛。特别地，在方差为零的情况下可以得到线性收敛。

    Feb, 2019

  • 块随机梯度迭代用于凸和非凸优化

    本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法，名为 Block Stochastic Gradient，它可以解决包含多个变量块的目标函数的优化问题，无论是凸优化问题还是非凸优化问题，并在多个模型上进行了测试。

    Aug, 2014

  • 有偏差 SGD 指南

    本文分析了带偏估计器的随机梯度下降（BiasedSGD）算法在凸和非凸环境下的效果并比较了带偏估计器和无偏估计器的优缺点，同时提出了一组新的比以往任何假设更弱的假设，并通过实验结果验证了理论发现。

    May, 2023

  • 随机梯度下降法与有偏梯度的收敛性

    分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。

    Jul, 2020

  • 随机梯度下降中模型参数的统计推断

    研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

    Oct, 2016

  • SCSG 方法求解非凸有限和优化问题

    开发了基于 Stochastically Controlled Stochastic Gradient Method 的算法，可用于非凸的有限和优化问题，并取得了优于随机梯度下降的表现。在满足 Polyak-Lojasiewicz Condition 约束的函数中，同样实现了加速优化，实验表明在训练多层神经网络方面，该方法优于随机梯度下降。

    Jun, 2017