Jan, 2019

随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性

PDF
TL;DR本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。
stochastic convex composite optimizationestimate sequencestochastic gradient descent methodsagasvrg
发现论文，激发创造
  • 减少方差的随机复合优化的序列估计

    本文提出了一种渐进协同优化梯度算法的统一视角，通过推广 Nesterov 引入的估计序列概念，覆盖了随机梯度下降法，SAGA 和 SVRG 等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。

    May, 2019

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 针对复合凸光滑优化的随机梯度方法统一分析

    本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

    Jun, 2020

  • 一种最优混合方差减小算法用于随机复合非凸优化

    提出了一种新的混合方差缩减近端梯度法，它使用随机梯度评估来代替早期方法中的 $SARAH$，从而实现每次迭代少使用一个随机梯度，在达到了随机梯度评估的最优随机预测复杂度界限的同时很简单。

    Aug, 2020

  • 基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用

    本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

    Oct, 2016

  • 一种随机复合非凸优化的混合随机优化框架

    提出一种新方法解决一类复合随机非凸优化问题，通过组合两种随机估计量形成混合估计量，将之应用于多种变体的随机梯度法中以达到最优的复杂度界限。

    Jul, 2019

  • 一个简单的随机方差减少算法，具有快速收敛速率

    本篇论文介绍了一种简单的随机方差减小 (MiG) 算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

    Jun, 2018

  • 具有加速收敛的方差缩减分散随机优化

    本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。

    Dec, 2019

  • 随机梯度下降及其异步变体中的方差降低

    该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

    Jun, 2015

  • 随机梯度下降中方差与复杂度的权衡

    CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

    Mar, 2016