Nov, 2014

随机组合梯度下降：最小化期望值函数组合的算法

PDF
TL;DR通过提出一种随机复合梯度下降 (SCGD) 算法来解决最小化一个包含期望值或两个期望值函数组合的非线性函数的问题；该算法可以令 SCGD 收敛于凸优化问题的最优解，并且可以加速收敛于平稳点来解决非凸问题，进而解决学习、估计、动态规划等实践中常见的关于期望值函数组合的随机优化问题。
发现论文，激发创造
  • 方差降低梯度下降的有限和复合优化

    本文提出了两种算法解决有限和场景中的组合优化问题，并应用于机器学习、统计学和金融等领域，取得了比现有算法更好的收敛速度。

    Oct, 2016

  • 随机组合优化问题的解决几乎像解随机优化问题那么简单

    本文提出了一种新的 Stochastically Corrected Stochastic Compositional 梯度方法 (SCSC)，该方法可应用于用于强化学习和元学习等应用中的随机组合优化问题，并使用 SGD 的改进来加速收敛。

    Aug, 2020

  • 随机组合梯度下降算法的稳定性和概化能力

    通过统计学习理论的算法稳定性角度，本文提供了随机组合梯度下降算法的稳定性和泛化分析，包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法 SCGD 和 SCSC 建立组合均匀稳定性结果，并通过权衡稳定性结果和优化误差，导出了 SCGD 和 SCSC 的维度无关的超额风险界限。据我们所知，这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。

    Jul, 2023

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 随机组合优化加速

    提出一种新的随机优化方法，即加速随机复合近端梯度方法（ASC-PG）来解决随机组合优化问题。该方法能够处理非平滑正则化惩罚，并在几个重要特例中达到最优样本误差复杂度，而且应用于强化学习具有良好的表现。

    Jul, 2016

  • 优化随机函数组合的无偏模拟

    本文介绍了一种用于解决随机函数组合的凸优化问题的无偏梯度仿真算法，并将其与两个方差减少算法相结合，得出该算法基于无偏梯度仿真展现出令人满意的收敛性能，最后为两个随机函数组合优化问题应用了该算法：最大化 Cox 部分似然模型和训练条件随机场。

    Nov, 2017

  • 复合和弱凸优化问题的随机方法

    本研究考虑了具有随机性的凸函数和光滑函数组成并且是弱凸的函数式的最小化问题，开发了一系列随机算法，并通过实验验证了实际效果。

    Mar, 2017

  • 基于随机模型的弱凸函数最小化

    本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

    Mar, 2018

  • 随机复合方差约简梯度算法的样本复杂度改进

    本文提出了一种新的随机组合减少方差的梯度算法来解决现有算法在算法设计中忽略凸性结构而导致的样本复杂度和实践问题，实验结果表明了该算法的有效性和效率。

    Jun, 2018

  • SCSG 方法求解非凸有限和优化问题

    开发了基于 Stochastically Controlled Stochastic Gradient Method 的算法，可用于非凸的有限和优化问题，并取得了优于随机梯度下降的表现。在满足 Polyak-Lojasiewicz Condition 约束的函数中，同样实现了加速优化，实验表明在训练多层神经网络方面，该方法优于随机梯度下降。

    Jun, 2017