Nov, 2017

优化随机函数组合的无偏模拟

PDF
TL;DR本文介绍了一种用于解决随机函数组合的凸优化问题的无偏梯度仿真算法，并将其与两个方差减少算法相结合，得出该算法基于无偏梯度仿真展现出令人满意的收敛性能，最后为两个随机函数组合优化问题应用了该算法：最大化 Cox 部分似然模型和训练条件随机场。
convex optimizationunbiased gradient simulationvariance reductionstochastic function compositionspartial likelihood model
发现论文，激发创造
  • 方差降低梯度下降的有限和复合优化

    本文提出了两种算法解决有限和场景中的组合优化问题，并应用于机器学习、统计学和金融等领域，取得了比现有算法更好的收敛速度。

    Oct, 2016

  • 减少方差的随机复合优化的序列估计

    本文提出了一种渐进协同优化梯度算法的统一视角，通过推广 Nesterov 引入的估计序列概念，覆盖了随机梯度下降法，SAGA 和 SVRG 等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。

    May, 2019

  • 随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性

    本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。

    Jan, 2019

  • 随机复合方差约简梯度算法的样本复杂度改进

    本文提出了一种新的随机组合减少方差的梯度算法来解决现有算法在算法设计中忽略凸性结构而导致的样本复杂度和实践问题，实验结果表明了该算法的有效性和效率。

    Jun, 2018

  • 随机组合梯度下降：最小化期望值函数组合的算法

    通过提出一种随机复合梯度下降 (SCGD) 算法来解决最小化一个包含期望值或两个期望值函数组合的非线性函数的问题；该算法可以令 SCGD 收敛于凸优化问题的最优解，并且可以加速收敛于平稳点来解决非凸问题，进而解决学习、估计、动态规划等实践中常见的关于期望值函数组合的随机优化问题。

    Nov, 2014

  • 几乎必然受限凸优化

    我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

    Jan, 2019

  • 有偏随机梯度下降用于条件随机优化

    本研究提出了一种有偏随机梯度下降算法（BSGD），并在不同结构假设下研究了偏差 - 方差权衡。我们确定了 BSGD 的样本复杂度，包括强凸、凸和弱凸目标，在平滑和非平滑条件下，并为凸 CSO 目标提供相匹配的下界。通过进行广泛的数值实验，我们证明了 BSGD 在鲁棒逻辑回归，模型无关元学习（MAML）和工具变量回归（IV）中的性能。

    Feb, 2020

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 针对复合凸光滑优化的随机梯度方法统一分析

    本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

    Jun, 2020

  • 非凸随机复合优化问题的小批量随机逼近方法

    该论文提出了一种随机梯度下降算法（RSPG）来解决一类包含非可微凸函数和非光滑性质的随机优化问题，并且证明了该算法的收敛速度。

    Aug, 2013