Jan, 2021

基于模型的随机优化：加速、优化和并行计算的若干结果

HTML
PDF
TL;DR我们扩展了 Approximate-Proximal Point 方法，在随机凸优化问题中应用包括随机次梯度、近端点和束方法，同时提出了更快的模型算法和加速方案，保持了 Approximate-Proximal Point 算法的鲁棒性，同时提供了更快的收敛速度和更低的界限。我们通过实证测试证实了理论结果的可行性。
发现论文，激发创造
  • 凸优化中不精确近端梯度方法的收敛速率

    本文探讨了使用近端梯度法优化平滑凸函数和非平滑凸函数的和时，如果在计算平滑项的梯度或非平滑项的邻近算子时存在误差，基本的近端梯度法和加速近端梯度法可以实现与没有错误的情况下相同的收敛率，前提是错误以适当的速度减小。使用这些速度，在一组结构稀疏性问题上，我们的表现与精心选择的固定误差级别相当或更好。

    Sep, 2011

  • 凸优化：算法与复杂度

    本文旨在介绍凸优化及其相应算法, 包括黑盒优化，结构优化, 随机优化以及非欧几里德设置下的机器学习算法。

    May, 2014

  • 近端设置下的小批量半随机梯度下降

    提出了一种利用小批量方案改进半随机梯度下降（S2GD）方法的 mS2GD，该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数，分析表明，该方法在具有小批量效应和简单并行实现方案的情况下，可以加速算法的收敛过程。

    Apr, 2015

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 利用局部增长条件加速随机子梯度方法

    本文提出了一种新的局部增长速度理论，通过采用两种不同的加速随机次梯度下降方法解决了 随机凸优 程序，在不知道增长常数和增长率θ的情况下，证明了算法比传统随机次梯度下降法具有更快的全局收敛速度。

    Jul, 2016

  • AdaBatch：基于有效渐进聚合规则的序列和并行随机梯度方法

    本文研究一种用于 mini-batch 的梯度聚合算子，名为 AdaBatch。该算子可用于随机梯度方法，并在稀疏优化问题中大大加速训练过程，同时在保持样本效率的前提下增加批处理大小。实验显示，在光滑凸优化中，该方法甚至可以在固定样本数量的情况下，通过增加批处理大小获得更低的损失。

    Nov, 2017

  • 随机条件梯度方法：从凸优化到子模最大化

    该论文提出了基于随机条件梯度方法的优化问题求解算法，用于解决大规模维度下的凸函数、连续子模型等多种问题，并证明了当问题维度高时，该方法较与传统的随机梯度下降法更加稳定，同时计算时间复杂度也得到了有效降低。

    Apr, 2018

  • 随机组合优化的通用加速框架

    本文介绍了在目标函数为凸或强凸函数时获取加速一阶随机优化算法的各种机制，同时扩展了最初用于确定性目标的Catalyst方法到随机问题领域，并提供了一个新的关于处理不精确近端算子时的鲁棒性的泛化分析

    Jun, 2019

  • 针对复合凸光滑优化的随机梯度方法统一分析

    本文为最小化平滑和凸损失加上凸正则化的随机梯度算法提供了一致的收敛性分析定理，并探讨了特定算法的最优小批量大小。

    Jun, 2020

  • 更优秀的随机优化算法：小批量和插值学习

    文中讨论了一种基于随机梯度估计的优化算法, 解决了Lan (2012), Cotter等人(2011)和Liu与Belkin(2018)所提出的一些局限性, 实现了更好的并行加速效率.

    Jun, 2021