Oct, 2017

一种强凸函数的鲁棒加速优化算法

PDF
TL;DR本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。
accelerated first-order algorithmrobust momentum methodoptimizationsmooth strongly convex functionsgradient noise
发现论文，激发创造
  • 一种普适最优的多阶段加速随机梯度方法

    研究如何在存在梯度估计噪声的情况下，通过使用多阶段加速算法，探讨最小化强凸光滑函数的问题，并通过采用特定的重启和参数选择，实现在确定性和随机情况下的最佳速率，以及在不知道噪声特性的情况下操作。

    Jan, 2019

  • 一种几何替代 Nesterov 加速梯度下降算法的方法

    我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

    Jun, 2015

  • 凸优化中优化梯度方法的自适应重启

    本文以自适应重启策略为基础，探讨了启发式的优化梯度方法加速收敛的方法，并且证明了自适应重启可以加速优化梯度方法的收敛速度，特别是在非光滑组合凸函数的情况下。

    Mar, 2017

  • 随机组合优化的通用加速框架

    本文介绍了在目标函数为凸或强凸函数时获取加速一阶随机优化算法的各种机制，同时扩展了最初用于确定性目标的 Catalyst 方法到随机问题领域，并提供了一个新的关于处理不精确近端算子时的鲁棒性的泛化分析

    Jun, 2019

  • 一种随机强凸优化的最优算法

    本研究考虑具有强凸（但不一定平滑）目标函数的随机凸优化问题，我们提出一种仅使用梯度更新的算法，具有最优的收敛速度。

    Jun, 2010

  • 一种用于无导数平滑随机凸优化的加速方法

    本文研究优化问题中目标函数存在不确定的噪声干扰，提出了基于导数的无导数算法，考虑了稀疏向量情况下使用 1 范数正则化的优化模型。

    Feb, 2018

  • 平滑凸优化的优化一阶方法

    本论文提出一种优化的一阶方法，用于平滑无约束凸规划问题，达到比 Nesterov 的快速梯度下降法收敛速度两倍更快的收敛速度，并具有与 Nesterov 的快速梯度下降方法相似的高效的递归形式。

    Jun, 2014

  • 关于平滑和强凸优化问题的下限和上限

    我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对 Nesterov 著名的加速梯度下降方法进行了新的系统推导。

    Mar, 2015

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • 基于修正偏置动量的加速随机极小 - 极大优化

    针对非凸优化中最小最大优化问题，本研究提出了利用高效的 Hessian - 向量乘积的新型修正动量算法，建立了收敛条件并证明了所提算法的迭代复杂度为 O (ε^{-3})。通过在实际数据集上进行鲁棒的逻辑回归的应用验证了该方法的有效性。

    Jun, 2024