Jan, 2019

随机递归方差减小的三次正则化方法

PDF
TL;DR提出了一种 Stochastic Variance-Reduced Cubic regularization (SVRC) 算法的改进型，叫做 Stochastic Recursive Variance-Reduced Cubic regularization (SRVRC) 算法，该算法结合递归更新的半随机梯度和 Hessian 估计器，可以更快更好地找到一个（ε，sqrt（ε））- 近似局部极小值点。并且在这个基础上，我们进一步提出了一种基于 SRVRC 的无 Hessian 的算法：SRVRC$_{ext {free}}$，它只需要随机梯度和 Hessian 向量积运算，并且达到更好的运算速度。
stochastic variance-reduced cubic regularizationgradient complexityhessian complexitysrvrc algorithmhessian-free srvrc algorithm
发现论文，激发创造
  • 随机方差减少的立方正则化牛顿法

    提出了随机方差约减的立方正则牛顿法，应用于非凸优化问题。该方法在半随机梯度和半随机海森矩阵的基础上工作，具有较低的复杂度，并在各种非凸优化问题上得到了验证。

    Feb, 2018

  • 快速非凸优化的随机三次正则化

    本文提出了一个随机变体的经典算法 -- 立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要 $\mathcal {\tilde {O}}(\epsilon^{-3.5})$ 个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。

    Nov, 2017

  • 适应性随机方差减少的子采样牛顿方法与立方正则化

    本文介绍了一种应用于非凸优化的三次正则化牛顿法，并提出了自适应方差调整的方案，通过对随机矩阵的三到四阶矩的分析来实现二阶保证，进而降低黑塞矩阵样本的复杂度。

    Nov, 2018

  • 随机嵌套方差缩减非凸优化

    我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

    Jun, 2018

  • 具有递归方差降低的高效策略梯度方法

    该研究旨在提高强化学习中采样效率，通过提出一种名为 SRVR-PG 的新型策略梯度算法，并对其进行了数值实验以验证其性能。

    Sep, 2019

  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014

  • 立方正则化子空间牛顿法用于非凸优化

    该论文研究了优化非凸连续函数的问题，提出了一种名为 SSCN 的随机坐标二阶方法，通过在随机子空间应用立方正则化来降低使用二阶信息的计算复杂性，在高维场景中表现出了良好的适用性，并且通过提出自适应采样方案，实现了比传统一阶方法更快的速度。

    Jun, 2024

  • 非凸问题的近似 Hessian 矩阵、梯度和函数随机优化

    通过使用随机 TR 和 ARC 方法，我们可以在同时提供 Hessian 矩阵、梯度和函数值的不精确计算的基础上，减少每次迭代的传播开销，从而获得与之前研究中的准确计算同级别的迭代复杂度以实现近似二阶最优性，并通过有限和最小化问题中的随机采样技术满足不精确性的温和条件。数值实验支持这些发现，并表明我们的算法在进行相同或相似次数的迭代时，每次迭代所需的计算开销较当前的二阶方法更少。

    Oct, 2023

  • 非凸优化的子采样三次正则化

    本文提出一种基于子采样的方法，以降低 cubic regularization 方法的高计算复杂度，并利用浓度不等式提出相应的采样方案，从而在保证 cubic regularization 方法的全局和局部收敛性的同时，给出其全局收敛保证的首个子采样变体在非凸函数的设置中的实验证明。

    May, 2017

  • 稳定 SVRG: 非凸优化的简单方差缩减

    该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。

    May, 2019