May, 2023

带噪声的改进高斯 - 牛顿算法

PDF
TL;DR本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。
gauss-newton methodsprox-linear algorithmslarge-scale statistical settingsstructured predictionstochastic gradient descent
发现论文，激发创造
  • 非光滑非凸优化的快速随机方法

    本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题，本文提出快速的随机算法，可获得常数迷你批量的收敛性。本文还使用这些算法的变种，证明了比批量近端梯度下降更快的收敛性，并在非凸、非光滑函数的一个子类中证明全局线性收敛率。

    May, 2016

  • 非凸和非光滑问题随机优化的稳定性和泛化

    本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。

    Jun, 2022

  • 一种非凸优化的随机拟牛顿方法

    本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

    Mar, 2024

  • 利用平滑乘法噪音的鲁棒下降

    该研究提出了一种新型的鲁棒梯度下降算法，采用直接对观测值施加平滑的乘性噪声，构建软截断梯度坐标之和的方式，使其具有与传统方法相当的理论保证和更高的数据分布类别广泛性能。

    Oct, 2018

  • 非强凸最小二乘问题的加速随机梯度下降

    本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们算法的最优性。

    Mar, 2022

  • 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络

    使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

    Jun, 2019

  • 非光滑、非凸问题的近距离引导随机次梯度方法

    本文介绍了一种基于随机投影次梯度方法的弱凸（即均匀逼近正则）非光滑非凸函数的算法，并通过简单证明证明这种方法与用于光滑非凸问题的随机梯度方法具有相同的收敛速度；这似乎是第一个针对弱凸函数类的随机次（或确定性）梯度法的收敛速度分析。

    Jul, 2017

  • 机器学习的非凸优化：梯度、随机性和鞍点

    本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

    Feb, 2019

  • 基于随机模型的弱凸函数最小化

    本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

    Mar, 2018

  • 近端法的误差界、二次增长和线性收敛

    本文介绍了一种利用步长乘以线性误差边界的方法来实现凸函数最小化的近端梯度算法；通过证明将误差边界与一种自然二次生长条件的等价性，直观地解释了观察到的线性收敛现象；我们的方法将推广到用于最小化由光滑映射组成的非光滑函数的近端方法，同时观察到算法中的短步长暗示了接近稳定状态，建议作为可靠的终止准则。

    Feb, 2016