Jul, 2024

随机递归基于动量的算法对（强）凸一到K级随机优化的稳定性和概括能力

HTML
PDF
TL;DRSTOchastic Recursive Momentum (STORM)-based algorithms' generalization analysis, stability results, and excess risk bounds for one, two, and K-level stochastic optimizations under convex and strongly convex settings.
发现论文，激发创造
  • 训练更快，泛化更好: 随机梯度下降的稳定性

    本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。

    Sep, 2015

  • 基于动量的方差减少在非凸SGD中的应用

    STORM是一种新的算法，可以用于非凸优化中的方差缩减技术，其不需要任何batch，具备自适应学习率，相对其他技术，具备更简单易用的优点。

    May, 2019

  • 带动量的随机梯度方法收敛于非光滑非凸优化问题

    本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。

    Feb, 2020

  • 随机递归动量策略梯度方法

    本文提出一种名为STORM-PG的新算法，它采用SARAH类型的随机递归方差降低的策略梯度，具有对于STORM-PG具有严格的O（1/ε^3）样本复杂度界限，并避免了其他方差减小的策略梯度方法中存在的大批处理和小批处理之间的交替，从而允许较简单的参数调整，并在数值实验中表现出了与其他策略梯度算法相比的优越性。

    Mar, 2020

  • 非光滑凸损失的随机梯度下降稳定性

    本研究为首次探讨随机梯度下降算法（SGD）在非光滑凸损失函数上的一致稳定性，得出了相关上下限并基于此获得了多项新且有用的泛化误差界限和差分隐私非光滑随机凸优化算法，且显著优于同类算法。

    Jun, 2020

  • 随机梯度下降的稳定性和泛化的精细分析

    本文提供了一种算法——随机梯度下降的稳定性和泛化性的细致分析，通过消除梯度有界性、减轻光滑性和凸性函数的限制，提出了新的稳定性度量，并开发了受 SGD 迭代的风险控制的新型约束，给出了受最佳模型行为影响的泛化范围，从而在低噪声环境下使用稳定性方法得到了第一个快速上界。

    Jun, 2020

  • 分散随机梯度下降的稳定性和泛化能力

    本论文提出了分散化随机梯度下降法的新方法，并使用（非）凸优化理论建立了第一个针对分散化随机梯度下降法的稳定性和泛化保证。我们的理论结果基于少数常见且温和的假设，并揭示分散化将首次降低SGD的稳定性。通过使用多种分散化设置和基准机器学习模型，证实了我们的理论发现。

    Feb, 2021

  • 随机凸优化中不要使用完整批次

    本文研究随机凸优化的全批量优化算法的泛化性能，并提供了一项新的分离结果，显示出全批量方法需要至少Ω(1 /ε^4)次迭代或具有维度相关的样本复杂度。

    Jun, 2021

  • 非凸和非光滑问题随机优化的稳定性和泛化

    本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。

    Jun, 2022

  • $μ^2$-SGD: 双动量机制实现稳定随机优化

    研究通过基于动量的两种近期机制，结合两者来得出新的梯度估计，设计基于SGD的算法和加速版本的算法，并展示这些新方法对学习率选择的鲁棒性以及在无噪音和有噪音情况下具有相同的最佳收敛速度。

    Apr, 2023