ICMLOct, 2020

Polyak 动量方法的可证加速模块化分析：训练一种宽 ReLU 网络和一种深度线性网络

PDF
TL;DR本文研究了动量下降法在神经网络训练中的应用，揭示了其加速神经网络训练的原因及机理。通过对多个模型的分析，得出了使用动量下降法相比普通梯度下降法，能够更快地达到更优的训练效果的结论。
momentum dynamicgradient descent methodsneural net trainingacceleration effectdeep learning
发现论文，激发创造
  • 偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛

    本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

    Jun, 2023

  • 带有动量的 Polyak 步骤的复杂度保证

    本文通过研究一种基于 Polyak 步骤的方法，使得在平滑强凸最优化问题中，即使没有强凸性参数知识，也可以获得简单的带加速收敛率的优化方法，并在此基础上给出了具有收敛保证的带 Polyak 步骤和动量的加速梯度方法。

    Feb, 2020

  • 训练深度神经网络的自适应学习率和动量

    本文提出了一种基于非线性共轭梯度框架的快速训练方法，采用二次线搜索和动态更新动量因子的方式，该方法能够更快地收敛且避免了繁琐的超参数手动调整。实验结果表明该方法在图像分类数据集上的广义能力比其他本地求解器更好。

    Jun, 2021

  • 当非凸性被平衡时，针对一类 Polyak-Łojasiewicz 函数，可证明重球加速度超越二次项

    该研究发展了新技术，能够分析连续两个时间点的 Hessian 变化如何影响收敛速度，从而证明了一类 Polyak-Łojasiewicz 优化问题可以通过引入 Heavy Ball dynamic 来实现证明加速。此外，通过我们的分析还表明了一种自适应设置动量参数的好处。

    Jun, 2022

  • 利用连续时间理解对角线线性网络训练中的动量

    通过分析动量梯度下降的连续时间方法，我们研究了动量对优化轨迹的影响，并得到了唯一定义优化路径和提供简单加速规则的内在量 λ = γ / (1 - β)²。通过在超参数化回归环境中训练 2 层对角线线性网络，我们表征了隐式正则化问题中的恢复解，并证明了较小的 λ 值有助于恢复稀疏解。最后，我们为随机动量梯度下降提供了类似但较弱的结果，并提供了支持我们结论的数值实验。

    Mar, 2024

  • 加速策略梯度法：关于强化学习中的 Nesterov 动量

    加速策略梯度（APG）是一种基于 Nesterov 加速梯度方法的强化学习（RL）算法，通过形式化证明 APG 在真梯度下以接近 1/t^2 的速度收敛，首次给出了 NAG 在 RL 背景下的全局收敛率，数值验证显示 APG 相比标准策略梯度能显著改善收敛行为。

    Oct, 2023

  • 动量和原始 - 对偶算法的非线性加速

    本文介绍了多步优化算法的收敛加速方案，并使用 Chebyshev 问题模拟了迭代过程中的行为，同时讨论了该方案在原始 - 对偶算法中的应用，并在逻辑回归问题中进行了数值实验。

    Oct, 2018

  • 双重加速快速实现边缘最大化

    介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

    Jul, 2021

  • 使用 Polyak 动量的非凸随机复合优化

    该论文研究了在采用小型或有界批量大小时，在非凸设置中具有重要意义的随机近端梯度法，证明了该方法在非凸复合优化问题中达到最优的收敛速度，并且严格分析了 Polyak 动量在复合优化设置中的方差缩减效应，同时证明了在近似解决近端步骤的情况下，该方法仍然收敛，并通过数值实验验证了我们的理论结果。

    Mar, 2024

  • 基于动量的梯度下降方法在李群上的应用

    在这篇论文中，我们提出了一种基于经典和加速动量方法之间的变分一对一对应的思想，对列伪群优化进行 Nesterov 类方法的推广，之前文献中主要关注的都是对 Polyak 的 Heavy Ball 方法进行推广，我们的数值实验结果显示了该方法的有效性。

    Apr, 2024