May, 2019

使用逐层自适应动量的随机梯度方法用于深度神经网络的训练

PDF
TL;DR本文提出了一种自适应随机梯度下降算法 NovoGrad，具有分层梯度归一化和分离的权重衰减，模型在图像分类、语音识别、机器翻译和语言模型等领域中的表现优于标准的随机梯度下降算法 SGD 与 Adam（优化算法），同时具有较好的鲁棒性、适用于大批量的训练，并且更省内存。
发现论文，激发创造
  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 自适应带动量的 SGD 高概率分析

    本文对机器学习应用中广泛使用的随机梯度下降及其变种算法在非凸优化问题中的收敛性做了一系列的理论分析，证明了在弱假设条件下，Delayed AdaGrad with momentum 算法可高概率收敛于全局最优解。

    Jul, 2020

  • 深度学习随机一阶方法的逐层自适应步长

    我们提出了一种新的逐层自适应步长过程，用于解决深度学习中用于最小化经验损失函数的随机一阶优化方法中需要调整学习率的问题，并且实验证明这种方法比 fine-tuned 学习率的方法以及一些常见的一阶或二阶优化方法更有效。

    May, 2023

  • 基于共轭梯度类自适应矩估计优化算法的深度学习

    通过将共轭普通梯度方法与 Adam 相结合，提出了一种名为 CG-like-Adam 的用于深度学习的新型优化算法，以加速训练并提升深度神经网络的性能。在该算法中，用共轭普通梯度方法替代了 Adam 的一阶和二阶矩估计，数值实验证明了该算法在 CIFAR10/100 数据集上的优越性。

    Apr, 2024

  • 一种自适应瞬时边界方法用于随机学习

    本文提出了 AdaMod 方法来限制 Adam 方法中出现的极端学习率问题，实现深度神经网络的稳定而高效训练，对于复杂网络，如 DenseNet 和 Transformer，与 Adam 方法相比，AdaMod 方法带来了显著的改进。

    Oct, 2019

  • 预见优化器：向前 k 步，向后 1 步

    该论文提出了一种新的优化算法 Lookahead，针对目前普遍使用的 SGD 和 Adam 优化算法进行了改进，能够提高学习的稳定性和性能表现。

    Jul, 2019

  • 具有 Nesterov 加速梯度的随机拟牛顿方法

    本文提出了一种具有 Nesterov 加速梯度的随机（在线）拟牛顿方法，用于解决神经网络中的大规模非凸优化问题，结果表明其性能优于传统的二阶 oBFGS 和 oLBFGS 方法以及常用的一阶随机梯度方法，还在不同的动量率和批处理大小下进行了说明。

    Sep, 2019

  • MoMo: 动量模型适应学习率

    通过使用新的自适应学习率，开发了带有动量方法的 MoMo and MoMo-Adam，并增强了模型通过使用批次损失和梯度来建立模型和较低下限估计的模型，实现迭代优化影像分类模型，相较于 SGDM 和 Adam，提高了准确性和鲁棒性。

    May, 2023

  • 深度学习中的分离权重衰减的 Adam 系列方法

    本研究探讨了一类广泛的 Adam 系列方法在最小化二次正则化非光滑非凸优化问题中的收敛性质，特别是在训练带有权重衰减的非光滑神经网络的情况下。通过引入修正权重衰减的 AdamW 方法，我们提出了一种新颖的具有分离权重衰减的 Adam 系列方法的框架。在这个框架中，对于随机子梯度的一阶和二阶矩的估计独立于权重衰减项进行更新。在适当的假设和非缩减的步长下，我们证明了所提出框架的收敛性质。此外，我们还表明所提出的框架包含了多种众所周知的 Adam 系列方法，从而为这些方法在训练非光滑神经网络时提供了收敛性保证。更重要的是，我们展示了所提出的框架渐近逼近 SGD 方法，从而解释了独立权重衰减如何增强 Adam 系列方法的泛化性能的经验观察。作为我们提出框架的实际应用，我们提出了一种名为 Adam with Decoupled Weight Decay (AdamD) 的新型 Adam 系列方法，并在适当条件下证明了其收敛性质。数值实验表明，AdamD 在泛化性能和效率方面优于 Adam，并与 AdamW 相当。

    Oct, 2023