Dec, 2019

自适应方法的领域无关主导性

PDF
TL;DR通过对自适应方法的简要分析，我们提出了 AvaGrad - 一种优化器，当其适应性调整得当时，其性能优于视觉任务中的 SGD。我们观察到我们方法的效果部分是由学习率和适应性的解耦实现，从而简化了超参数搜索。实践证明 AvaGrad 匹配了现有任何优化器（SGD 或自适应）在图像分类（CIFAR，ImageNet）和字符级语言建模（Penn Treebank）任务中提供的最佳结果。
发现论文，激发创造
  • 机器学习中自适应梯度方法的边际价值

    本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

    May, 2017

  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • AdaBelief 优化器：通过观察梯度的信念来调整步长

    提出了一种名为 AdaBelief 的优化器，通过根据当前梯度方向的 “信任度” 调整步长，同时达到了收敛速度快、泛化性能好和训练稳定的三个目标，并在图像分类和语言建模等领域的实验中证明了其优越性。

    Oct, 2020

  • 由 Adam 优化器转为 SGD 优化器提升泛化性能

    提出一种混合方法 SWATS 进行训练，开头使用自适应方法 Adam，后期如果符合一定条件则切换至 SGD。实验证明，SWATS 能够缩短自适应方法和 SGD 之间的泛化差距，在多数任务上表现良好。

    Dec, 2017

  • 标准化方向保留 Adam

    本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

    Sep, 2017

  • MADA: 元适应优化器通过超梯度下降

    本研究提出了 Meta-Adaptive Optimizers（MADA），一个统一的优化器框架，它能够泛化多种已知的优化器，并在训练过程中动态学习最合适的优化器。数值结果表明，MADA 对亚优化的超参数具有鲁棒性，并且即使在调优超参数的情况下，它通常优于 Adam、Lion 和 Adan。同时，我们还提出了 AVGrad，它是 AMSGrad 的一种变体，在 MADA 中表现更好。最后，我们提供了收敛性分析，显示优化器的插值（特别是 AVGrad 和 Adam）可以改善它们的误差界限（在常数上），暗示了元优化器的优势。

    Jan, 2024

  • Eve: 一种基于梯度的优化方法，具有局部和全局自适应学习率

    本文提出了一种名为 Eve 的算法，它是一种改进的 Adam 算法，可以对每个参数单独进行自适应梯度和全局梯度的学习率调整，实验证明 Eve 在深度学习模型的训练中表现优秀。

    Nov, 2016

  • 内存高效的自适应优化

    本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。

    Jan, 2019

  • AdaX: 指数长期记忆的自适应梯度下降

    本文发现 Adam 算法的快速收敛可能会导致算法陷入局部极小值，为解决这一问题，我们提出了 AdaX 算法，与 Adam 不同之处在于 AdaX 能够在训练过程中积累过去的梯度信息，实现自适应调节学习率，同时本文也证明了 AdaX 算法在凸性和非凸性情景下均能收敛，实验结果表明 AdaX 在计算机视觉和自然语言处理等多个任务上的表现优于 Adam，且能够与随机梯度下降 (SGD) 保持一致。

    Apr, 2020

  • 探寻变形金刚为何 Adam 比 SGD 更快收敛

    这篇论文提出了一种新的方向锐度概念，阐述了优化算法与更新步长的方向锐度的关系，发现随机梯度下降在这方面表现远差于自适应算法，因此建议使用坐标剪裁该问题，并证明了该技术可用于提高深度学习优化的收敛速度。

    May, 2023