ICLRJan, 2019

ICLR 复现挑战：Padam：在培训深度神经网络中缩小自适应梯度方法的泛化差距

PDF
TL;DR本次研究是 ICLR Reproducibility Challenge 2019 的一部分，旨在重现文章 PADAM: Closing The Generalization Gap of Adaptive Gradient Methods In Training Deep Neural Networks 的结果。本文针对过去所提出的自适应梯度算法在一般化性能上不如带有动量项的随机梯度下降（SGD）的问题进行设计，并引入新的可调参数，部分自适应参数 p，使其在自适应梯度算法和带有动量项的 SGD 之间建立桥梁。
iclr reproducibility challengepadamadaptive gradient methodsgeneralization gapneural network training
发现论文，激发创造
  • 自适应梯度方法训练深度神经网络中泛化缺口的解决

    本研究设计了一个新算法，称为部分自适应动量估计方法，通过引入部分自适应参数 $p$，将 Adam/Amsgrad 与 SGD 统一起来，以实现从两个世界中获得最佳结果，并在随机非凸优化设置下证明了我们提出的算法的收敛速度。实验结果表明，与 SGD 一样，我们的算法可以在训练深度神经网络时维持快速的收敛率，并且可以像 Adam/Amsgrad 一样进行泛化，这些结果表明从此前的研究中看出，重视使用自适应梯度方法可以有效加速深度神经网络的训练。

    Jun, 2018

  • 机器学习中自适应梯度方法的边际价值

    本文研究了使用自适应优化方法训练深度神经网络的表现，提出了一些简单超参数问题，发现自适应方法得到的结果往往比梯度下降方法差，甚至可能导致结果更糟糕，建议实践者重新考虑使用自适应方法训练神经网络。

    May, 2017

  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • MultiAdam：面向多尺度物理信息神经网络的参数无关缩放优化器

    本文讨论了采用 Physics-informed Neural Networks 方法求解偏微分方程时遇到的挑战，提出了 MultiAdam 优化器，通过大量实验测试表明，MultiAdam 在预测精度上相较于已有算法有 1-2 个数量级的提升。

    Jun, 2023

  • 私有随机非凸优化：自适应算法和更紧的泛化界

    研究不同 ially private (DP) 算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。

    Jun, 2020

  • DADAM：基于共识的分布式自适应梯度方法进行在线优化

    提出了一种分布式的自适应优化方法 (extsc {Dadam})，它允许数据并行计算和分散的计算，在某些损失函数的应用中能够优于集中式自适应算法。

    Jan, 2019

  • SUPER-ADAM：自适应梯度的更快、更通用的框架

    提出了一种快速且普适的自适应梯度优化算法超级 Adam，能够用于解决通用的问题，结合了动量和方差缩小技术，并提供了自适应梯度方法在非凸条件下的收敛分析支持，理论上证明了算法能达到当前最低梯度级别（即随机一阶 Oracle（SFO））复杂度找到非凸优化的 ε- 稳定点。实验结果验证了算法优于现有的自适应算法。

    Jun, 2021

  • 超参数神经网络的自适应梯度方法的全局收敛性

    提出了一种自适应梯度下降方法，可用于优化过度参数化的两层神经网络，并能在多项式时间内收敛到全局最小值，无需微调超参数，如步长计划，且超参数的级别与训练误差无关。

    Feb, 2019

  • 标准化方向保留 Adam

    本文提出了一种变种 Adam 算法 - 基于方向保持且具有归一化的 Adam 算法 (ND-Adam)，通过更精确的权重向量更新来消除 Adam 和 SGD 之间的推广差距，并进一步改善了分类任务中的推广性能。

    Sep, 2017

  • 自适应差分隐私经验风险最小化

    本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长；我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括 AdaGrad（Duchi 等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

    Oct, 2021