May, 2023

MoMo: 动量模型适应学习率

PDF
TL;DR通过使用新的自适应学习率，开发了带有动量方法的 MoMo and MoMo-Adam，并增强了模型通过使用批次损失和梯度来建立模型和较低下限估计的模型，实现迭代优化影像分类模型，相较于 SGDM 和 Adam，提高了准确性和鲁棒性。
adaptive learning ratesmomentum methodsmodel-based stochastic optimizationlower bound estimatesimage classification
发现论文，激发创造
  • 一种自适应瞬时边界方法用于随机学习

    本文提出了 AdaMod 方法来限制 Adam 方法中出现的极端学习率问题，实现深度神经网络的稳定而高效训练，对于复杂网络，如 DenseNet 和 Transformer，与 Adam 方法相比，AdaMod 方法带来了显著的改进。

    Oct, 2019

  • AdaLomo：自适应学习率的低内存优化

    大型语言模型通常需要较大的内存来训练，但低内存优化（LOMO）技术通过引入自适应学习率以及矩阵分解等方法，降低了内存需求并与 AdamW 优化器在大语言模型上表现相当。

    Oct, 2023

  • SlowMo: 用缓慢动量提升通信高效分布式 SGD

    该论文提出了一种基于 SlowMo 的分布式优化方法，它采取了一种新的策略来减少通信开销，该方法相对于传统方法在优化和一般化性能上都有所提高，并给出了收敛保证。

    Oct, 2019

  • 自适应惯性：解离自适应学习率和动量的影响

    通过研究神经网络中的优化算法，提出了一个名为 “自适应惯性” 的新方法，能够更好地训练神经网络并提高泛化性能。

    Jun, 2020

  • 平均加速随机梯度下降算法：有限样本速率和渐近正态性

    本研究分析了随机梯度下降与动量法在强凸设置下的有限样本收敛速度，并证明了 Polyak-averaging 版本的 SGDM 估算器的渐近正态性以及其与平均 SGD 的渐近等价性。

    May, 2023

  • 使用学习的矩方法学习隐式生成模型

    本论文提出了一种 Moment Estimation 的算法来训练规模大的 Implicit Generative Models，即 Method of Learned Moments (MoLM)。通过引入 Moment Network，以及使用渐近理论来确定 Moment Estimation 中需要优化的关键性质，MoLM 可以训练出高质量的神经图像生成模型。

    Jun, 2018

  • 基于得分的生成模型与自适应动量

    通过引入适应性动量采样，有效加速了转换过程，同时在小样本步骤中产生更加逼真的图像 / 图表，并在图像和图表生成任务中获得了有竞争力的评分。

    May, 2024

  • Adafactor：自适应学习率与亚线性内存成本

    该论文提出了一种基于行和列之和的移动平均数的方法，用于估计神经网络权重矩阵的参数，并解决了自适应方法在更新时产生的过大更新的问题。该方法能够在很少的辅助存储空间中达到与 Adam 默认规则相当的结果。

    Apr, 2018

  • 非光滑非凸优化中的随机放缩和动量

    通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。

    May, 2024

  • 小学习率随机梯度下降的边际动量价值

    这篇论文研究了动量在随机优化中的作用，通过理论分析和实验证明，在学习率较小且梯度噪声是不稳定的主要来源时，动量对于优化和泛化的效果有限。

    Jul, 2023