EMNLPOct, 2022

GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

PDF
TL;DR本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。
sharpness-aware minimizationgeneralization abilitiesflat minimanatural language tasksgradient-strength based adaptive sharpness-aware minimization
发现论文，激发创造
  • 友好的锐度感知最小化

    SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

    Mar, 2024

  • 为何敏锐度感知最小化的泛化能力优于 SGD?

    训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

    Oct, 2023

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024

  • 探索锐度感知最小化理解

    Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.

    Jun, 2022

  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 分子图转换模型的高效锐度感知极小化优化

    通过近似梯度和损失景观的限制，GraphSAM 算法减少了 Sharpness-aware minimization（SAM）的训练成本，并提高了图变压器模型的泛化性能。

    Jun, 2024

  • 利用锐度敏感的最小化策略

    本文提出了一种自适应策略 AE-SAM 和 AE-LookSAM 来精准控制模型使用 sharpness-aware minimization（SAM）。经实验证明该方案具有较高效率和效果。

    Apr, 2023

  • 锐度感知的图协同过滤

    图神经网络在协同过滤中取得了令人印象深刻的性能，然而，当训练数据和测试数据的分布不足够一致时，图神经网络的性能会较差。由于训练图神经网络需要优化充满局部和全局极值的非凸神经网络，这些极值在测试时可能性能差异很大，因此选择极值非常重要。因此，我们提出了一种名为 gSAM 的有效训练模式，该模式的原则是较为平坦的极值具有更好的泛化能力。为了实现这个目标，gSAM 通过形成双层优化来规范权重损失函数的平坦度：外部问题进行标准模型训练，而内部问题则帮助模型跳出尖锐的极值。实验证明了我们的 gSAM 的优越性。

    Jul, 2023

  • 通过简单的重标准化策略稳定锐度感知最小化

    通过提出稳定的 SAM 策略，我们解决了使用 SAM 训练神经网络的不稳定性问题，并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好，并在多个数据集和任务上验证了其改进的性能。

    Jan, 2024

  • 代理间隙最小化提高锐度感知训练

    Surrogate Gap Guided Sharpness-Aware Minimization (GSAM) improves generalization by introducing a surrogate gap to measure low sharpness and defining a two-step optimization process involving gradient descent and an ascent step in the orthogonal direction to reach both low loss and low sharpness, achieving better generalization than Sharpness-Aware Minimization (SAM) and AdamW on ImageNet top-1 accuracy for ViT-B/32 with negligible computation overhead.

    Mar, 2022