Sep, 2024

双边锐度感知最小化以获取更平坦的极小值

HTML
PDF
TL;DR本研究针对锐度感知最小化（SAM）在提升泛化能力过程中存在的“平坦指示器问题”进行了探讨，提出了双边SAM（BSAM）方法。通过引入当前权重周围邻域内训练损失与最小损失之间的差异，BSAM能够指导优化过程朝向更平坦的最小值，实验证明其在多项任务中的泛化性能和鲁棒性优于传统SAM。
发现论文，激发创造
  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即Sharpness-Aware Minimization(SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 神经网络训练的高效锐度感知最小化方法

    本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

    Oct, 2021

  • 平坦极小值优化器何时有效？

    通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

    Feb, 2022

  • 代理间隙最小化提高锐度感知训练

    Surrogate Gap Guided Sharpness-Aware Minimization (GSAM) improves generalization by introducing a surrogate gap to measure low sharpness and defining a two-step optimization process involving gradient descent and an ascent step in the orthogonal direction to reach both low loss and low sharpness, achieving better generalization than Sharpness-Aware Minimization (SAM) and AdamW on ImageNet top-1 accuracy for ViT-B/32 with negligible computation overhead.

    Mar, 2022

  • 探索锐度感知最小化理解

    Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.

    Jun, 2022

  • GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

    本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应Sharpness-Aware Minimization算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

    Oct, 2022

  • 梯度范数感知的最小化策略：优先寻找一阶平缓区域并提高泛化性能

    本文提出了一种基于一阶平坦度的新颖训练过程——Gradient norm Aware Minimization（GAM），该算法可寻找具有相对于所有方向均匀小曲率的最小值，此外使用SAM算法也能找到更加平坦的最小值和更好的泛化能力。

    Mar, 2023

  • 锐度感知最小化的再探：锐度加权作为正则化项

    本文介绍了一种更通用的方法WSAM来提高神经网络的泛化能力，该方法结合了Sharpness-Aware Minimization的优点作为正则化项，并通过PAC和Bayes-PAC技术证明了其泛化上界。在公共数据集上的实验表明，WSAM实现了泛化能力的提高，或者至少与原始优化器SAM及其变体相比具有高竞争力。

    May, 2023

  • 相对平坦度感知的最小化（FAM）

    通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

    Jul, 2023

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM)提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024