本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

Oct, 2022

本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

Oct, 2020

本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

Oct, 2021

Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.

Jun, 2022

提出了一种名为 LookSAM 的新算法，可以显著减少 Sharpness-Aware Minimization (SAM) 训练的额外成本，并在大批次训练场景下成功扩展批次大小以训练 Vision Transformers (ViTs) 模型。

Mar, 2022

通过近似梯度和损失景观的限制，GraphSAM 算法减少了 Sharpness-aware minimization（SAM）的训练成本，并提高了图变压器模型的泛化性能。

Jun, 2024

通过提出稳定的 SAM 策略，我们解决了使用 SAM 训练神经网络的不稳定性问题，并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好，并在多个数据集和任务上验证了其改进的性能。

Jan, 2024

本文研究了锐度感知最小化的动态，发现其在鞍点处存在收敛不稳定性，并证明了鞍点可以在锐度感知最小化动态下成为吸引子。同时，研究发现锐度感知最小化的扩散比普通梯度下降要差。本研究验证了通过动量和批量大小等训练技巧可以缓解收敛不稳定性并实现高泛化性能。

Jan, 2023

SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

Mar, 2024

本文提出了一种几乎不需要额外计算成本的 Sharpness-Aware Training 方法，能减少由超参导致的广义误差，该方法通过 KL 散度实现了一个平滑收敛点，获得了与 SAM 类似的效果，使训练更加高效。

May, 2022