本文引入了一种新颖、有效的程序，即Sharpness-Aware Minimization(SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

Oct, 2020

本文提出了一种与BN层等价的神经网络下具有一致性的、刻画了梯度的度量标准和对应的优化算法，该算法利用该标准对训练进行正则化，获得了与原始SGD相比较显著的性能提升。

Jan, 2021

本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

Oct, 2021

本文提出了一种几乎不需要额外计算成本的Sharpness-Aware Training方法，能减少由超参导致的广义误差，该方法通过KL散度实现了一个平滑收敛点，获得了与SAM类似的效果，使训练更加高效。

May, 2022

通过进行三个实验，我们证明了基于锐度感知的优化技术可以提供具有强大泛化能力的模型，并且进一步证明了自适应锐度感知的最小化算法可以提高非标准化数据的泛化性能，但需要进一步研究来确认。

Aug, 2022

本文介绍了一种更通用的方法WSAM来提高神经网络的泛化能力，该方法结合了Sharpness-Aware Minimization的优点作为正则化项，并通过PAC和Bayes-PAC技术证明了其泛化上界。在公共数据集上的实验表明，WSAM实现了泛化能力的提高，或者至少与原始优化器SAM及其变体相比具有高竞争力。

May, 2023

通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

Jul, 2023

最近，对于过参数化模型开发优化算法的兴趣不断增加，因为普遍认为实现泛化需要具有适当偏差的算法。本文针对仅考虑少数尖锐度测量值的文献提出了新的尖锐度测量方法，并证明了这些测量方法的普遍表达性，以及它们如何对模型的参数不变性有着显著的影响。此外，本文还提出了Frob-SAM和Det-SAM两种特定设计的具体优化框架，并通过大量实验证明了该框架的优势。

Jun, 2024

本研究解决了深度神经网络模型在训练中寻找平坦局部最小值的能力不足的问题。通过理论分析，论文提出在使用逐步增大的批量大小或衰减学习率的情况下，锐度感知最小化算法（GSAM）能够更有效地收敛，并且数值比较表明，这种方法能比使用恒定批量大小和学习率找到更平坦的局部最小值。

Sep, 2024

本研究针对锐度感知最小化（SAM）在提升泛化能力过程中存在的“平坦指示器问题”进行了探讨，提出了双边SAM（BSAM）方法。通过引入当前权重周围邻域内训练损失与最小损失之间的差异，BSAM能够指导优化过程朝向更平坦的最小值，实验证明其在多项任务中的泛化性能和鲁棒性优于传统SAM。

Sep, 2024