SAMSON: 适应性异常值标准化缩放的尖锐度感知最小化，用于提高 DNN 的泛化性和鲁棒性

Nov, 2022

SAMSON: 适应性异常值标准化缩放的尖锐度感知最小化，用于提高 DNN 的泛化性和鲁棒性

SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness

Gonçalo Mordido, Sébastien Henwood, Sarath Chandar, François Leduc-Primeau

TL;DR本文提出了一种自适应尖锐度感知（SAMSON）的方法，通过优化损失值和损失尖锐度来提高神经网络模型对噪音硬件的稳健性，相比现有的尖锐度感知训练方法在无噪声和有噪声的环境下均表现出更好的模型泛化性能和鲁棒性。

Abstract

Energy-efficient deep neural network (DNN) accelerators are prone to non-idealities that degrade DNN performance at inference time. To mitigate such degradation, existing methods typically add perturbations to the DNN weights during training to simulate inference on noisy hardware. How

dnn accelerators robustness sharpness-aware training noisy hardware samson

发现论文，激发创造

锐度感知训练

本文提出了一种几乎不需要额外计算成本的 Sharpness-Aware Training 方法，能减少由超参导致的广义误差，该方法通过 KL 散度实现了一个平滑收敛点，获得了与 SAM 类似的效果，使训练更加高效。

May, 2022

神经网络训练的高效锐度感知最小化方法

本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

Oct, 2021

增强尖锐度感知最小化：一种稀疏扰动方法

本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

Oct, 2022

针对高效改善泛化性能的锐度感知最小化

本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

Oct, 2020

动态调整权重的锐度感知最小化

本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

Dec, 2021

面向深度神经网络的锐度感知量化

本研究提出了一种新方法，叫做 sharpness-aware quantization，旨在通过减小量化时的抖动来提高网络压缩的泛化性能，此方法在多组实验中均能取得比当前最先进方法更好的结果。

Nov, 2021

为何敏锐度感知最小化的泛化能力优于 SGD?

训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

Oct, 2023

锐度感知最小化的再探：锐度加权作为正则化项

本文介绍了一种更通用的方法 WSAM 来提高神经网络的泛化能力，该方法结合了 Sharpness-Aware Minimization 的优点作为正则化项，并通过 PAC 和 Bayes-PAC 技术证明了其泛化上界。在公共数据集上的实验表明，WSAM 实现了泛化能力的提高，或者至少与原始优化器 SAM 及其变体相比具有高竞争力。

May, 2023

通过简单的重标准化策略稳定锐度感知最小化

通过提出稳定的 SAM 策略，我们解决了使用 SAM 训练神经网络的不稳定性问题，并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好，并在多个数据集和任务上验证了其改进的性能。

Jan, 2024

一个通用的尖锐感知最小化算法类

最近，对于过参数化模型开发优化算法的兴趣不断增加，因为普遍认为实现泛化需要具有适当偏差的算法。本文针对仅考虑少数尖锐度测量值的文献提出了新的尖锐度测量方法，并证明了这些测量方法的普遍表达性，以及它们如何对模型的参数不变性有着显著的影响。此外，本文还提出了 Frob-SAM 和 Det-SAM 两种特定设计的具体优化框架，并通过大量实验证明了该框架的优势。

Jun, 2024