关于尖锐度感知极小化和对抗性训练之间的对偶性
本文提出了一种新的对于锐度感知最小化(SAM)在对抗鲁棒性方面的理解,指出 SAM 和对抗训练(AT)都可以被视为特定的特征扰动,能够提高对抗鲁棒性,但两者在扰动强度上有所不同,换而言之,根据精度和鲁棒性的权衡不同。通过一个严谨的简化模型和理论证明,提供了这些观点的理论证据。此外,进行实验证明,仅使用 SAM 可以获得优于标准训练的对抗鲁棒性,这是意想不到的好处。
May, 2023
Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.
Jun, 2022
本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer,其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择,以提高模型的训练效率,实验结果表明,该方法与基本优化器相比较,可以节省高达 60% 的计算资源,而且能够保持或提高测试准确性。
Oct, 2021
本文介绍了 Sparse SAM 的有效训练方案,通过使用二进制掩码获取稀疏掩码,基于 Fisher 信息和动态稀疏训练提供了两种解决方案,理论上证明了 Sparse SAM 可以以相同的速度收敛,既有潜力加速训练,又可以有效平滑损失地形。
Oct, 2022
本文引入了一种新颖、有效的程序,即 Sharpness-Aware Minimization (SAM),通过在局部参数空间中同时最小化损失值和损失锐度,以提高模型泛化能力。实验结果表明,SAM 在多个数据集和模型上都取得了最新的最好结果,同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。
Oct, 2020
Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降(SGD)的有效优化器,该方法通过平衡特征质量来改善数据集中冗余特征的学习。
May, 2024
近期学习算法的进展表明,损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力,提出了自适应对抗交叉熵(AACE)损失函数替代 Sharpness-Aware Minimization(SAM)的扰动,同时提出了一种利用 AACE 损失生成扰动的新方法,实验证实了 AACE 的有效性,并通过在各种数据集上使用 Wide ResNet 和 PyramidNet 进行图像分类任务的实验,取得了改进的性能。
Jun, 2024
训练大型神经网络时,过拟合的挑战变得日益重要。为解决这一问题,Sharpness-Aware Minimization(SAM)作为一种有希望的训练方法出现,可在存在标签噪声的情况下提高神经网络的泛化性能。然而,对于非线性神经网络和分类任务领域,对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降(SGD),填补了这一空白。我们所研究问题的损失函数景观是非光滑的,因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处,特别是它能防止在早期阶段噪声学习,从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。
Oct, 2023