May, 2023

关于锐度感知最小化与对抗鲁棒性的关系

PDF
TL;DR本文提出了一种新的对于锐度感知最小化（SAM）在对抗鲁棒性方面的理解，指出 SAM 和对抗训练（AT）都可以被视为特定的特征扰动，能够提高对抗鲁棒性，但两者在扰动强度上有所不同，换而言之，根据精度和鲁棒性的权衡不同。通过一个严谨的简化模型和理论证明，提供了这些观点的理论证据。此外，进行实验证明，仅使用 SAM 可以获得优于标准训练的对抗鲁棒性，这是意想不到的好处。
sharpness-aware minimizationadversarial robustnessfeature perturbationsaccuracytrade-offs
发现论文，激发创造
  • 关于尖锐度感知极小化和对抗性训练之间的对偶性

    通过对比 Adversarial Training (AT) 和 Sharpness-Aware Minimization (SAM) 的对偶关系，本研究发现单独使用 SAM 可以提高对抗性稳健性，同时不牺牲准确性，这为将 SAM 作为准确性较高的替代方案提供了新的可能性。

    Feb, 2024

  • 探索锐度感知最小化理解

    Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.

    Jun, 2022

  • 锐度感知最小化导致低秩特征

    Sharpness-aware minimization (SAM) method can reduce feature ranks in various types of neural networks, and the phenomenon is observed in a simple two-layer network. A significant number of activations gets pruned by SAM, which contributes directly to this rank reduction. The observed low-rank effect can also occur in deep networks, although the overall mechanism can be more complex.

    May, 2023

  • 友好的锐度感知最小化

    SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

    Mar, 2024

  • 增强尖锐度感知最小化：一种稀疏扰动方法

    本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

    Oct, 2022

  • 动态调整权重的锐度感知最小化

    本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

    Dec, 2021

  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 神经网络训练的高效锐度感知最小化方法

    本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

    Oct, 2021

  • GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

    本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

    Oct, 2022

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024