Jun, 2024

自适应对抗性交叉熵损失用于尖锐感知最小化

PDF
TL;DR近期学习算法的进展表明，损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力，提出了自适应对抗交叉熵（AACE）损失函数替代 Sharpness-Aware Minimization（SAM）的扰动，同时提出了一种利用 AACE 损失生成扰动的新方法，实验证实了 AACE 的有效性，并通过在各种数据集上使用 Wide ResNet 和 PyramidNet 进行图像分类任务的实验，取得了改进的性能。
sharpness-aware minimizationgeneralization gapadaptive adversarial cross-entropyperturbationaace loss
发现论文，激发创造
  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 神经网络训练的高效锐度感知最小化方法

    本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

    Oct, 2021

  • 友好的锐度感知最小化

    SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

    Mar, 2024

  • 关于尖锐度感知极小化和对抗性训练之间的对偶性

    通过对比 Adversarial Training (AT) 和 Sharpness-Aware Minimization (SAM) 的对偶关系，本研究发现单独使用 SAM 可以提高对抗性稳健性，同时不牺牲准确性，这为将 SAM 作为准确性较高的替代方案提供了新的可能性。

    Feb, 2024

  • 利用锐度敏感的最小化策略

    本文提出了一种自适应策略 AE-SAM 和 AE-LookSAM 来精准控制模型使用 sharpness-aware minimization（SAM）。经实验证明该方案具有较高效率和效果。

    Apr, 2023

  • 增强尖锐度感知最小化：一种稀疏扰动方法

    本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

    Oct, 2022

  • 动态调整权重的锐度感知最小化

    本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

    Dec, 2021

  • 为何敏锐度感知最小化的泛化能力优于 SGD?

    训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

    Oct, 2023

  • 代理间隙最小化提高锐度感知训练

    Surrogate Gap Guided Sharpness-Aware Minimization (GSAM) improves generalization by introducing a surrogate gap to measure low sharpness and defining a two-step optimization process involving gradient descent and an ascent step in the orthogonal direction to reach both low loss and low sharpness, achieving better generalization than Sharpness-Aware Minimization (SAM) and AdamW on ImageNet top-1 accuracy for ViT-B/32 with negligible computation overhead.

    Mar, 2022

  • 锐度感知训练

    本文提出了一种几乎不需要额外计算成本的 Sharpness-Aware Training 方法，能减少由超参导致的广义误差，该方法通过 KL 散度实现了一个平滑收敛点，获得了与 SAM 类似的效果，使训练更加高效。

    May, 2022