规范层是 Sharpness-Aware 最小化的全部需求
本文介绍了 Sparse SAM 的有效训练方案,通过使用二进制掩码获取稀疏掩码,基于 Fisher 信息和动态稀疏训练提供了两种解决方案,理论上证明了 Sparse SAM 可以以相同的速度收敛,既有潜力加速训练,又可以有效平滑损失地形。
Oct, 2022
本研究探讨了 Sharpness-Aware Minimization (SAM) 优化算法中 normalization 组件对于优化效果的影响,发现它在稳定算法和漂移的最小值连续谱上都发挥着重要作用,这使得 SAM 算法具有很好的鲁棒性。
May, 2023
通过提出稳定的 SAM 策略,我们解决了使用 SAM 训练神经网络的不稳定性问题,并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好,并在多个数据集和任务上验证了其改进的性能。
Jan, 2024
本文提出一种高效的 Sparse SAM 训练 scheme 来有效减少训练中的计算量,以达到平滑损失函数的目标,并提供了基于 Fisher information 和 dynamic sparse training 的两种不同的稀疏 mask 解决方案来实现稀疏干扰,理论证明了与 SAM 相同的收敛速度和有效性,并在 CIFAR 和 ImageNet-1K 上的实验证明了与 SAM 相比具有更好的效率和表现。
Jun, 2023
Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.
Jun, 2022
Sharpness-aware minimization (SAM) method can reduce feature ranks in various types of neural networks, and the phenomenon is observed in a simple two-layer network. A significant number of activations gets pruned by SAM, which contributes directly to this rank reduction. The observed low-rank effect can also occur in deep networks, although the overall mechanism can be more complex.
May, 2023
本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系,提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法(GA-SAM)来发现更具鲁棒性的平坦局部最小值,其在自然语言任务上的表现令人满意。
Oct, 2022
本文引入了一种新颖、有效的程序,即 Sharpness-Aware Minimization (SAM),通过在局部参数空间中同时最小化损失值和损失锐度,以提高模型泛化能力。实验结果表明,SAM 在多个数据集和模型上都取得了最新的最好结果,同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。
Oct, 2020
训练大型神经网络时,过拟合的挑战变得日益重要。为解决这一问题,Sharpness-Aware Minimization(SAM)作为一种有希望的训练方法出现,可在存在标签噪声的情况下提高神经网络的泛化性能。然而,对于非线性神经网络和分类任务领域,对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降(SGD),填补了这一空白。我们所研究问题的损失函数景观是非光滑的,因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处,特别是它能防止在早期阶段噪声学习,从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。
Oct, 2023