ICLRMay, 2024

在领域变化下的受启发锐度感知最小化

PDF
TL;DR该论文提出了一种受领域启发的锐度感知极小化（Domain-Inspired Sharpness-Aware Minimization，DISAM）算法用于在领域变化下的优化问题。通过考虑锐度估计中的领域级收敛一致性，DISAM 引入了最小化领域损失方差的约束，实现了弹性梯度校准，在不同领域之间自动调整梯度扰动，从而实现更快的整体收敛和改进的泛化能力。在各种领域泛化基准测试中，大量实验证明了 DISAM 相比一系列最先进的方法的优越性。此外，我们还展示了 DISAM 在参数高效微调和预训练模型中的优越效率。
domain-inspired sharpness-aware minimizationoptimizationdomain shiftsconvergencegeneralization
发现论文，激发创造
  • 针对域泛化的锐度感知梯度匹配

    本文提出 Sharpness-Aware Gradient Matching (SAGM) 算法，旨在通过渐进地对齐经验风险和扰动损失的梯度方向，提高模型泛化能力，并通过实验表明 SAGM 的表现优于当前 DG benchmark 中的现有方法。

    Mar, 2023

  • 领域一致性降低的未知领域泛化方法

    这篇论文介绍了一种针对域泛化的目标，将参数和数据扰动区域结合起来进行域泛化，以减少源域与未知域之间的损失景观不一致性，实验证实了该方法在多个域泛化基准数据集上的性能优于现有方法，尤其是在对域信息限制较多的情况下显示出了显著改进。

    Mar, 2024

  • 神经网络训练的高效锐度感知最小化方法

    本研究提出了一种高效的针对过度参数化深度神经网络的 Sharpness Aware Minimizer 方法的修改版 Efficient Sharpness Aware Minimizer，其中包括两种新的训练策略 - 随机权重扰动和敏感于模型锐度的数据选择，以提高模型的训练效率，实验结果表明，该方法与基本优化器相比较，可以节省高达 60% 的计算资源，而且能够保持或提高测试准确性。

    Oct, 2021

  • ASAM：适应性锐度感知极小化方法用于深度神经网络的尺度不变学习

    本论文提出了自适应锐度的概念和相应的泛化界限，并提出了利用该泛化界限的新型学习方法 ASAM。在各种基准数据集上的实验证明，ASAM 显著提高了模型的泛化性能。

    Feb, 2021

  • 探索锐度感知最小化理解

    Sharpness-Aware Minimization (SAM) relies on worst-case weight perturbations to improve generalization; we provide a more complete theoretical framework for SAM's success, analyze its implicit bias on diagonal linear networks and empirically on fine-tuning non-linear networks, and provide convergence results for non-convex objectives when used with stochastic gradients.

    Jun, 2022

  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

    本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

    Oct, 2022

  • 锐度感知最小化的稳定性分析

    本文研究了锐度感知最小化的动态，发现其在鞍点处存在收敛不稳定性，并证明了鞍点可以在锐度感知最小化动态下成为吸引子。同时，研究发现锐度感知最小化的扩散比普通梯度下降要差。本研究验证了通过动量和批量大小等训练技巧可以缓解收敛不稳定性并实现高泛化性能。

    Jan, 2023

  • 代理间隙最小化提高锐度感知训练

    Surrogate Gap Guided Sharpness-Aware Minimization (GSAM) improves generalization by introducing a surrogate gap to measure low sharpness and defining a two-step optimization process involving gradient descent and an ascent step in the orthogonal direction to reach both low loss and low sharpness, achieving better generalization than Sharpness-Aware Minimization (SAM) and AdamW on ImageNet top-1 accuracy for ViT-B/32 with negligible computation overhead.

    Mar, 2022

  • 增强尖锐度感知最小化：一种稀疏扰动方法

    本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

    Oct, 2022