May, 2024

回归中进化特征构建的锐度感知最小化

PDF
TL;DR通过使用 PAC-Bayesian 理论中的 sharpness-aware 最小化方法，在语义空间中寻找表现稳健的符号特征，该方法能够有效减轻遗传规划的过拟合问题，并在限定实例数量和标签噪声存在的情况下表现优于标准遗传规划和其他先进的复杂度测量方法。
genetic programmingevolutionary feature constructionoverfittingsharpness-aware minimizationsymbolic features
发现论文，激发创造
  • 遗传编程中的适应度敏感最小化

    通过利用两种简单的方法来利用程序树的输入和输出进行扰动，适应性最小化（SAM）被用于树形遗传编程（TGP）来估计锋利度并用作进化过程中的第二个优化标准。实验结果表明，在 TGP 中使用任何两种提议的 SAM 改进方法都能显著减少种群中的树大小，并减少树中的冗余。在真实世界的基准测试中，精英解的泛化能力不会下降。

    May, 2024

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024

  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 差分隐私锐度感知训练

    本文探讨了在进行差分隐私训练时，模型性能的降级问题，并提出了一种新的训练方法来缓解隐私和优化之间的权衡，实验证明该方法可以改善模型的性能。

    Jun, 2023

  • 一个通用的尖锐感知最小化算法类

    最近，对于过参数化模型开发优化算法的兴趣不断增加，因为普遍认为实现泛化需要具有适当偏差的算法。本文针对仅考虑少数尖锐度测量值的文献提出了新的尖锐度测量方法，并证明了这些测量方法的普遍表达性，以及它们如何对模型的参数不变性有着显著的影响。此外，本文还提出了 Frob-SAM 和 Det-SAM 两种特定设计的具体优化框架，并通过大量实验证明了该框架的优势。

    Jun, 2024

  • 为何敏锐度感知最小化的泛化能力优于 SGD?

    训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

    Oct, 2023

  • 针对模型锐度的最小化改进了语言模型泛化

    本文研究表明通过 Sharpness-Aware Minimization 优化方法，可以显著提高语言模型的泛化能力，进而在数据集有限的任务上取得更好的性能表现。

    Oct, 2021

  • 锐度感知训练

    本文提出了一种几乎不需要额外计算成本的 Sharpness-Aware Training 方法，能减少由超参导致的广义误差，该方法通过 KL 散度实现了一个平滑收敛点，获得了与 SAM 类似的效果，使训练更加高效。

    May, 2022

  • 代理间隙最小化提高锐度感知训练

    Surrogate Gap Guided Sharpness-Aware Minimization (GSAM) improves generalization by introducing a surrogate gap to measure low sharpness and defining a two-step optimization process involving gradient descent and an ascent step in the orthogonal direction to reach both low loss and low sharpness, achieving better generalization than Sharpness-Aware Minimization (SAM) and AdamW on ImageNet top-1 accuracy for ViT-B/32 with negligible computation overhead.

    Mar, 2022

  • 锐度感知的图协同过滤

    图神经网络在协同过滤中取得了令人印象深刻的性能，然而，当训练数据和测试数据的分布不足够一致时，图神经网络的性能会较差。由于训练图神经网络需要优化充满局部和全局极值的非凸神经网络，这些极值在测试时可能性能差异很大，因此选择极值非常重要。因此，我们提出了一种名为 gSAM 的有效训练模式，该模式的原则是较为平坦的极值具有更好的泛化能力。为了实现这个目标，gSAM 通过形成双层优化来规范权重损失函数的平坦度：外部问题进行标准模型训练，而内部问题则帮助模型跳出尖锐的极值。实验证明了我们的 gSAM 的优越性。

    Jul, 2023