Oct, 2022

针对最坏情况优化的锐度感知最小化

PDF
TL;DR本文介绍了当前机器学习中最重要的问题是最差组别的性能和泛化性能的提高；介绍了目前已有的平均性能提高的思路和两个新思路 —— 分布式稳健优化和敏锐性感知最小化，但它们各有缺陷；而该研究提出了敏锐性感知的组分布稳健优化，可以在最差组别数据集上泛化能力更好，同时可以适应分布偏移。
machine learningworst group performancegeneralization performancedistributionally robust optimizationsharpness-aware minimization
发现论文，激发创造
  • 通过最小化最坏情况锐度实现光子有限失真的稳健泛化

    提出了 SharpDRO 方法来解决分布稀疏和含有噪声的训练集，并考虑了最坏情况下的选择过程，理论上收敛并在三个数据集上实现了良好的性能。

    Mar, 2023

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • AGRO: 鲁棒优化中易错群体的对抗性发现

    通过对抗性组发现的传递稳健优化来提高模型性能，并发现导致模型错误的未研究的虚假相关性。

    Dec, 2022

  • GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

    本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

    Oct, 2022

  • 通过平衡学习提高特征质量的锐度感知最小化

    Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

    May, 2024

  • 研究分组分布鲁棒优化在深度不平衡学习中的应用：以二元表格数据分类为例

    该研究探讨了使用一种替代学习目标，组分布式鲁棒优化（gDRO），来处理深度神经网络中的类别不平衡问题，对比了实验结果并发现在不平衡表格数据中表现优异。

    Mar, 2023

  • 面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性

    本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

    Nov, 2019

  • 针对高效改善泛化性能的锐度感知最小化

    本文引入了一种新颖、有效的程序，即 Sharpness-Aware Minimization (SAM)，通过在局部参数空间中同时最小化损失值和损失锐度，以提高模型泛化能力。实验结果表明，SAM 在多个数据集和模型上都取得了最新的最好结果，同时也提供了与最先进的噪声标记学习特定过程相当的抗噪性。

    Oct, 2020

  • 为何敏锐度感知最小化的泛化能力优于 SGD?

    训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

    Oct, 2023