充分利用数据：改变训练数据分布以提高内分布泛化性能

Apr, 2024

充分利用数据：改变训练数据分布以提高内分布泛化性能

Make the Most of Your Data: Changing the Training Data Distribution to Improve In-distribution Generalization Performance

PDF

Dang Nguyen, Paymon Haddad, Eric Gan, Baharan Mirzasoleiman

TL;DR我们通过比较梯度下降（GD）和锐度感知最小化（SAM）的归纳偏差，证明了 SAM 在早期阶段更均匀地学习易于和困难的特征，因此我们提出了一种基于网络输出的示例聚类算法并上采样那些没有易于特征的示例，从而改善了原始数据分布上（S）GD 的泛化性能。同时，我们证明该方法与 SAM 和现有的数据增强策略相结合，在 CIFAR10、STL10、CINIC10、Tiny-ImageNet 上训练 ResNet18，在 CIFAR100 上训练 ResNet34，以及在 CIFAR10 上训练 VGG19 和 DenseNet121 中，取得了目前最佳的性能。

Abstract

Can we modify the training data distribution to encourage the underlying optimization method toward finding solutions with superior generalization performance on in-distribution data? In this work, we approach this question for the first time by comparing the inductive bias of gradient

training data distribution generalization performance sharpness-aware minimization simplicity bias data augmentation strategies

发现论文，激发创造

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021

为何敏锐度感知最小化的泛化能力优于 SGD?

训练大型神经网络时，过拟合的挑战变得日益重要。为解决这一问题，Sharpness-Aware Minimization（SAM）作为一种有希望的训练方法出现，可在存在标签噪声的情况下提高神经网络的泛化性能。然而，对于非线性神经网络和分类任务领域，对 SAM 工作原理的深入理解仍然较为缺乏。本文通过演示为什么 SAM 对某种数据模型和两层卷积 ReLU 网络优于随机梯度下降（SGD），填补了这一空白。我们所研究问题的损失函数景观是非光滑的，因此基于 Hessian 信息的当前解释对于 SAM 成功的原因是不充分的。我们的结果解释了 SAM 的好处，特别是它能防止在早期阶段噪声学习，从而促进更有效的特征学习。在合成数据和真实数据上的实验证实了我们的理论。

Oct, 2023

通过平衡学习提高特征质量的锐度感知最小化

Sharpness-Aware Minimization (SAM) 提供了一种替代随机梯度下降（SGD）的有效优化器，该方法通过平衡特征质量来改善数据集中冗余特征的学习。

May, 2024

主动偏置：通过强调高方差样本训练更准确的神经网络

本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。

Apr, 2017

渐进无偏样本采样加速尖锐感知最小化

使用渐近无偏采样技术加速 Sharpness-Aware Minimization (SAM) 优化算法，提供超过 70% 的加速效果，同时保持性能。

Jun, 2024

提高泛化性能的数据混淆方法

该研究提出了一个新的训练方法，通过将数据分成非独立同分布的子集，可以有效地改善机器学习中的泛化问题，尤其在视觉问答任务中表现良好。

Feb, 2020

数据丢弃：优化卷积神经网络的训练数据

本文运用深度学习中的卷积神经网络构建了一种 Two-Round 训练方法，定位和排除不利于提高泛化准确性的训练样本，从而提高了基于图像分类和降噪的高级和低级计算机视觉任务的处理性能。

Sep, 2018

GA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力

本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。

Oct, 2022

锐度感知的图协同过滤

图神经网络在协同过滤中取得了令人印象深刻的性能，然而，当训练数据和测试数据的分布不足够一致时，图神经网络的性能会较差。由于训练图神经网络需要优化充满局部和全局极值的非凸神经网络，这些极值在测试时可能性能差异很大，因此选择极值非常重要。因此，我们提出了一种名为 gSAM 的有效训练模式，该模式的原则是较为平坦的极值具有更好的泛化能力。为了实现这个目标，gSAM 通过形成双层优化来规范权重损失函数的平坦度：外部问题进行标准模型训练，而内部问题则帮助模型跳出尖锐的极值。实验证明了我们的 gSAM 的优越性。

Jul, 2023

友好的锐度感知最小化

SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

Mar, 2024