Aug, 2023

G-Mix: 通向扁平极小值的广义 Mixup 学习框架

PDF
TL;DR深度神经网络（DNN）面临着超参数化的挑战，特别是在训练数据有限的情况下。为了增强 DNN 的泛化能力，我们提出了一种名为 Generalized-Mixup 的新学习框架，将 Mixup 和 Sharpness-Aware Minimization（SAM）的优势结合起来进行 DNN 模型训练。理论分析表明，开发的 G-Mix 框架可以增强泛化能力。此外，为了进一步优化 DNN 性能，我们引入了两种新算法：Binary G-Mix 和 Decomposed G-Mix。这些算法根据每个示例的锐度敏感性将训练数据划分为两个子集，以解决 Mixup 中 “流形入侵” 的问题。理论解释和实验结果均表明，所提出的 BG-Mix 和 DG-Mix 算法进一步提高了多个数据集和模型的模型泛化能力，实现了最先进的性能。
dnnsmixupsharpness-aware minimization (sam)generalized-mixupg-mix framework
发现论文，激发创造
  • 混合样本如何提高模型鲁棒性和泛化性能？

    本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

    Oct, 2020

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 使用场景无关混合增强辨别性视觉表示学习

    本文研究了 MixUp 生成的目标函数，提出了一种包括自监督学习在内的 SAMix 算法解决该问题，并使用 Mixer 模型来避免在线训练的计算成本。实验证明，SAMix 表现卓越。

    Nov, 2021

  • 面向域泛化的语义感知混合

    该研究提出了一种基于语义的混合策略（SAM）来解决深度神经网络在遇到未知目标域时的泛化问题，在傅里叶谱的启示下，SAM 将混合策略应用于傅里叶相位和振幅信息，有效地提高了图像分类任务的准确性。

    Apr, 2023

  • 解耦混合数据增强用于高效学习

    提出了一种新的混合数据方法 ——Decoupled Mixup，该方法可以将动态混合数据方法的样本解耦机制转移到目标函数级别，实现在保持数据平滑性的前提下焦点自适应聚焦于判别特征，避免了计算负担，并且实验结果表明 Decoupled Mixup 达到了甚至超过了动态混合数据的性能

    Mar, 2022

  • 基于显著性引导的快速混合方法：随机梯度阈值化

    本文提出了一种新的方法叫做 R-Mix，它将随机性和显著性利用的最佳元素相结合，达到了速度、简单性和准确性的平衡，同时训练了一个基于分类器性能的混合策略决策代理，减少了对人类设计目标和超参数调整的依赖，并表现出优越的泛化、弱监督目标定位、校准和对抗性攻击鲁棒性，进一步证明了代理能够在实现自动混合方面发挥的最先进的水平。

    Dec, 2022

  • GDM：有限监督下的图分类的双重混合技术

    本文提出了一种新颖的基于混合的图形增强方法，称为图形双重混合（GDM），利用图形实例的功能和结构信息生成新的标记图形样本，以增加有限可用标记图形样本的大小和多样性，并通过两种新颖的平衡图形采样方法增强生成图形样本的平衡难度和多样性。在基准数据集上的实验证明，当标记图形稀缺时，我们提出的方法明显优于最先进的图形增强方法。

    Sep, 2023

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • 混合训练使领域泛化变得轻而易举

    本文提出了一种基于 Mixup 的领域不变特征增强方法 (FIX) 和进一步增强判别能力的改进方法 (FIXED)，在图像分类和时间序列分析等领域得到了广泛实验验证并成功提高测试精度。

    Nov, 2022

  • Co-Mixup: 基于显著性引导的超模复合联合 Mixup

    本文提出了通过优化构建 mixup 数据的最佳方法以获得更好的神经网络推广性能和对数据干扰的鲁棒性，特别是使用基于模块化近似的迭代次模最小化算法来实现有效的 mixup 计算。

    Feb, 2021