May, 2023

选择性混合有助于处理分布转移，但不仅仅因为混合

PDF
TL;DR研究表明，特定样本对之间的非随机选择使训练分布受到影响，并通过与混合无关的方法提高了泛化能力。二元分类中的 Mixup 跨类混合隐含地对数据进行重新采样，从而实现了标签转移的经典解决方案。选择性混合和重新采样方法存在新的等价性，相关的优势可以更好地结合。
selective mixupneural networksgeneralizationimprovementslabel shift
发现论文，激发创造
  • 混合样本如何提高模型鲁棒性和泛化性能？

    本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

    Oct, 2020

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 关于 Mixup 正则化

    本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

    Jun, 2020

  • SelecMix: 通过对立对采样进行偏差学习

    提出一种新的数据增广方法 SelecMix，旨在解决神经网络训练中数据偏差带来的问题，并在标准基准测试中证明了其有效性，尤其是在标签噪声情况下。

    Nov, 2022

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • 混合样本对特征学习的益处

    本文研究数据增强方法 Mixup 的原理，从特征学习的角度解释了 Mixup 方法的优越性，并提出在早期训练阶段应用早停止技术以提高训练效果。

    Mar, 2023

  • 拓展边界：Mixup 对神经崩溃的影响

    混合增强是一种数据增强策略，通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响，发现其激活结果呈现独特的几何配置，揭示了混合增强增强模型校准的机制。同时进行理论分析，证明了对于特征模型不受约束的情况下，基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。

    Feb, 2024

  • 使用 Mixup 实现寻找最优决策边界的可证明收益

    本文研究了一种名为 Mixup 的数据增广技术，发现它可以显著地降低寻找最优决策边界的样本复杂度，而不同的掩蔽 Mixup 风格技术有可能扭曲训练损失和导致其最小化器收敛到考虑测试精度的次优分类器。

    Jun, 2023

  • 全局混合：通过聚类消除歧义

    提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。

    Jun, 2022

  • 使用 Mixup 进行过度训练可能损害泛化能力

    通过线性插值的方法创建合成训练样例的 Mixup 是优化 SGD 的深度模型的简单而有效的正则化技术，本文显示 Mixup 训练中的 U 形泛化曲线现象， 通过一系列数据集的实验证明了混入嘈杂标签会让 Mixup 在合成数据中出现 U 形泛化曲线现象的理论解释。

    Mar, 2023