混合样本对特征学习的益处
在本文中,我们提出了一种称为多重揉混(multi-mix)的简单而有效的扩展方法,它通过从样本对生成多个插值样本,可以比标准 mixup 更好地引导训练过程,从而在泛化性能、鲁棒性和校准度方面超过了各种 mixup 变体和非 mixup 基线。
Jun, 2024
介绍了一种名为 AlignMix 的新型混合方法,通过在特征空间中几何对齐两个图像,从而使混合方法保留一个图像的几何特征和另一个图像的纹理,提高了表示学习效果。
Mar, 2021
通过线性插值的方法创建合成训练样例的 Mixup 是优化 SGD 的深度模型的简单而有效的正则化技术,本文显示 Mixup 训练中的 U 形泛化曲线现象, 通过一系列数据集的实验证明了混入嘈杂标签会让 Mixup 在合成数据中出现 U 形泛化曲线现象的理论解释。
Mar, 2023
该论文介绍了 Mixup 数据增强技术在图像分类方面的应用,从特征学习的角度解释了其成功的原因,并提供了实验证据支持其理论分析,证明其在处理具备多种特征的分类问题时效果良好。
Oct, 2022
本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域,特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明,Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术,能够显著提高其性能。
Oct, 2020
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟合。
Oct, 2020
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
本文提出了一种名为 Infinite Class Mixup 的基于分类器混合的新型数据增广策略,通过对每个增广样本定义一个唯一的新分类器,而不是对训练对标签进行混合,使得神经网络能够更好地学习不同数据类之间的线性行为模式,并在多种模型上取得了较好的性能表现。
May, 2023
本文提出了一种名为 MetaMixUp 的数据增强方法,该方法通过在线元学习动态学习插值策略,可用于模型正则化、半监督学习和领域自适应,实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。
Aug, 2019