使用 Mixup 进行过度训练可能损害泛化能力
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟合。
Oct, 2020
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析,证明了对于特征模型不受约束的情况下,基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。
Feb, 2024
这篇论文提出了一种名为 mixup 的学习原则,通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题,实验表明 mixup 提高了最先进的神经网络结构的泛化性能,并减少了恶意标签的记忆,增强了对抗性示例的鲁棒性,并稳定了生成对抗网络的训练。
Oct, 2017
本文探讨 Mixup 训练范例如何提高分类器对数据结构的适应性与推广性,并通过计算得出 Mixup 最优分类器的封闭形式,证明使用 Mixup loss 训练的分类器可能不会最小化数据的经验损失。此外,我们还给出了 Mixup 训练的广义条件和特定数据集上单一标准训练的数据分类器相同的证明。
Oct, 2021
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022
本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”,并发现了其存在的 “manifold intrusion” 问题,提出了一种新的自适应正则化方法 AdaMixUp,并通过实验验证了 AdaMixUp 的优越性。
Sep, 2018
通过将混合样本与标签训练,混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果,并且得到了更好的预测可靠性,表现为更好的校准性和更少的过于自信的预测。
May, 2019
这篇论文介绍了用 mixup 在训练深度神经网络以提高泛化性能和模型对抗干扰的鲁棒性,并通过 mixup 推理原则 MI 来利用全局线性行为主动防御对抗攻击,在 CIFAR-10 和 CIFAR-100 数据集上取得了良好效果。
Sep, 2019