本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟合。
Oct, 2020
本文探讨 Mixup 训练范例如何提高分类器对数据结构的适应性与推广性,并通过计算得出 Mixup 最优分类器的封闭形式,证明使用 Mixup loss 训练的分类器可能不会最小化数据的经验损失。此外,我们还给出了 Mixup 训练的广义条件和特定数据集上单一标准训练的数据分类器相同的证明。
Oct, 2021
这篇论文提出了一种名为 mixup 的学习原则,通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题,实验表明 mixup 提高了最先进的神经网络结构的泛化性能,并减少了恶意标签的记忆,增强了对抗性示例的鲁棒性,并稳定了生成对抗网络的训练。
Oct, 2017
本文通过理论与实验证实,Mixup 数据增强技术可以在高维机器学习模型中提高模型信心值的校准性,同时可减少半监督学习中加入未标注数据所带来的校准性问题。
Feb, 2021
本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”,并发现了其存在的 “manifold intrusion” 问题,提出了一种新的自适应正则化方法 AdaMixUp,并通过实验验证了 AdaMixUp 的优越性。
Sep, 2018
利用 Mixup 作为标准交叉熵损失的额外正则化器,可以提高其精确度并在各种协变量转移和超出分布检测实验中显著提高其预测不确定性的质量。通过对视觉数据集 (ImageNet & CIFAR-10/100) 的深入分析和实验来展示我们的方法(RegMixup)的功效,并与一系列最新方法进行比较,以实现可靠的不确定性估计。
Jun, 2022
通过线性插值的方法创建合成训练样例的 Mixup 是优化 SGD 的深度模型的简单而有效的正则化技术,本文显示 Mixup 训练中的 U 形泛化曲线现象, 通过一系列数据集的实验证明了混入嘈杂标签会让 Mixup 在合成数据中出现 U 形泛化曲线现象的理论解释。
Mar, 2023
该研究旨在扩展 Mixup 以提高其对数据结构的利用能力,通过使用 Wasserstein 度量和位移插值将 $k$-batches 的训练点方向扰动到其他 $k$-batches,从而实现 $k$-mixup。实验结果表明,使用 $k$-mixup 可以进一步提高基准数据集的泛化能力和鲁棒性。
Jun, 2021
通过将混合样本与标签训练,混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果,并且得到了更好的预测可靠性,表现为更好的校准性和更少的过于自信的预测。
May, 2019
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析,证明了对于特征模型不受约束的情况下,基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。
Feb, 2024