mixup:超越经验风险最小化
这篇论文介绍了用 mixup 在训练深度神经网络以提高泛化性能和模型对抗干扰的鲁棒性,并通过 mixup 推理原则 MI 来利用全局线性行为主动防御对抗攻击,在 CIFAR-10 和 CIFAR-100 数据集上取得了良好效果。
Sep, 2019
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟合。
Oct, 2020
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
通过将混合样本与标签训练,混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果,并且得到了更好的预测可靠性,表现为更好的校准性和更少的过于自信的预测。
May, 2019
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析,证明了对于特征模型不受约束的情况下,基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。
Feb, 2024
使用对抗混合策略来进一步规范深层网络,以更有效地应对低资源条件下 Mixup 约束问题,并在五种文本分类基准和五种骨干模型上的实验证明,该方法显著降低了 Mixup 变体的错误率(高达 31.3%),特别是在低资源条件下(高达 17.5%)
Sep, 2021
本研究提出了一种名为 Puzzle Mix 的混合方法,该方法使用卫星信息和自然例子的基本统计信息,以提高神经网络的性能和抗扰攻击能力。实验结果表明,Puzzle Mix 与其他混合方法相比,在 CIFAR-100、Tiny-ImageNet 和 ImageNet 数据集上均取得了最佳的泛化和对抗性鲁棒性结果。
Sep, 2020
提出一种新的数据增广方法 SelecMix,旨在解决神经网络训练中数据偏差带来的问题,并在标准基准测试中证明了其有效性,尤其是在标签噪声情况下。
Nov, 2022
该论文提出了一种自动混合框架 ——AutoMix,它将混合分类分为两个子任务,并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明,在各种分类场景和下游任务中,其优越性超过了现有技术。
Mar, 2021
本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”,并发现了其存在的 “manifold intrusion” 问题,提出了一种新的自适应正则化方法 AdaMixUp,并通过实验验证了 AdaMixUp 的优越性。
Sep, 2018