语义等变性混合
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022
本文研究了 MixUp 生成的目标函数,提出了一种包括自监督学习在内的 SAMix 算法解决该问题,并使用 Mixer 模型来避免在线训练的计算成本。实验证明,SAMix 表现卓越。
Nov, 2021
本文提出了一种基于类激活图(CAM)的新方案,名为 Semantically Proportional Mixing(SnapMix),以减少在增广精细数据时的标签噪声。与现有的基于混合的方法相比,实验证明我们的方法在多个数据集和不同网络深度下表现更好。
Dec, 2020
该论文提出了一种自动混合框架 ——AutoMix,它将混合分类分为两个子任务,并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明,在各种分类场景和下游任务中,其优越性超过了现有技术。
Mar, 2021
本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”,并发现了其存在的 “manifold intrusion” 问题,提出了一种新的自适应正则化方法 AdaMixUp,并通过实验验证了 AdaMixUp 的优越性。
Sep, 2018
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析,证明了对于特征模型不受约束的情况下,基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。
Feb, 2024
本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域,特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明,Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术,能够显著提高其性能。
Oct, 2020
本文提出了一种名为 MetaMixUp 的数据增强方法,该方法通过在线元学习动态学习插值策略,可用于模型正则化、半监督学习和领域自适应,实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。
Aug, 2019
这篇论文提出了一种名为 mixup 的学习原则,通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题,实验表明 mixup 提高了最先进的神经网络结构的泛化性能,并减少了恶意标签的记忆,增强了对抗性示例的鲁棒性,并稳定了生成对抗网络的训练。
Oct, 2017