混合数据增强何时如何提高校准性能
通过将混合样本与标签训练,混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果,并且得到了更好的预测可靠性,表现为更好的校准性和更少的过于自信的预测。
May, 2019
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
本文研究了 mixup 训练在自然语言理解(NLU)任务的作用,提出了一种用于预训练语言模型的 mixup 策略,并与模型 miscalibration 修正技术相结合来提高模型校准的方法,实验结果表明该方法在低预期的校准误差方面具有竞争优势。
Mar, 2022
本文提供了理论分析,证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性,表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界,而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化,从而减少了过拟合。
Oct, 2020
RankMixup 是一种基于混合的框架,通过 Ordinal Ranking Relationship 实现网络校准,通过混合系数和置信度之间的顺序关系来提高校准能力,并减少混合标签的问题。
Aug, 2023
这篇论文提出了一种名为 mixup 的学习原则,通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题,实验表明 mixup 提高了最先进的神经网络结构的泛化性能,并减少了恶意标签的记忆,增强了对抗性示例的鲁棒性,并稳定了生成对抗网络的训练。
Oct, 2017
混合增强是一种数据增强策略,通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响,发现其激活结果呈现独特的几何配置,揭示了混合增强增强模型校准的机制。同时进行理论分析,证明了对于特征模型不受约束的情况下,基于混合增强损失的分类器形成了一个简单的 ETF 的最优最后一层特征。
Feb, 2024
本文探讨 Mixup 训练范例如何提高分类器对数据结构的适应性与推广性,并通过计算得出 Mixup 最优分类器的封闭形式,证明使用 Mixup loss 训练的分类器可能不会最小化数据的经验损失。此外,我们还给出了 Mixup 训练的广义条件和特定数据集上单一标准训练的数据分类器相同的证明。
Oct, 2021
该论文提出了一种自动混合框架 ——AutoMix,它将混合分类分为两个子任务,并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明,在各种分类场景和下游任务中,其优越性超过了现有技术。
Mar, 2021
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022