使用场景无关混合增强辨别性视觉表示学习
通过交替优化分类器和混合样本生成器,我们提出了一种对抗性自动混合增强方法 AdAutomixup,用于生成具有挑战性的样本以训练强大的图像分类器,并通过引入指数移动平均教师和余弦相似度来防止图像内在意义的崩溃。大量实验证明,我们的方法在各种分类场景中优于现有技术水平。
Dec, 2023
该研究提出了一种基于语义的混合策略(SAM)来解决深度神经网络在遇到未知目标域时的泛化问题,在傅里叶谱的启示下,SAM 将混合策略应用于傅里叶相位和振幅信息,有效地提高了图像分类任务的准确性。
Apr, 2023
该论文提出了一种自动混合框架 ——AutoMix,它将混合分类分为两个子任务,并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明,在各种分类场景和下游任务中,其优越性超过了现有技术。
Mar, 2021
深度神经网络(DNN)面临着超参数化的挑战,特别是在训练数据有限的情况下。为了增强 DNN 的泛化能力,我们提出了一种名为 Generalized-Mixup 的新学习框架,将 Mixup 和 Sharpness-Aware Minimization(SAM)的优势结合起来进行 DNN 模型训练。理论分析表明,开发的 G-Mix 框架可以增强泛化能力。此外,为了进一步优化 DNN 性能,我们引入了两种新算法:Binary G-Mix 和 Decomposed G-Mix。这些算法根据每个示例的锐度敏感性将训练数据划分为两个子集,以解决 Mixup 中 “流形入侵” 的问题。理论解释和实验结果均表明,所提出的 BG-Mix 和 DG-Mix 算法进一步提高了多个数据集和模型的模型泛化能力,实现了最先进的性能。
Aug, 2023
本文提出了一种新的方法叫做 R-Mix,它将随机性和显著性利用的最佳元素相结合,达到了速度、简单性和准确性的平衡,同时训练了一个基于分类器性能的混合策略决策代理,减少了对人类设计目标和超参数调整的依赖,并表现出优越的泛化、弱监督目标定位、校准和对抗性攻击鲁棒性,进一步证明了代理能够在实现自动混合方面发挥的最先进的水平。
Dec, 2022
我们提出了语义等变混合(sem),通过在表示层面上引入了泛化的混合正则化,以提高模型对分布转移的鲁棒性,通过扩展训练分布和调节神经网络,根据标签等变性假设生成混合样本,并进一步利用混合样本中的语义信息对模型进行正则化。
Aug, 2023
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022
通过对数据进行增强,尤其是在训练数据有限的情况下,数据增强技术可以显著提高计算机视觉模型的泛化能力。然而,由于不同 ially private learning 方法固有的假设,即每个训练图像对学习模型的贡献是有限的,这些技术与不同 ially private 学习方法在基本上不兼容。本文研究了为什么多样本数据增强技术(如 mixup)的朴素应用无法取得良好的性能,并提出了两种新型的数据增强技术,专门针对不同 ially private 学习的约束条件。我们的第一种技术 DP-Mix_Self 通过在自我增强的数据上执行 mixup,在一系列数据集和设置中实现了具有 SoTA 分类性能。我们的第二种技术 DP-Mix_Diff 通过将来自预训练扩散模型的合成数据纳入 mixup 过程中,进一步提高了性能。我们在此 URL 中开源了代码。
Nov, 2023
本研究提出了一种名为 Puzzle Mix 的混合方法,该方法使用卫星信息和自然例子的基本统计信息,以提高神经网络的性能和抗扰攻击能力。实验结果表明,Puzzle Mix 与其他混合方法相比,在 CIFAR-100、Tiny-ImageNet 和 ImageNet 数据集上均取得了最佳的泛化和对抗性鲁棒性结果。
Sep, 2020
这篇论文提出了一种名为 mixup 的学习原则,通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题,实验表明 mixup 提高了最先进的神经网络结构的泛化性能,并减少了恶意标签的记忆,增强了对抗性示例的鲁棒性,并稳定了生成对抗网络的训练。
Oct, 2017