对比学习的自适应数据增强
本文提出了一种名为对抗数据增强(A-DA)的新方法,将数据增强与对抗学习相结合,通过额外的分类器对不同类型的增强进行分类,使得网络能够生成能够欺骗分类器的说话者嵌入,从而提升模型对于增强变化的鲁棒性和泛化能力。在 VoxCeleb 和 CN-Celeb 数据集上的实验证明了我们提出的 A-DA 方法在匹配和不匹配的测试条件下均优于标准数据增强方法,展示了其对于声学变化的卓越鲁棒性和泛化能力。
Feb, 2024
AdaAugment 是一种无需调参的创新自适应增强方法,利用强化学习根据目标网络的实时反馈动态调整个别训练样本的增强程度,通过优化策略网络和目标网络的联合来有效适应增强程度,从而在效果和效率上一致性地优于其他最先进的数据增强方法。
May, 2024
模型自适应数据增强(MADAug)是一种通过训练数据增强策略网络来向模型教授何时学习何事的方法,旨在优化泛化性能。MADAug 通过模型自适应策略在训练阶段选择每个输入图像的增强操作,构建逐步优化的数据增强课程。在多个图像分类任务中,MADAug 在性能上超过或与其他基线方法相媲美,并且在所有类别中都能带来改进,特别是对于难分类的类别。此外,MADAug 的策略在转移到细粒度数据集时表现更好,逐渐引入越来越大的扰动,并自然地形成一个从简单到困难的课程。
Sep, 2023
逆变学习作为无监督视觉表示学习中最成功的方法之一,依赖于大量的手动数据增强。然而,本文研究发现由扩散模型生成的数据有时会对对比学习产生负面影响,并提出了一种数据为中心的策略,即自适应扩增 (AdaInf),无需额外的计算成本,可在各种对比学习方法上取得显著的改进。
Mar, 2024
通过扩散步骤,DiffAug 引入了一种新颖且高效的基于扩散的数据增强技术,以确保增强数据和原始数据在光滑的潜在空间中共享,从而通过无需标签、外部数据 / 模型或先前知识的约束来提高图像分类和聚类准确性,可适用于视觉和生物领域。
Sep, 2023
通过使用对抗性方法,Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失,以便更快且更有效率地完成深度神经网络的训练及图像分类任务,从而将计算成本减少 12 倍,时间开销减少 11 倍,达到了最佳的实验成果。
Dec, 2019
本文提出了一种名为 CoDA 的新型数据增强框架,通过整合多种转换方法,试图解决文本数据增强中的标签保留问题。实验表明,CoDA 架构在多种自然语言理解任务中平均提高了 2.2% 的效果,相较其他基线方法表现更强
Oct, 2020
本文针对数据稀缺问题提出了一种基于生成式对抗网络的深度数据增广技术(DADA),该方法中新的判别器损失函数使得生成的数据样本能够帮助训练,并将 DADA 与传统增广、GAN 等方法比较实验证明,DADA 方法在实际情况中训练深度神经网络的泛化能力上具有更优越的能力.
Aug, 2018
本研究提出 Differentiable Automatic Data Augmentation (DADA) 算法,使用 Gumbel-Softmax 方法实现对离散的数据增强方法的选择,引入 RELAX 无偏梯度估计方法,提高了数据增强策略的学习效率。在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 数据集上的实验证明了该算法在达到同等精度的情况下,比现有最先进算法至少快一个数量级。同时,研究还证明了自动数据增强在预训练方面的价值。
Mar, 2020
通过自监督学习(SSL)在医学影像中实现有效的表征学习,但数据增广的选择是关键且领域特定的,本文通过一种叫做维度驱动增广搜索(DDA)的新方法自动搜索适合于腹腔镜手术的数据增广策略,通过对比学习在局部维度特性上差异化地搜索适合的数据增广策略,我们证明了 DDA 在导航大型搜索空间和成功识别适当的数据增广策略上的有效性和高效性,我们系统评估了 DDA 在三个腹腔镜图像分类和分割任务中的性能,并显著改进了现有基准,此外,DDA 的优化增广集合为在医学应用中应用对比学习时的领域特定依赖提供了见解,例如,对于自然图像而言,色调是一种有效的增广方式,但对于腹腔镜图像并不优势。
Jun, 2024