生成数据是否总是有助于对比学习?
使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标,这种理论强调了对比学习,生成建模和非线性独立成分分析之间的基本联系,为推导出更有效的对比损失提供了理论基础。
Feb, 2021
本研究提出了一种名为 AdDA 的自适应数据增强(Adaptive Data Augmentation)方法,通过在训练过程中实时反馈调整数据增强的组合,优化对比学习网络的表示学习效果,并在 ImageNet-100 数据集上进行了测试。
Apr, 2023
通过扩散步骤,DiffAug 引入了一种新颖且高效的基于扩散的数据增强技术,以确保增强数据和原始数据在光滑的潜在空间中共享,从而通过无需标签、外部数据 / 模型或先前知识的约束来提高图像分类和聚类准确性,可适用于视觉和生物领域。
Sep, 2023
该论文介绍了使用对比学习(CL)进行无监督图表示学习的方法。作者通过探究使用域不可知图形扩充的高性能图像对比学习和 DAGAs 对图形对比学习的影响,提出了几个检查机制和设计任务感知扩充的策略,以提高模型的准确性。
Nov, 2021
本文提出了一种新的自适应增强方法,通过设计基于节点中心性和节点属性的增强策略来保留图的内在结构和属性信息,并验证此方法在节点分类任务中优于现有方法和监督学习模型。
Oct, 2020
该研究提出了一种名为 Contrastive Learning with Stronger Augmentations(CLSA)的新的对比学习方法,利用数据扩增引入样本多样性,从而提高检索能力,实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。
Apr, 2021
使用不需要数据增强的图对比学习方法 iGCL 进行表征学习,其中设计了不变 - 可区分性损失(ID 损失)来学习不变和可区分的表征,并且实验结果表明 iGCL 在不同类型的数据集上优于其他基准模型,具有很好的泛化性和鲁棒性。
Oct, 2022
本文介绍了一种利用对比学习中数据增强的方法来解决多个数据增强方法所带来的问题,该方法在不同深度上对不同的数据增强实现学习以及扩展对比内容以减少过多的数据增强对于下游任务带来的负面影响,通过实验证明了该方法可以有效学习与多个基准测试相关的更好的表示。
Jun, 2022
通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化,解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题,并在少样本情境和杂草识别任务中得到实际应用。
Feb, 2023
本文系统评估了扩散模型生成图像的现有方法,并研究了新的扩展方式以评估它们对数据增强的益处。作者发现,将扩散模型个性化到目标数据的方法优于简单的提示策略,但使用扩散模型的训练数据,通过简单的最近邻检索程序,直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性,同时也突显了其在生成新训练数据方面的潜力,以提高在简单的下游视觉任务中的性能。
Apr, 2023