Apr, 2021

使用更强数据增强进行对比学习

PDF
TL;DR该研究提出了一种名为 Contrastive Learning with Stronger Augmentations（CLSA）的新的对比学习方法，利用数据扩增引入样本多样性，从而提高检索能力，实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。
representation learningcontrastive learningdata augmentationretrievalimagenet dataset
发现论文，激发创造
  • 图形对比学习中的扩充：当前方法论缺陷和更好做法

    该论文介绍了使用对比学习（CL）进行无监督图表示学习的方法。作者通过探究使用域不可知图形扩充的高性能图像对比学习和 DAGAs 对图形对比学习的影响，提出了几个检查机制和设计任务感知扩充的策略，以提高模型的准确性。

    Nov, 2021

  • 自适应增强的图形对比学习

    本文提出了一种新的自适应增强方法，通过设计基于节点中心性和节点属性的增强策略来保留图的内在结构和属性信息，并验证此方法在节点分类任务中优于现有方法和监督学习模型。

    Oct, 2020

  • 虚拟增强支持对比学习句子表示

    通过 VaSCL 提出了一种虚拟增强支持的对比学习方法， 解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强， 从而获得了无监督句子表示学习的最新最佳表现。

    Oct, 2021

  • 图形对比学习与数据增强

    本研究提出了一种图形比较学习 (GraphCL) 框架，通过图形增强等多种方式对图形数据进行无监督学习来学习表示。结果表明，即使不使用复杂的 GNN 架构，GraphCL 框架也可以生成类似或更好的通用性、可转移性和鲁棒性的图形表示。

    Oct, 2020

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021

  • 对抗样本的对比学习

    本文提出了一种针对对抗性对比学习的新算法 CLAE，通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片，能够更好地定义正负样本，充分提高自监督学习任务的性能和学习能力。

    Oct, 2020

  • ArCL：通过增强鲁棒性表示来增强对比学习

    本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

    Mar, 2023

  • 通过新颖数据增强和课程学习提高对比学习效率

    EfficientCL 是一种内存高效的持续预训练方法，通过对比学习和新颖的数据增强和课程学习来实现。在 GLUE 基准测试上，与基准模型相比，该模型的表现更好，尤其是在句子级任务上，并且只需要与基准模型相比仅有 70% 的计算内存。

    Sep, 2021

  • CLAR: 对听觉特征的对比学习

    本文基于 SimCLR 的前期工作，提出了适用于音频数据的各种数据增强方案，并调查了它们对预测性能的影响，同时证明了采用时频音频特征训练，在监督和对比损失同时约束下的模型可以获得优秀的音频表示。在少量标注数据的情况下，该方法明显地改善了预测性能，同时比自监督训练更快地收敛并具有更好的表示能力。

    Oct, 2020