Nov, 2023

重新思考对比学习的样本选择：潜在样本的挖掘

PDF
TL;DR对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。
发现论文，激发创造
  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • 合作 - 对抗性对比学习：正样本和负样本均可直接学习

    本文提出了一种有原则的方法来直接学习正样例和负样例，以配合和对抗的方式通过最大化和最小化对比损失来学习，获得了较好的预训练结果并开源了源代码和预训练模型。

    Mar, 2022

  • 使用语义衰减的负样本进行稳健的对比学习

    本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

    Oct, 2021

  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 对比度表示学习的硬负样本采样策略

    本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。

    Jun, 2022

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 对比学习与非对比学习的比较

    本文通过理论结果和实验表明，非对比损失在简单数据模型中具有非坍塌的不良极小值，并且训练过程不能避免这些极小值。

    Mar, 2022