Oct, 2020

对比学习的硬负样本混合

PDF
TL;DR研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。
contrastive learningself-supervised learningcomputer visionhard negativesdata mixing
发现论文，激发创造
  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 使用语义衰减的负样本进行稳健的对比学习

    本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

    Oct, 2021

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 对比度表示学习的硬负样本采样策略

    本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。

    Jun, 2022

  • 利用假阴性消除增强对比自监督学习

    提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

    Nov, 2020

  • 对比实例区分中，所有的负样本是否平等？

    本文研究采用自监督学习方法对负样本进行分类，发现难度最高的 5% 的负样本对下游任务几乎是必要和充分的，而容易的 95% 负样本则是不必要和不充分的。同时，我们发现难负样本与查询的语义相似度更高，有些负样本的难易程度比预期的要一致。该研究揭示了负样本的重要性差异及其对自监督学习的积极作用。

    Oct, 2020

  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 对比学习的增量式虚假负例检测

    本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

    Jun, 2021

  • DropMix：更好的图形对比学习与更困难的负样本

    在图对比学习中，我们提出了一种名为 DropMix 的新方法，用于合成更加困难的负样本，通过选择和混合难负样本的表示维度，减少信息丢失，从而提升图对比学习性能。

    Oct, 2023