Jun, 2022

对比度表示学习的硬负样本采样策略

PDF
TL;DR本文介绍了一种基于 UnReMix 的 hard negative sampling 策略，该策略考虑了锚点相似度、模型不确定性和代表性，实验结果表明，与现有的对比学习方法相比，UnReMix 可以改进负样本的选择，从而提高下游任务的性能。
contrastive learninghard negative examplesunremixmodel uncertaintydownstream performance
发现论文，激发创造
  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023

  • DropMix：更好的图形对比学习与更困难的负样本

    在图对比学习中，我们提出了一种名为 DropMix 的新方法，用于合成更加困难的负样本，通过选择和混合难负样本的表示维度，减少信息丢失，从而提升图对比学习性能。

    Oct, 2023

  • 重新思考对比学习的样本选择：潜在样本的挖掘

    对比学习中通过综合考虑正负样本以及使用软硬权重策略来挖掘样本，分析并挖掘接近正样本的潜在负样本，相较于传统的自监督方法，该方法在 CIFAR10、CIFAR100 和 TinyImagenet 上分别达到了 88.57%、61.10% 和 36.69% 的准确率。

    Nov, 2023

  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 通过困难负样本增强多模态对比学习中的概念理解

    通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。

    Mar, 2024

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 噪声对比估计中的困难负例理解

    本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

    Apr, 2021