May, 2022

对比学习中更多的负样本一定会带来伤害吗？

PDF
TL;DR本文研究噪声对比估计中负样本数量与下游分类性能的关系，并在简单理论模型中表明，由于采样底层潜在类所导致的 “collision-coverage” 权衡，负样本数量不会影响（人口）对比损失所优化的表示。同时，给出了我们框架中最优表示的结构特征，为噪声对比估计提供了实证支持。
noise contrastive estimationcontrastive learningdownstream performancenegative sampleslatent class
发现论文，激发创造
  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 对比损失和监督损失之间的替代间隔

    本研究针对之前的理论研究所存在的两个缺点建立了一种新的下限与上限模型，证明了 contrastive loss 可以作为下游 loss 的替代目标函数，同时也提示了更大的 negative sample size 可以提高下游分类，这在合成、视觉和语言数据集上的实验证实了。

    Oct, 2021

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 实例判别式自监督表示学习中负样本的理解

    本文提供了一种分析负样本使用对自监督学习下游任务的影响的新框架，证明了在一些实际场景下，使用更多负样本可以提高分类性能，并使用 coupon collector's 问题隐式地将下游任务的监督损失纳入到自监督损失中。

    Feb, 2021

  • 噪声对比估计中的困难负例理解

    本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

    Apr, 2021

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 负采样对对比结构世界模型的影响

    本文通过对 Atari 数据集的研究表明，在对比损失采样负状态的方式发生微小变化时会导致模型性能的巨大变化，并利用时间步骤相关性来提高对比结构世界模型性能，同时收集了完整数据集以研究更多样化的经验。

    Jul, 2021

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018