Jun, 2021

探索负样本在对比度表示学习中的作用

PDF
TL;DR该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。
unsupervised learningcontrastive learningnegative examplessemanticsperformance
发现论文，激发创造
  • 对比学习中更多的负样本一定会带来伤害吗？

    本文研究噪声对比估计中负样本数量与下游分类性能的关系，并在简单理论模型中表明，由于采样底层潜在类所导致的 “collision-coverage” 权衡，负样本数量不会影响（人口）对比损失所优化的表示。同时，给出了我们框架中最优表示的结构特征，为噪声对比估计提供了实证支持。

    May, 2022

  • 噪声对比估计中的困难负例理解

    本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

    Apr, 2021

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 对比实例区分中，所有的负样本是否平等？

    本文研究采用自监督学习方法对负样本进行分类，发现难度最高的 5% 的负样本对下游任务几乎是必要和充分的，而容易的 95% 负样本则是不必要和不充分的。同时，我们发现难负样本与查询的语义相似度更高，有些负样本的难易程度比预期的要一致。该研究揭示了负样本的重要性差异及其对自监督学习的积极作用。

    Oct, 2020

  • 利用假阴性消除增强对比自监督学习

    提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

    Nov, 2020

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018

  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020