Oct, 2020

条件负采样用于视觉表征对比学习

PDF
TL;DR本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。
contrastive learningmutual informationnegative samplingimage representationconditional sampling
发现论文，激发创造
  • 对抗性对比估计

    本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

    May, 2018

  • 条件模型的噪声对比估计和负采样：一致性和统计效率

    本文考虑了基于 NCE 的条件模型估计，通过分析两种条件模型变体：一种基于分类目标，另一种基于排序目标，证明了基于排序的 NCE 变体在较弱的假设下提供了一致的参数估计，同时分析了两种方法的统计效率，并在合成数据和语言建模实验中展示了两种方法的效果和权衡。

    Sep, 2018

  • 噪声对比估计与负采样注释

    该研究探讨语言概率模型参数估计中遇到的计算问题及其解决方案，针对噪声对比估计与负采样方法的异同进行分析，发现 NCE 是一种渐近无偏的通用参数估计技术，而负采样则适用于学习词表示，但不适用于通用估计器。

    Oct, 2014

  • 对比学习中的互信息在视觉表征中的应用

    本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

    May, 2020

  • 噪声对比估计与对比散度之间的关联

    通过将噪声对比估计（NCE）方法与传统最大似然估计（ML）方法结合，以及探索 NCE 与条件重要性采样（RNCE）和对比散度（CNCE）之间的关联，本研究实现了 NCE 方法的扩展和改进。

    Feb, 2024

  • 无标准化模型的条件噪声对比估计

    我们提出了一种新方法，通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来，旨在比噪声对比估计更好地估计未规范化模型的参数，并在深度学习中证明了其适用性。

    Jun, 2018

  • 使用对比性置信度规范化缓解密集检索中的假阴影的影响

    通过引入一种新的对比置信度正则化器用于噪声对比估计（NCE）损失，以提高稠密检索模型对于假阴性的鲁棒性，并通过过滤数据集中的噪声负面篇章的方法改进下游稠密检索模型的检索性能。

    Dec, 2023

  • 对代码搜索中的负对进行重新思考

    在这篇论文中，我们通过提出一种简单但有效的 Soft-InfoNCE 损失函数，通过将权重项插入 InfoNCE 来解决负样本的问题。我们对负样本的权重进行了三种方法的估计，并展示了原始的 InfoNCE 损失是 Soft-InfoNCE 的一种特殊情况。理论上，我们分析了 Soft-InfoNCE 对学习到的代码表示分布的控制效果，并推导出更精确的互信息估计。此外，我们还讨论了提出的损失函数与其他设计替代方案的优越性。通过在一个包含六种编程语言的大规模公共数据集上进行广泛的实验证明了 Soft-InfoNCE 和权重估计方法在最先进的代码搜索模型中的有效性。

    Oct, 2023

  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023