ICMLOct, 2021

对比损失和监督损失之间的替代间隔

PDF
TL;DR本研究针对之前的理论研究所存在的两个缺点建立了一种新的下限与上限模型，证明了 contrastive loss 可以作为下游 loss 的替代目标函数，同时也提示了更大的 negative sample size 可以提高下游分类，这在合成、视觉和语言数据集上的实验证实了。
contrastive representation learningnegative sample sizesurrogate boundsdownstream classificationdata augmentation
发现论文，激发创造
  • 对比学习中更多的负样本一定会带来伤害吗？

    本文研究噪声对比估计中负样本数量与下游分类性能的关系，并在简单理论模型中表明，由于采样底层潜在类所导致的 “collision-coverage” 权衡，负样本数量不会影响（人口）对比损失所优化的表示。同时，给出了我们框架中最优表示的结构特征，为噪声对比估计提供了实证支持。

    May, 2022

  • 实例判别式自监督表示学习中负样本的理解

    本文提供了一种分析负样本使用对自监督学习下游任务的影响的新框架，证明了在一些实际场景下，使用更多负样本可以提高分类性能，并使用 coupon collector's 问题隐式地将下游任务的监督损失纳入到自监督损失中。

    Feb, 2021

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 具有谱对比损失的自监督深度学习的可证明保证

    本文提出了一种基于数据增强图的对比学习新概念，该概念能够以神经网络表示为对比学习目标提供详细的光谱分解损失，并在理论上证明了具有可验证的精度保证的特征学习方法，同时以实验证明其与一些强大基线方法相当或更好地匹配在基准视觉数据集上。

    Jun, 2021