Jul, 2020

无偏置对比学习

PDF
TL;DR提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。
self-supervised representation learningnegative samplingdebiased contrastive objectivegeneralization boundsdownstream classification
发现论文，激发创造
  • 针对样本特定的去偏方法以获得更优秀的图文模型

    本文介绍了一种基于样本特定偏差校正的自监督学习方法，用于改善不均匀假负面样本导致的图像文本数据的质量问题。经过实验证明，此方法在包括医学应用在内的多种数据集上都取得了比传统方法更好的效果。

    Apr, 2023

  • 带难负样本的对比学习

    通过开发一种新的无监督采样方法来选择难以区分的硬负样本，该方法改进了跨多种模态的下游性能，仅需要少量额外的代码进行实现，并且不会引入计算负担。

    Oct, 2020

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 对比学习的增量式虚假负例检测

    本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

    Jun, 2021

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 对比领域自适应

    本文探讨了将对比自监督学习扩展到领域适应上述情形的方法，通过无标签的正负样本比较学习，进一步识别和排除潜在可能误判的负面效应，以提高领域适应任务中的性能表现。

    Mar, 2021

  • 揭示和克服监督对比学习中的标签噪音挑战

    我们提出了 D-SCL，这是一种新颖的去偏差的监督对比学习目标，旨在减少标记错误引入的偏差，并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术，提供了对标签错误的改进的鲁棒性。

    Nov, 2023