ICLRNov, 2022

无偏监督对比学习

PDF
TL;DR本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。
biased datasetsunbiased modelscontrastive lossesdebiasing regularization lossstate-of-the-art performance
发现论文，激发创造
  • 完美平衡：改善监督对比学习的迁移性和鲁棒性

    通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。

    Apr, 2022

  • SINCERE: 监督信息噪声对比估计再探讨

    通过改进 InfoNCE 的 Supervised InfoNCE REvisited（SINCERE）损失函数，我们提出了一种理论上合理的自监督深度学习方法，可以有效防止同类图像在嵌入空间中互相排斥，从而提高预训练过程中的类别嵌入分离性和最终线性分类器的性能。

    Sep, 2023

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 面部属性分类的公平对比学习

    本文提出了一种公平的监督对比损失方法（Fair Supervised Contrastive Loss），旨在保证图像的视觉表达不带有敏感属性信息，同时通过组内归一化减少分组之间的差异，实现了在公平性和准确性上的平衡，并在 CelebA 和 UTK Face 的数据集上验证了该方法的有效性。

    Mar, 2022

  • 迈向一个统一的对比学习框架以实现解耦表征

    通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

    Nov, 2023

  • 公平表征的对比学习

    本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

    Sep, 2021

  • 强健的对比学习抵抗嘈杂视图

    本文提出一种新的对抗噪声视图具有鲁棒性的对比损失函数，它在图像、视频和图形上的对比学习基准测试中提供了一致的改进，并且是模态无关和与 InfoNCE 损失的一个简单替代方法。

    Jan, 2022

  • 基于对比学习的混合网络用于长尾图像分类

    本文研究基于对比学习的监督式分类学习策略，提出了一种混合网络结构，用于从不平衡的数据中学习更好的图像表征，以提高分类精度。具体而言，我们探索了两种对比损失的变体，以推动特征学习，从而实现更好的分类器。实验结果表明，基于对比学习的混合网络在长尾分类中优于传统方法。

    Mar, 2021

  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020

  • 有条件的监督对比学习：公平的文本分类

    提出使用有条件的监督对比目标学习在文本分类中学习公平代表的方法，以平衡在现有基准线中任务表现和偏差缓解之间的权衡，并在两个文本数据集上进行实验，展示了该方法的有效性。

    May, 2022