对比学习能否避免捷径解决方案？

Jun, 2021

对比学习能否避免捷径解决方案？

Can contrastive learning avoid shortcut solutions?

Joshua Robinson, Li Sun, Ke Yu, Kayhan Batmanghelich, Stefanie Jegelka...

TL;DR提出了一种名为隐式特征修改 (IFM) 的方法，以改进对比学习的特征提取，避免压抑重要的预测特征并提高视觉和医学成像任务的性能。

Abstract

The generalization of representations learned via contrastive learning depends crucially on what features of the data are extracted. However, we observe that the contrastive loss does not always sufficiently guide which features are extracted, a behavior that can negatively impact the

contrastive learning feature extraction instance discrimination predictive features implicit feature modification

发现论文，激发创造

对比损失的有趣特性

本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

Nov, 2020

视觉语言表示学习中的展示和减少快捷方式

基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。

Feb, 2024

对比学习与非对比学习的比较

本文通过理论结果和实验表明，非对比损失在简单数据模型中具有非坍塌的不良极小值，并且训练过程不能避免这些极小值。

Mar, 2022

对比学习反转数据生成过程

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021

MetAug：元特征增强的对比学习

本文提出一种基于元学习和生成模型的对比学习方法，该方法通过针对性地增强有信息量的特征，避免无用特征的干扰，实现了在少量数据下学习鲁棒性强且表达能力强的特征表示。

Mar, 2022

特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下

研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。

May, 2022

对比学习中避免特征抑制：学习以前没有学到的内容

以自监督对比学习为基础，提出了一种新颖的多阶段对比学习框架 (MCL)，旨在解决特征抑制问题，从而学习到更全面的表示，并能够提升各种下游任务的性能。

Feb, 2024

公平表征的对比学习

本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

Sep, 2021

对比学习中学习了哪些特征？简单偏置在类崩溃和特征抑制中的作用

本文提供了第一个统一的理论框架，旨在确定对比学习 (CL) 学习了哪些特征。我们的分析表明，(随机) 梯度下降向查找更简单解决方案的偏见是导致子类表示崩溃和抑制更难的类相关特征的关键因素。此外，我们提出了增加嵌入维度和提高数据增强质量作为两个理论动机解决 {特征抑制}。我们还首次理论解释了为什么同时使用监督和无监督 CL 会产生更高质量的表示，即使用常用的随机梯度方法。

May, 2023

通过逐标识位判别性特征抑制正则化神经网络训练

本文提出一种基于对抗训练框架的 Adversarial Suppression of Identity Features (ASIF) 方法，通过抑制网络对特定实例的过拟合，提高网络针对小数据集或嘈杂标签的泛化能力。

Sep, 2022