通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

Aug, 2020

本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

Mar, 2023

本文介绍了 SupCL-Seq，这是一种扩展了计算机视觉中的监督对比学习方法，应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率，在每个表示（锚）上生成增强的变形视图，并使用监督对比损失来最大化系统将相似样本（例如，锚和它们的变形视图）拉拢在一起并将属于其它类别的样本推开的能力。相较于标准 BERTbase 模型，在 GLUE 基准测试中的许多序列分类任务中取得了显著提升，包括 CoLA 上的 6％、MRPC 上的 5.4％、RTE 上的 4.7％和 STSB 上的 2.6％，特别是在非语义任务中，相对于自监督对比学习表示也表现出了一致增长。最后，我们展示了这些增益并不仅仅是由于数据增广，而是由于下游优化的序列表示。

Sep, 2021

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。

Apr, 2022

本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

研究了在弱监督下利用联合训练有监督和无监督对比损失来训练相似图，证明了半监督标签可以改善下游分类错误的绑定，而噪声标签的影响有限。

Jun, 2023

本文研究了自监督学习中对比度学习的效率问题，提出了截断三元组的损失函数以同时解决聚类不足和聚类过度问题，并在多个基准测试中表示其优越性。

Apr, 2021

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

Jul, 2022