本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

本文总结了最近自监督和有监督对比 NLP 预训练方法，并描述了它们在提高语言建模、零样本学习、预训练数据效率和特定 NLP 终端任务方面的应用。文章介绍了关键的对比学习概念，总结了应用和交叉领域关系的结果。最后，我们指出了对比 NLP 的未来挑战和方向，以鼓励将对比 NLP 预训练推向近期在图像表示预训练中的成功。

Feb, 2021

本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

Feb, 2019

通过比较对比句子嵌入方法中的标准基准 SimCSE 与计算机视觉社区中被称为维度对比的自监督损失函数和方法，我们发现使用维度对比目标训练的自监督嵌入能够在下游任务中胜过 SimCSE 而无需辅助损失函数。

Oct, 2023

本文提出了一种称为 ESCL 的方法，该方法通过等变学习任务鼓励学习到的表示对某些类型的转换敏感，从而利用敏感的变换，以改善语义文本相似度任务的对比学习，并且通过在多任务学习的角度上共享模型参数来简化算法实现。最终的结果表明，该方法与以前的方法相比在使用更少的学习参数的情况下可以获得更好的结果。

Mar, 2023

本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

Jan, 2022

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022

本文介绍了 SupCL-Seq，这是一种扩展了计算机视觉中的监督对比学习方法，应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率，在每个表示（锚）上生成增强的变形视图，并使用监督对比损失来最大化系统将相似样本（例如，锚和它们的变形视图）拉拢在一起并将属于其它类别的样本推开的能力。相较于标准 BERTbase 模型，在 GLUE 基准测试中的许多序列分类任务中取得了显著提升，包括 CoLA 上的 6％、MRPC 上的 5.4％、RTE 上的 4.7％和 STSB 上的 2.6％，特别是在非语义任务中，相对于自监督对比学习表示也表现出了一致增长。最后，我们展示了这些增益并不仅仅是由于数据增广，而是由于下游优化的序列表示。

Sep, 2021

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020