本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

Feb, 2019

本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

Sep, 2023

通过引入一种新的基于主题向量集合的对比学习方法，并将其明确地作为基于梯度的多目标优化问题，本研究旨在实现一个平衡 ELBO 和对比目标之间的权衡的帕累托稳定解，广泛的实验证明我们的框架在主题连贯性、主题多样性和下游性能方面始终产生更高性能的神经主题模型。

Feb, 2024

通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

Nov, 2023

本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

Sep, 2021

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

Mar, 2022

本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

Sep, 2021

本研究研究了时间序列的情况，特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外，我们给出了解决这个任务的样本复杂度界限，并定量表征了对比损失值对学习核分布密切性的影响。作为副产品，我们阐明了对比分布的恰当设置，以及在这个设置中的其他超参数。

Mar, 2021