本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Feb, 2021

通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

Nov, 2023

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022

逆变学习作为无监督视觉表示学习中最成功的方法之一，依赖于大量的手动数据增强。然而，本文研究发现由扩散模型生成的数据有时会对对比学习产生负面影响，并提出了一种数据为中心的策略，即自适应扩增 (AdaInf)，无需额外的计算成本，可在各种对比学习方法上取得显著的改进。

Mar, 2024

推理，尤其是归纳过程中产生的推理，是我们通过补充发言者隐含或明示传达的信息来进行对话的重要组成部分。然而，尽管最近的大型语言模型在推理任务方面取得了显著进展，但它们在归纳推理（不是所有信息都在上下文中出现）方面的表现远远落后于演绎推理。在本文中，我们通过基于语义信息差异定义的任务难度来分析模型的行为，从而区分归纳和演绎推理（Johnson-Laird，1988 年，1993 年）。我们的分析揭示了对话背景和所需推理之间信息差异的显著挑战，缓解这种信息差，我们研究了一种对比学习的方法，通过提供负样本进行训练。我们的实验表明，负样本有助于模型理解错误之处并改善推理生成。

Oct, 2023

本研究研究了时间序列的情况，特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外，我们给出了解决这个任务的样本复杂度界限，并定量表征了对比损失值对学习核分布密切性的影响。作为副产品，我们阐明了对比分布的恰当设置，以及在这个设置中的其他超参数。

Mar, 2021

本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。

Aug, 2020

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020