SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

本篇论文提供了Contrastive Learning的文献综述，并提出了一个通用的Contrastive Representation Learning框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

本文通过研究在12个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵/监督对比损失的联合目标可增强这些模型的可迁移性。

Mar, 2021

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除500k张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

本文研究自监督学习在大规模数据集上的应用，提出了一种基于对比学习与聚类的硬负样本挖掘方法（DnC），在 less-curated 数据集上的预训练，可以显著提高自监督学习在后续任务上的表现效果，并与目前在高度筛选数据集上的最新水平保持竞争力。

May, 2021

该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在NLP和视觉领域中的作用和效果。

Jun, 2021

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功, 需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022

通过使用大规模Transformer架构的生成式人工智能模型，本研究调查了是否能可靠地命名简单视觉刺激中的物体数量或生成包含1-10范围内目标数量物体的图像。令人惊讶的是，所有考虑的基础模型都没有以人类的方式表现出来：即使在小数量下也会出现明显错误，响应的变异性通常没有按系统方式增加，错误的模式也随物体类别而变化。我们的研究结果表明，高级人工智能系统仍然缺乏支持直观理解数字的基本能力，这对人类的数字能力和数学发展至关重要。

Jan, 2024

本研究探讨对比学习（CL）在抽象实体应用中的潜力，尤其是自然数这一半抽象概念。研究表明，CL在处理训练和测试分布不同时，比监督学习（SL）具有更强的鲁棒性和更好的错误性能。通过实验，可以高精度推测离散数量，显示了CL在抽象概念学习中的实际应用价值。

Aug, 2024