SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

May, 2020

本篇论文提供了Contrastive Learning的文献综述，并提出了一个通用的Contrastive Representation Learning框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。

Oct, 2020

本文通过研究在12个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵/监督对比损失的联合目标可增强这些模型的可迁移性。

Mar, 2021

该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体-对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。

Mar, 2021

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除500k张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功, 需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

本文介绍了一种利用对比学习中数据增强的方法来解决多个数据增强方法所带来的问题，该方法在不同深度上对不同的数据增强实现学习以及扩展对比内容以减少过多的数据增强对于下游任务带来的负面影响，通过实验证明了该方法可以有效学习与多个基准测试相关的更好的表示。

Jun, 2022

本文探讨了施加对比方法与协方差为基础的非对比方法的理论相似性，说明在合理的假设下它们是等效的。作者介绍了一些改进和变化，证明了这种理论结果，提出了更好的网络设计和超参数调整，可以让不同的SOTA方法更好地融合，以建立更好的自监督学习方法。

Jun, 2022