SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

通过量化实验，我们发现了自监督学习方法的增益来源及其局限性，并且提出了一种利用非结构化视频学习表示以实现更高视点不变性的方法。

Jul, 2020

本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。

Nov, 2020

本文提出了基于像素级别前提任务来学习密集特征表示的方法，并使用此方法在目标检测和语义分割数据集上超越了目前最好的方法

Nov, 2020

NNCLR是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在ImageNet分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

Apr, 2021

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除500k张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

本研究提出了一种通过联合学习表示和分割来达到在特定场景（如COCO）上预训练模型和在Iconic图片（如ImageNet）上预训练模型之间的准确度缩小的框架，结果发现相对于之前的方法，在分类、检测和分割等下游任务中表现得更稳健。

Mar, 2022

本文提供一个综合性的比较不同无监督学习方法在图像特征表达方面的表现，使用线性评估、最近邻分类和聚类等多个基准测试来定量比较，分析了不同嵌入度量的均匀性、容忍性和中心内核对齐，并提出了两个新的度量。通过比较分析发现不能以单一流行的方法来代表整个领域的研究，在未来的工作中，应考虑如何利用这些方法的互补性。同时提供了一个统一的框架来定量数据增强不变性，并提醒不同任务需要的增强不变性类型各有差异。

Jun, 2022

本论文引入了LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如，在线性评估中，我们的方法在ImageNet-1K上比MoCo-v2提高了5.1％，在迁移学习任务中也超过了其他几种方法。

Mar, 2024

本研究提出了一种新颖的多粒度对比方法（MGC），通过构建细致的多粒度对应关系和对比学习，在不使用大规模数据集的情况下，显著优于现有的基准方法，在目标检测、实例分割、场景解析、语义分割和关键点检测等广泛下游任务中展现出数据高效性和优秀的表示迁移性能。

Jul, 2024