SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。
Feb, 2020
本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.
Jun, 2020
本文提出了一种基于白化的不对称自我监督学习方法，避免了因过多反例图像和样本崩溃导致学习陷入困境，使得从同一图像实例中提取多个正样本对预测有利。
Jul, 2020
本文提出了一种自监督学习的框架，通过针对颜色和纹理设计的三个自监督任务，实现了不使用标签的颜色和纹理感知特征学习，并在多个数据集上取得了较好的性能。
Aug, 2020
本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。
该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体-对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。
Mar, 2021
本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除500k张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。
May, 2021
本文旨在解决时尚电商领域的一个重要问题：颜色变体识别。通过使用深度视觉表示学习和自我监督学习技术，提出了一个通用框架来解决这个问题。研究结果表明，训练模型对颜色不变性（无论是否受监督）能够实现时尚产品中基于风格（样式）的识别，而不仅仅是颜色变化的识别。
Dec, 2021
本文提出了一种基于对比学习的新的损失函数TCL，该函数能够推广到批处理的多个正负样本，同时提供了参数来调整梯度响应，优化了难例的响应，理论和实验都证明了它的效果优于SupCon
May, 2023
本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。通过在ImageNet-1k上进行线性分类测试，实证结果表明我们的方法在公平比较下实现了最先进的性能。在ImageNet-100上，相对于原始性能，top1 最多提高了1.25％。我们认为该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。
Nov, 2023