视觉表示对比学习的简单框架
本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。
Aug, 2020
本篇论文提供了Contrastive Learning的文献综述，并提出了一个通用的Contrastive Representation Learning框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。
Oct, 2020
本文通过研究在12个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵/监督对比损失的联合目标可增强这些模型的可迁移性。
Mar, 2021
本文提出对比重构（ConRec）算法，它通过联合优化对比和自重构损失获得图像表示，并添加了一个自重构任务和一个在对比学习任务中的注意机制以改进捕捉图像的细粒度视觉特征，证明该算法在捕捉细粒度视觉特征方面优于SimCLR。
Apr, 2021
NNCLR是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在ImageNet分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。
Apr, 2021
本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除500k张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。
May, 2021
对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。
Oct, 2021
在计算机视觉中，自监督对比学习通过使同一图像的不同视图具有类似的表示来实现。我们提出了SAMCLR，它是SimCLR的一个附加部分，使用SAM将图像分割成语义区域，然后从同一区域采样两个视图。初步结果表明，在Cityscapes和ADE20K上进行预训练，然后在CIFAR-10、STL10和ImageNette上进行分类评估时，SAMCLR不仅与SimCLR、DINO和MoCo相当，而且往往明显优于它们。
Oct, 2023
本论文引入了LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如，在线性评估中，我们的方法在ImageNet-1K上比MoCo-v2提高了5.1％，在迁移学习任务中也超过了其他几种方法。
Mar, 2024