本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

Feb, 2022

提出了一种名为 Contrast to Divide (C2D) 的简单框架，使用自我监督的预训练来解决标签噪声的问题，并改善特征提取质量。实验结果表明，与现有方法相比，在高噪声环境下，C2D 对 CIFAR-100 提高了超过 27%，在现实噪声环境下，C2D 的性能优于之前的方法。

Mar, 2021

本文提出 Self-Damaging Contrastive Learning (SDCLR) 的概念，通过一个动态的自我竞争模型来平衡长尾数据的表示学习，以实现对无监督训练的快速部署。

Jun, 2021

本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

Jun, 2021

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

May, 2024

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

Oct, 2020