本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。
Oct, 2020
本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。
Aug, 2020
本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。
May, 2022
本文介绍了在图形数据上进行自监督学习的方法，并将其分为对比、生成和预测三种类型，同时对常用数据集、指标、算法进行了总结，并讨论了未来研究方向。
May, 2021
本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。
Jun, 2022
介绍了自监督学习的基本概念、方法和应用，探讨了自监督学习在不同数据模态下的表现，包括图像、视频、音频和文本，并讨论了其实用性和存在的问题。
Oct, 2021
本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。
Jun, 2020
计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。
May, 2024
该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。
Jan, 2019
无监督学习下的意义化特征表示方法综述及实验结果分析。
Aug, 2023