自监督野外视觉特征预训练
通过自监督学习方法，针对各种来源、无需数据预处理的数十亿张随机图片进行训练，生成可以识别物体、风格、地理位置等信息的模型，并对其公平性、偏差等进行了多角度验证，证明其表现优异、不会对数据进行歧视和危害。
Feb, 2022
本研究提出了一种新的无监督学习方法，利用自监督和聚类从大规模数据中捕获互补统计信息，通过对 YFCC100M 中 9600 万张图片的验证，本方法已经成为标准基准测试中无监督方法中最先进的方法之一，也展示了使用本方法预训练的 VGG-16 在 ImageNet 验证集上可以获得 74.9 % 的分类精度，比同一网络从头开始训练提高了 0.8%。
May, 2019
本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。
Apr, 2023
本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。
Jun, 2020
本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。
Nov, 2020
本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。
May, 2017
本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。
Mar, 2021
本文探讨了自监督学习的可扩展性，并在大规模数据集上评估了两种流行的自监督学习方法，并发现当前自监督学习方法没有充分利用大规模数据，且无法学习到有效的高层语义表示。同时，介绍了 9 个不同数据集和任务的自监督学习基准测试，必要时开展可比较的评估设置，以实现具有意义的进展。
May, 2019
该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。
Jan, 2019