本研究表明，在计算机视觉中，使用自监督学习获得的特征，在域泛化方面与或优于使用监督学习获得的特征，并引入了一个新的自监督预文本任务来预测对 Gabor 滤波器组的响应，使用多任务学习提高了域泛化性能。

Mar, 2020

本研究证明了在无监督环境下，通过使用基于 PIRL 的预处理任务可以显著改善图像语义维度的质量，且该方法可以用于提取具有良好不变性质的图像信息（如对象检测）中。

Dec, 2019

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

本文提出一种创新的主动学习方法，利用自监督的预训练任务和独特的数据采样器，通过选择具有难度和代表性的数据来解决数据标注代价高的问题，并在各种图像分类和分割基准上取得了令人信服的性能。

Jan, 2022

本文提出一项新方案，即利用注意机制自适应地挑选适合任务的表示，同时在信息论的基础上理论证明从多个预训练任务聚集表示比从单一预训练任务获取表示更为有效，大量实验表明，该方案明显优于当前流行的预文本匹配方法，能有效地收集知识和减轻下游任务中的负转移。

Apr, 2022

自我监督学习方法可以通过使用多个预处理任务和混合专家架构作为门控网络，来改进图像分类，使模型能够自动学习和更关注对分类最有用的增强方法。在几个场景下进行测试，并使用 Grad-CAM 和 T-SNE 分析来识别影响图像分类的重要特征并适当地区分不同的类别。

Jul, 2023

自我监督学习是一种通过前馈未标记的数据来预先训练表示的策略，本文提出了一个新的自我监督目标函数 ReLIC，通过对预训练期间使用的代理分类器的显式不变性约束来更有效地利用数据增强，提高了泛化性能，实验表明 ReLIC 在图像分类和游戏领域都具有较好的表现。

Oct, 2020

本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

Oct, 2022

自我监督视觉表示学习中，通过预训练任务训练特征提取器，提出了使用 lens 网络来减少对抗攻击漏洞，通过对图片进行微小修改，最大限度地减少了自我监督学习中的 “捷径” 特征的影响。

Feb, 2020

视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

Jun, 2024