本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

Jan, 2023

大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。

Mar, 2022

通过使用非标记的合成孔径雷达（SAR）数据，预先训练自监督学习模型（ViT-based DINO 模型）并对其进行微调以预测高分辨率土地覆盖地图，本研究重点探究了 Self-Distillation with No Labels（DINO）算法的特征以及其在合成孔径雷达成像领域的应用，通过对 ViT 背骨网络生成的注意力图与模型的标记嵌入空间进行比较和评估，我们观察到与从头开始训练相比，预训练模型性能略有提升，并讨论了自监督学习在遥感和土地覆盖分割中的局限性和机会，除了微小的性能提高外，我们展示了 ViT 的注意力图在遥感领域具有重要的内在价值，并可能为其他算法提供有用的输入。因此，我们的工作为地球观测提供了更大更好的自监督学习模型的基础。

Oct, 2023

本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

Apr, 2021

通过自监督学习和迁移学习在治疗性视网膜病分类中评估了四个预训练的自监督学习模型和两个迁移学习模型，使用小规模的光学相干断层扫描（OCT）图像，结果表明自监督学习模型在平衡和不平衡的训练情景下表现出卓越性能，并显示 MoCo-v2 方案的自监督学习模型在不平衡情景下具有一致的出色表现。

Apr, 2024

本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

Dec, 2016

本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

Jun, 2022

Odin 是一种自我监督学习范式，通过耦合对象发现和表征网络来自主发现有意义的图像分割，而无需人工干预，可实现 COCO 目标检测、实例分割及 PASCAL、Cityscapes 的语义分割等领域的迁移学习效果，并在 DAVIS 视频分割方面超越监督预训练的方法。

Mar, 2022

本研究探讨自监督预训练变换器相对于有监督预训练变换器和传统神经网络（ConvNets）在检测各种类型的深度伪造方面的有效性，重点关注其在数据有限的情况下改进泛化能力的潜力。通过使用适度的训练数据并实施部分微调，在利用自监督学习和变换器进行深度伪造检测时，我们观察到了与传统方法可比拟的适应性和通过注意机制实现的自然可解释性，且同时需要较少的计算资源。

May, 2024

本文探究了使用 Transformer 进行联合嵌入和聚类的一种方法，即两级特征聚类自监督学习（FLSL），该方法在密集预测任务中取得了显著的改进，包括目标检测和实例分割，实验表明 FLSL 方法在各项测试中始终表现优异。

Jun, 2023