该研究提出了一种自我监督学习方法，通过引入 “混合和匹配” 步骤来提高语义图像分割任务的性能，该方法无需更多的数据和标签，并且在很多方面与有监督的预训练方法可以媲美甚至超过其性能。

Dec, 2017

我们提出了一种新的数据高效的基于体素的自监督学习方法，克服了以往方法的局限性，该方法通过预训练克服了通过将事件序列转换为 2D 图像以利用预训练图像模型，或直接使用成对图像数据进行知识蒸馏以增强事件流学习的方法所带来的对时间信息的牺牲。我们的自监督学习方法不依赖于成对的 RGB 图像，且能够在多个尺度上同时探索空间和时间线索，展现出卓越的泛化性能，在各种任务中显著改善参数更少、计算成本更低。

Mar, 2024

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

Sep, 2022

本文提出了一种利用目标领域丰富的无标注数据改进已预训练的零样本分类器的无监督微调方法 Masked Unsupervised Self-Training（MUST）并在各种下游任务上证明了其有效性，包括在 ImageNet 上使用 ViT-B 的准确率高达 77.7％，比 CLIP 高 9.4％，比 16-shot CLIP 适应高 6.2％。

Jun, 2022

本文主要通过使用基于掩码图像建模的 MAE pre-training 方法，即 MAE-lite，来为轻量级 ViTs 的 pre-training 提供配方，并与其他 fully-supervised 和 self-supervised pre-training counterparts 进行对比，分析和表明了这种 pre-training 的影响，揭示了 pre-trained 模型的适当学习的底层在数据充足的下游任务中更为重要的作用，并开发了一个 distillation 策略来提高 pre-trained representations，从而实现更好的性能。

May, 2022

我们提出了两种自监督预训练方法，即 Ext-PIE-Net 和 MM-SimCLR，通过采用现成的多模态仇恨言论数据和多个专门的预设任务实现了自监督学习，为模因分析提供了必要的复杂多模态表示学习，通过标签有效训练，在所有三个任务中性能优于基线并证实了我们的方法的泛化性。

Sep, 2022

本文提出一种基于自监督预训练的医学图像分析深度学习训练策略，通过将不同扭曲应用于图像的随机区域，预测扭曲的类型和信息的损失，并使用改进的 Mask-RCNN 体系结构定位扭曲位置和恢复原始图像像素，将该方法用于分割任务，能够提高 Dice 分数 20%。

Jul, 2022

本文比较了三种自监督预训练模型和一个有监督的基线模型，在五个数据集上进行了皮肤病变的诊断。结果表明，自监督预训练模型可以在提高准确性和降低结果的变异性方面与有监督的基线模型相媲美，尤其在数据量少的情况下表现更加稳定和优秀。

Jun, 2021

本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

Apr, 2020