连接延后：利用有针对性的数据增强提升微调鲁棒性
通过将辅助信息作为输入特征来提高数据内误差，再通过将其作为辅助预训练任务的输出值来提高数据外误差，提出了一种 In-N-Out 方法，该方法既可以用于伪标注所有数据内数据，也可以用于在数据内和数据外错误方面优于仅使用输入或输出辅助信息。
Dec, 2020
使用自监督学习的方式学习天文学中的巨大数据源，通过图像表示的学习，可以在不需要过多标记的情况下获得与使用有监督学习方法获得的结果相当甚至更好的效果，可能可以有效减少标记数量。
Dec, 2020
本文提出了一种使用自我监督预培训、对模型进行增强、降低标注数据数量的方法，使得在野生动物保护中，基于深度学习的动物普查模型能够在少量的标注数据下也能够获得高精度预测结果。
Aug, 2021
本文利用BYOL框架进行星系图像数据标签预处理任务，在使用GZ-Evo v0.1中，暴露相应的特征，通过深层学习和对比学习进行星系图像分类预测，在低标签迁移领域，我们的预处理/对比方法最大限度地提高了下游的精度(+6%)。
Jun, 2022
该论文重新审视了在视觉识别任务中使用的标准预训练-微调范式，通过使用自监督MAE技术实现额外的预先训练阶段来初始化模型。该方法不仅可以扩展模型大小，还可以扩展训练数据集的规模，从而提高了基础模型的训练效率以及各种视觉识别任务的性能并取得了新的最优结果。
Mar, 2023
基于深度学习的Prithvi地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。
Oct, 2023
我们首次系统研究了在星系图像上监督扩展定律的问题。使用了840k个星系图像和超过1亿个由Galaxy Zoo志愿者注释的图像，与Imagenet-1K的规模相当。我们发现添加注释的星系图像可以在所有架构和所有任务上提高性能，而添加可训练参数仅对某些任务有效。我们比较了仅在ImageNet-12k上进行预训练和在我们的星系图像上额外进行预训练的模型的下游性能。在5个科学相关的下游任务上，我们实现了平均相对误差率降低31％的结果。我们的模型对标签的利用效率更高，而且通常实现了端到端微调的线性转移性能，与仅在ImageNet-12k上预训练的模型不同。我们发现仅通过扩展模型尺寸获得的额外下游效益相对较小，这意味着单纯的扩展不足以解决我们的领域差距问题，并建议具有定性不同的图像的从业者在领域内适应之后进行有针对性的下游分类。
Apr, 2024
该论文研究了在数据稀缺情景中，将预训练模型的权重转移用于辅助其他任务的重要性，特别是在深度学习领域中。通过对训练好的模型进行微调，可以有效改善对鸟类物种识别的性能。
Apr, 2024
利用未标记的地球观测数据创建多模态预训练数据集，通过多模态预训练任务，提出了改进的ConvNeXt V2架构的Multi-Pretext Masked Autoencoder (MP-MAE)方法，证明多模态预训练可以显著提高图像分类和语义分割的性能，以及标签和参数的效率。
May, 2024
通过使用ExPLoRA技术，在对卫星图像进行迁移学习时，只使用很少的参数数量，在无监督的预训练阶段只解冻1-2个预训练的ViT块和所有归一化层，然后通过LoRA微调所有其他层，最后只通过LoRA在新域上对模型进行微调，获得了基于先前完全训练和微调的ViTs的最先进结果。
Jun, 2024