本文提出了跨域 few-shot 学习的 Broader Study of Cross-Domain Few-Shot Learning （BSCD-FSL）基准，并对该基准的广泛实验表明了目前最先进的元学习方法被早期的元学习方法意外地超越，同时发现所有方法的准确性倾向于与数据集的相似性相关，这验证了该基准的价值，可指导未来的研究方向。

Dec, 2019

本文通过对多种不同的图像领域和任务类型进行超过 2000 个转移学习实验，并系统地分析其对转移学习性能的影响，得出了以下几点结论：（1）对于大多数任务，存在一种源任务显著优于 ILSVRC'12 预训练；（2）图像领域是实现积极转移的最重要因素；（3）源数据集应包括目标数据集的图像领域以获得最佳结果；（4）同时，当源任务的图像领域比目标任务的图像领域范围更广时，我们观察到的负面影响很小；（5）跨任务类型的转移可能会有益，但其成功与源任务和目标任务类型密切相关。

Mar, 2021

利用预训练的跨域远程监督来降低过拟合，使用锚定策略以鼓励不同程度的真实感，实现源域和目标域之间的自动对应和生成更多样化和逼真的图像的少样本学习模型。

Apr, 2021

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

本文提出了一种面向 Few-Shot 自监督对比学习的域自适应方法 Few-Max，旨在解决在目标分布下自适应问题。使用各种来源和目标数据集对 Few-Max 进行了评估，证明其在表示质量方面始终优于其他方法。

Jun, 2022

使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

Jun, 2022

本文针对存在部分数据标记时的无监督域自适应问题提出了一种新方法，即交叉领域自监督学习方法，它能够有效地学习既具有领域不变性又具有类别判别性的特征表示，它通过自监督学习和跨领域特征匹配实现跨域知识转移，并在三个标准基准数据集上实现了显著的性能提升。

Mar, 2020

本文研究了现代视觉系统的表现下降原因：监督学习时神经网络模型表示出现了监督崩溃现象，即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题：一是利用自监视学习以鼓励更通用的特征，二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers，可以用少量标记图像和无标记查询项，找到查询项与标记图像之间的粗略空间对应关系，从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器，证明了在 Meta-Dataset 上的最新成果。

Jul, 2020

面对与训练领域不同的图像时，少样本分割性能大幅下降，这限制了其在现实世界的应用。本研究通过在传统的分类预训练骨干网络的特征金字塔中附加小型网络实现测试时任务自适应，避免过拟合到有监督微调中的少量标记样本，同时在不使用测试时的其他图像的限制下，在交叉领域少样本分割中取得了新的最先进性能，证明了在这个任务中重新思考方法的必要性。

Feb, 2024

通过对自监督学习在卫星图像等各个领域的实验发现，旋转任务是语义最具意义的，而 Jigsaw 和 Instance Discrimination 的性能很大程度上归因于它们诱导分布的特性，但在细粒度分类等任务上所有任务的表现均不佳，这些成功和失败的原因通过对预训练泛化、随机标签和隐含维度的研究进行了定量和定性的诊断。

Apr, 2020