使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

Jun, 2022

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

Apr, 2021

本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

Oct, 2015

本文分析了使用三种大型语言模型 BERT、RoBERTa 和 XLNet 在文本分类、情感分析、句子相似度三个自然语言处理任务上进行领域内和跨语言适应的迁移学习，并发现大多数任务直接进行微调而不进行中间任务训练可以获得更好的性能，而更广义的任务可能需要先进行中间任务训练。该工作有望成为 NLP 实践者进行迁移学习的指南。

Oct, 2022

本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022

本文通过对多种不同的图像领域和任务类型进行超过 2000 个转移学习实验，并系统地分析其对转移学习性能的影响，得出了以下几点结论：（1）对于大多数任务，存在一种源任务显著优于 ILSVRC'12 预训练；（2）图像领域是实现积极转移的最重要因素；（3）源数据集应包括目标数据集的图像领域以获得最佳结果；（4）同时，当源任务的图像领域比目标任务的图像领域范围更广时，我们观察到的负面影响很小；（5）跨任务类型的转移可能会有益，但其成功与源任务和目标任务类型密切相关。

Mar, 2021

该论文提出了一种新的方法，将迁移学习视为学习聚类的问题，通过相似性信息的迁移学习和聚类网络的学习，实现了跨领域和跨任务的转移学习。作者使用了相似性网络和两种新方法来探究无监督域自适应和跨任务学习，并在该领域展现了最新成果，将其与其他算法进行比较。同时，该方法可以应用于不同的数据集，从而增加了灵活性和稳健性，并通过进一步与域适应法相结合，获得了更好的性能。

Nov, 2017

本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

Oct, 2022

本文提出了一种名为 DistillNearest 和 DistillWeighted 的多源蒸馏方法，通过利用任务相似度度量来选择单个合适的源模型以及加权多源蒸馏方法，解决了在资源受限制的情况下，通过有限标签获取高效而准确识别系统的问题。通过实验验证表明，这两种方法在准确性、计算效率等方面优于传统的迁移学习和半监督学习方法。

Apr, 2023