本文通过对多种不同的图像领域和任务类型进行超过 2000 个转移学习实验，并系统地分析其对转移学习性能的影响，得出了以下几点结论：（1）对于大多数任务，存在一种源任务显著优于 ILSVRC'12 预训练；（2）图像领域是实现积极转移的最重要因素；（3）源数据集应包括目标数据集的图像领域以获得最佳结果；（4）同时，当源任务的图像领域比目标任务的图像领域范围更广时，我们观察到的负面影响很小；（5）跨任务类型的转移可能会有益，但其成功与源任务和目标任务类型密切相关。

Mar, 2021

本研究关注最近在计算机视觉领域的早期领域转移学习方法，强调借助标记数据从不同域进行域适应以在目标域中提高数据分类准确度。

Nov, 2012

介绍了机器学习中领域自适应和转移学习的数据分布变化问题，分类模型的风险最小化框架及其在复杂变化中的应用，并讨论了多种方法来解决这些问题，但要实现实用化仍需解决许多问题。

Dec, 2018

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

该论文综述了迁移学习中的一个具有代表性的子领域 —— 领域自适应，介绍了基于不同统计学习框架的学习界限等方面的理论研究现状。

Apr, 2020

本综述对转移学习的 40 多个代表性方法进行了系统总结，从数据和模型的角度介绍了同质转移学习的机制和策略，并通过实验证明了在不同应用程序中选择适当的传输学习模型的重要性。

Nov, 2019

本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

Oct, 2015

通过对块状图像的转换，本文分析了迁移学习的不同作用，提供了新的工具和分析方法，并阐述了模型在相同损失空间下的相似之处。

Aug, 2020

本文探讨了针对不同目标任务使用专家表示进行转移学习的有效策略，并提出了一种基于适配器的体系结构，能够将多个专家压缩到单个模型中，并在不同数据源上评估其性能，证明其在超过 20 种不同的视觉任务上优于基线方法。

Sep, 2020