通过对几个医学图像基准数据集的一系列实验，我们探讨了迁移学习、数据大小、模型能力和归纳偏差以及源域与目标域之间的距离之间的关系，并发现特征重用在其中扮演着重要的角色。

Mar, 2022

本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。

Nov, 2022

本文介绍深度学习中的迁移学习，包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。

Jan, 2022

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020

本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

May, 2019

本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

Nov, 2018

该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。

Sep, 2019

本文通过对多种不同的图像领域和任务类型进行超过 2000 个转移学习实验，并系统地分析其对转移学习性能的影响，得出了以下几点结论：（1）对于大多数任务，存在一种源任务显著优于 ILSVRC'12 预训练；（2）图像领域是实现积极转移的最重要因素；（3）源数据集应包括目标数据集的图像领域以获得最佳结果；（4）同时，当源任务的图像领域比目标任务的图像领域范围更广时，我们观察到的负面影响很小；（5）跨任务类型的转移可能会有益，但其成功与源任务和目标任务类型密切相关。

Mar, 2021

本研究研究了多域学习中的迁移学习，提出了新的度量标准，建立了实验协议，并研究了网络容量、任务分组和动态损失加权在减少干扰和促进知识迁移方面的作用。

Jul, 2021

本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022