本论文研究了深度神经网络中神经元的广泛性与特定性，发现转移特征会受到特化高层神经元和合作适应神经元之间优化困难性的限制，转移特征的适用性随着目标任务与基础任务的差距而降低，但即使从远任务中转移特征，也比使用随机特征好，从几乎任意数量的层中初始化网络都可以提高广义化的效果，即使经过微调后能够持续。

Nov, 2014

本文研究卷积神经网络的迁移学习，在多个视觉识别任务上通过优化训练参数和特征提取参数达到了显著提高。同时提出了根据任务与源任务的距离将视觉识别任务进行分类的方法。

Jun, 2014

通过对块状图像的转换，本文分析了迁移学习的不同作用，提供了新的工具和分析方法，并阐述了模型在相同损失空间下的相似之处。

Aug, 2020

本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。

Oct, 2020

本文提出了一种新的深度自适应网络 (DAN) 结构，它将多个领域的分布嵌入到再生核 Hilbert 空间中，并应用最优多核选择方法以匹配均值嵌入。DAN 能够学习具有统计保证的可传递特征，并通过核嵌入的无偏估计来实现线性扩展。实验证据表明，所提出的架构在标准领域自适应基准数据集上获得了最先进的图像分类误差率。

Feb, 2015

本文介绍深度学习中的迁移学习，包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。

Jan, 2022

本文研究转移学习中的表示变化，并发现在少样本学习中，在转移学习的早期层次中进行表示变化是有益的，特别是在跨域适应的情况下。同时，我们发现在转移学习的预训练和微调过程中，预训练结构如果不能使用，则不能被学习。

Jul, 2022

研究表明，在预先训练的神经网络中，一个给定层中的许多神经元之间存在一定程度的冗余，因此可能不需要整个层来执行下游任务，这为提高下游任务的效率和减少数据成本提供了可能。

May, 2023

比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

May, 2018

本文通过研究发现，针对新领域的迁移学习中，对于只有有限数据的情况下，通过对抗训练的模型相对于非对抗训练的模型具有更好的迁移性能。同时，对抗训练可以使学习到的表示偏向于保留形状而不是纹理，这影响了源模型的可迁移性，并且使用影响函数的方法发现迁移的对抗训练模型包含更多的人类可识别的语义信息，这至少部分解释了为什么对抗训练模型更实用。

Jul, 2020