本文提出一种针对使用标准微调的神经迁移学习在特定于目标域的模式学习方面存在限制的问题的解决方案，即向预训练模型中引入归一化、加权和随机初始化的单元，以更好地适应目标域。实验证明，该方法在自然语言处理中的四项任务中表现出显著的改进。

Jun, 2021

本文提出了一种新的多源传递学习方法，它结合了源目标相似性和不同可靠性源之间的关系，并提出了一个综合的主动传递学习框架，包括分布匹配和不确定性采样，在合成和真实数据集上进行了广泛的实验，表明其在多项基准测试中优于其他现有模型。

Jul, 2018

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

Jul, 2016

通过模型迁移技术，使用支撑向量机算法并基于模型相似性，自动确定可用的多个数据源，以提高序列标注任务的性能，可以提高高达 24 个 F1 分数点。

Apr, 2021

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

本文研究了神经网络在序列标注任务上的最优表现及其通用性，接着讨论了序列标注中的迁移学习问题，并验证了将源任务应用于目标任务可以大幅提高性能，从而超越了多个经典任务的最优表现。

Mar, 2017

该研究提出了一种跨不同领域和任务学习可转移表示的框架，借助度量学习的方法为新任务和领域泛化嵌入，通过对抗损失解决了域偏移问题，在标记源数据和目标域中的未标记或稀疏标记的数据上进行同时优化。该方法在只有每类很少标记实例的情况下，对新领域内的新类提供了令人信服的结果，优于现有的微调方法，并证明了该框架在从图像对象识别到视频动作识别的转移学习任务中的有效性。

Nov, 2017

利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

Oct, 2018

本文探讨了深度神经网络和卷积神经网络在迁移学习中的运用，通过实验结果总结了成功迁移学习的要点和常见误区，并对超参数进行了探究。

Jan, 2018