本文研究使用参数转移方法进行转移学习问题，介绍了基于参数特征映射的局部稳定性和参数转移可学习性，并推导了参数转移算法的学习界限。作为参数转移学习的应用，讨论了自学习中稀疏编码的性能，并提供了自学习的第一个理论学习界限。

Oct, 2016

本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

Oct, 2021

研究表明，在模型选择中，转移距离是一个新的复杂度项，但在分类中，自适应速率可能会非常缓慢，而需有关距离的知识的 oracle 速率则可以达到更快的速度。

Apr, 2023

通过参数的视角，本文以敏感性为基础的技术来提取和对齐不同规模的大型语言模型之间的知识特定参数，并且使用 LoRA 模块作为注入提取的知识到较小模型的中间机制，通过四个基准测试验证了我们提出的方法的有效性，突出强调了影响参数化知识传递过程的重要因素，凸显了模型参数在不同规模的大型语言模型之间的可转移性。

Oct, 2023

我们提出了一种迁移学习方法，通过限制异质领域中生成的特征的分布偏移，捕获与下游任务相关的域不变特征，从而培养出一个统一的域不变编码器，以达到更好的特征表示。在处理有限数据量时，我们提出的模型胜过竞争基线方法，并具有更高的训练收敛率，从而提供了更准确的对新兴大流行病和其他疾病的预测。

Oct, 2023

本文研究了一种更为现实和具有挑战性的转移学习设置，其中源任务和目标任务在时间上不断变化，我们提出了一个基于元学习的通用框架 L2E，它能够有效地在动态任务之间传递知识、快速适应新目标任务、减轻历史目标任务的灾难性遗忘，并且可灵活地结合任何现有的静态转移学习算法，验证实验表明该框架的有效性。

Jul, 2022

本研究系统地探讨了在预训练语言模型（Pre-trained Language Models）规模扩大或转移方法改变时，检测样本分布变化的能力如何随之改变，着重评估了各种 PETL 技术在三个不同意图分类任务上的效果。

Jan, 2023

本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

Apr, 2023

我们引入了一种名为通用度量学习（UML）的新型度量学习范式，它能够学习到能够捕捉多个数据分布关系的统一距离度量。通过使用预训练模型和两个额外的模块，即随机适配器和提示池，我们提出了一种名为参数高效通用度量学习（PUMA）的方法来解决不平衡数据分布和对主导分布的偏见等新挑战。此外，我们还编译了一个包含 8 个不同数据集的新通用度量学习基准。相较于特定数据集模型，PUMA 在使用大约 69 倍较少的可训练参数的情况下表现更好。

Sep, 2023

本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

Sep, 2019