本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

通过模型迁移技术，使用支撑向量机算法并基于模型相似性，自动确定可用的多个数据源，以提高序列标注任务的性能，可以提高高达 24 个 F1 分数点。

Apr, 2021

通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

Apr, 2021

本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。

Mar, 2023

本研究旨在阐明多任务表示学习中任务规模和相关性的影响。研究表明，如果预先知道目标任务，则在较小的一组相关任务上进行训练在降低计算成本的同时也能与大规模多任务训练相竞争。

Apr, 2022

本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

Feb, 2023

本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

Mar, 2022

本文提出了一种基于多任务数据池的语言模型训练方法，通过对少量未标记的目标任务实例进行最近邻匹配和筛选，以此选择有助于目标任务训练的数据，此方法在数据利用率、性能优化和基于少量训练样本下的效果提升方面表现良好。

Dec, 2022

本文分析了多任务学习的信息传递动态，并开发了可量化任务间信息转移的相似度度量方法，从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能，这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。

Oct, 2020

本文提出了一种基于主动学习技术的算法，用于估计每个源任务与目标任务的相关性并进行采样，以便更好地利用大数据源任务的力量并克服目标任务样本的稀缺性，并证明了在线性表示类上使用我们的算法可以在相同错误率下节省源任务采样复杂度。同时，作者通过实验结果显示了该方法在真实的计算机视觉数据集上的有效性。

Feb, 2022