本文介绍了一种新架构MTI-Net，它能够显式地模拟每个尺度的任务交互，并通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度，并通过特征聚合单元汇总所有尺度的任务特征以产生最终的任务预测。该架构通过两个多任务密集标记数据集上的广泛实验证明，相比以前的工作，我们的多任务模型实现了多任务学习的全部潜力，即较小的内存占用，减少计算次数，并与单任务学习相比表现更好。

Jan, 2020

本文提出了一种名为HyperGrid的新型多任务学习方法，其基于一个可分解的超网络，通过学习全局（任务无关）状态和本地（任务特异性）状态之间的相互作用和组成来将加权矩阵的不同部分专门用于不同的任务。实验结果表明，使用这种方法可以在GLUE和SuperGLUE基准测试中实现T5模型的强大性能。

Jul, 2020

本文研究了如何将句子级transformer修改为在没有任何直接监督的情况下有效的序列标记，我们发现一个软性注意模块可以明显优于现有方法，使得能够更好地在标记级别提高性能。

Mar, 2021

本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的GLUE基准测试中实现了多任务学习的改进性能。

Jun, 2021

本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

Mar, 2022

该研究调查了针对NLP的输入条件化超网络用于多任务处理，生成一个基于编码器的输出条件化超网络对解码器的参数高效自适应。该方法应用于序列分类任务、问答和摘要等方面，发现这优于以前的参数优化和基于模型微调的方法。

Mar, 2022

本文提出 Hyper-X 模型，它将多任务和多语言学习相结合，并通过适应性生成适配器模块的权重，通过学习结合任务和语言特定的知识，实现对未出现的语言和任务-语言组合的零样本迁移，并在新语言的少样本情况下始终产生强大的结果。

May, 2022

本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

Feb, 2023

通过简单的扩展使源任务的输出表示线性缩放，我们的研究提出了一种简单而高效的两阶段多任务学习方法ScaLearn，其利用源任务的知识只学习了一小部分扩展参数，通过实验证明，在保持强大能力的同时，大大减少了传递参数，展现了简单扩展作为更高效任务传递的潜力。

Oct, 2023

基于Protoype的HyperAdapter（PHA）是一个建立在adapter-tuning和超网络的新框架，它采用实例密集检索器和原型超网络以更有效地生成条件模块，从而在多任务学习和少样本迁移学习中与现有的参数有效微调（PEFT）方法相比具有可比较的性能改进，并在数据规模较小时，与其他强基准相比，取得了显著的优势。基于对各种数据集的大量实证实验，我们证明PHA在可训练参数、模型精度和样本效率之间取得了更好的平衡。

Oct, 2023