有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

ICLRSep, 2020

有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data

Jonathan Pilault, Amine Elhattami, Christopher Pal

TL;DR通过使用新的 Transformer 架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他 BERT Large 方法在 GLUE 上相比，我们的八任务模型超过了其他 Adapter 方法 2.8％，而我们的 24 任务模型在使用 MTL 和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在 26 个 NLP 任务中竞争，并在一些测试和开发集上取得了最先进的结果。

Abstract

multi-task learning (MTL) networks have emerged as a promising method for transferring learned knowledge across different tasks. However, MTL must deal with challenges such as: overfitting to low resource tasks, catastrophic forgetting, and negative task transfer, or learning interfere

multi-task learning transformer architecture conditional attention mechanism task-conditioned modules data imbalance

发现论文，激发创造

NLP 的参数高效迁移学习

通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

Feb, 2019

共享超网络的 Transformer 多任务微调的参数高效方法

本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

Jun, 2021

使用任务适配器混合来提升小型语言模型的多任务学习能力

ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

Sep, 2023

使用多任务学习还是中间微调进行预训练编码器转移学习的决策

本文研究比较了三种自然语言处理中的迁移学习方法，即 STILTs、MTL 以及 MTL-ALL 的表现。结果显示，MTL-ALL 的性能不如其他两种方法，而在目标任务比较少的情况下，性能较好的是采用 pairwise MTL 方法。

May, 2022

自然语言处理中的多任务学习：概述

本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

Sep, 2021

VMT-Adapter: 多任务强化学习的参数高效迁移学习

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。

Aug, 2023

2020 年代自然语言处理的多任务学习：我们将走向何方？

本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

Jul, 2020

ScaLearn: 通过学习缩放实现简单且高效率的任务迁移

通过简单的扩展使源任务的输出表示线性缩放，我们的研究提出了一种简单而高效的两阶段多任务学习方法 ScaLearn，其利用源任务的知识只学习了一小部分扩展参数，通过实验证明，在保持强大能力的同时，大大减少了传递参数，展现了简单扩展作为更高效任务传递的潜力。

Oct, 2023

神经机器翻译的简单可扩展自适应性

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019