ACLMay, 2022

使用多任务学习还是中间微调进行预训练编码器转移学习的决策

PDF
TL;DR本文研究比较了三种自然语言处理中的迁移学习方法，即 STILTs、MTL 以及 MTL-ALL 的表现。结果显示，MTL-ALL 的性能不如其他两种方法，而在目标任务比较少的情况下，性能较好的是采用 pairwise MTL 方法。
transfer learningnatural language processingsupervised datasetsmulti-task learningglue dataset
发现论文，激发创造
  • 有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

    通过使用新的 Transformer 架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他 BERT Large 方法在 GLUE 上相比，我们的八任务模型超过了其他 Adapter 方法 2.8％，而我们的 24 任务模型在使用 MTL 和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在 26 个 NLP 任务中竞争，并在一些测试和开发集上取得了最先进的结果。

    Sep, 2020

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 多任务序列到序列学习

    本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

    Nov, 2015

  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 序列标注的多任务学习：实证研究

    通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

    Aug, 2018

  • 自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

    机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。

    Aug, 2023

  • 重思和改进端到端语音翻译的多任务学习

    通过应用多任务学习，已经在端到端语音翻译中取得了显著的改进。本文研究了不同任务之间的一致性，并提出了一种改进的多任务学习方法，通过缓解长度和表征的差异来弥合模态间的差距。实验证明我们的方法达到了最先进的结果。此外，当使用额外的数据时，我们在 MuST-C 英语到西班牙语任务上以当前最先进方法所需的 20.8% 的训练时间取得了新的最先进结果。

    Nov, 2023

  • 针对基于预训练 Transformer 的多任务主动学习

    本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

    Aug, 2022

  • 选择哪些高效的中间任务进行预训练？

    通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

    Apr, 2021