Aug, 2023

自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

PDF
TL;DR机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。
natural language processingmachine learning systemsmulti-task learningtransformer-based mtl approachescontinual learning
发现论文，激发创造
  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 深度神经网络中识别有益的多任务学习任务关系

    本文阐述了多任务深度神经网络在 NLP 领域中的应用和优势，并探究了其在不同任务相关性下提高 NLP 性能的条件和作用。

    Feb, 2017

  • 有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

    通过使用新的 Transformer 架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他 BERT Large 方法在 GLUE 上相比，我们的八任务模型超过了其他 Adapter 方法 2.8％，而我们的 24 任务模型在使用 MTL 和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在 26 个 NLP 任务中竞争，并在一些测试和开发集上取得了最先进的结果。

    Sep, 2020

  • 自然语言处理中的多任务学习调查：关于任务相关性和训练方法

    本文对近期自然语言处理领域中的多任务学习方法进行了调查，总结了两种基于任务相关性的多任务训练方法：联合训练和多步训练。文章对自然语言处理领域中几个下游应用案例进行了说明，总结了任务关系，并讨论了未来的研究方向。

    Apr, 2022

  • 针对基于预训练 Transformer 的多任务主动学习

    本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

    Aug, 2022

  • 深度神经网络中的多任务学习概述

    本文概述了多任务学习在深度神经网络中的应用，介绍了常见的两种方法，并讨论了最新的进展，旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。

    Jun, 2017

  • 多任务学习的力量释放：传统、深度和预训练模型时代的综合调查

    多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及 ZSL 的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为 MTL 研究的机遇和潜在路径指明方向。

    Apr, 2024

  • 多任务训练如何影响 Transformer 的上下文能力？对功能类别的研究调查

    结合多任务学习和上下文学习，在大型语言模型中提出了有效的课程学习策略，使得模型能够高效地学习任务并对分布外的例子具有稳定的收敛性。

    Apr, 2024

  • 使用多任务学习还是中间微调进行预训练编码器转移学习的决策

    本文研究比较了三种自然语言处理中的迁移学习方法，即 STILTs、MTL 以及 MTL-ALL 的表现。结果显示，MTL-ALL 的性能不如其他两种方法，而在目标任务比较少的情况下，性能较好的是采用 pairwise MTL 方法。

    May, 2022