May, 2022

一次前向传播实现高效推理的多任务文本分类

PDF
TL;DR本研究旨在探讨如何使用多任务学习模型来提高实时 web 内容分类的效率。研究提出了一种可扩展的方法，通过仅一次前向传递即可在计算成本接近 O (1) 的情况下获得更强的性能。同时基于新闻题材和风格分类提供了多任务数据集，并通过实验证明所提出的方法优于 GLUE 基准和基于多任务 Transformer 模型的强基线。
multi-task learningindustrial applicationstransformer modelsscalable methodnews dataset
发现论文，激发创造
  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 前端文本处理中的多任务学习在 TTS 中的应用

    我们提出了一个多任务学习（MTL）模型，用于共同完成文本转语音（TTS）前端中常见的三个任务：文本规范化（TN），词性标注（POS）和同音异义词消歧（HD）。我们的框架利用了树状结构，其中包含一个主干，用于学习共享表示，以及分别的任务特定头。我们进一步结合了一个预训练的语言模型，利用其内置的词汇和语境知识，并研究了如何最好地利用其嵌入以最大程度地使我们的多任务模型受益。通过任务层面的消融实验，我们证明了我们在所有三个任务上训练得到的完整模型相比于只训练于个别或子组合任务的模型具有最强的整体性能，证实了我们的多任务学习框架的优势。最后，我们引入了一个新的 HD 数据集，其中包含多种上下文中平衡的句子，用于研究各种同音异义词及其发音。我们表明，将该数据集纳入训练中相比于仅使用常用但不均衡的预先存在的数据集，显著提高了 HD 性能。

    Jan, 2024

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

    机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。

    Aug, 2023

  • 有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

    通过使用新的 Transformer 架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他 BERT Large 方法在 GLUE 上相比，我们的八任务模型超过了其他 Adapter 方法 2.8％，而我们的 24 任务模型在使用 MTL 和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在 26 个 NLP 任务中竞争，并在一些测试和开发集上取得了最先进的结果。

    Sep, 2020

  • 序列标注的多任务学习：实证研究

    通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

    Aug, 2018

  • 多任务序列到序列学习

    本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

    Nov, 2015

  • 使用多任务学习还是中间微调进行预训练编码器转移学习的决策

    本文研究比较了三种自然语言处理中的迁移学习方法，即 STILTs、MTL 以及 MTL-ALL 的表现。结果显示，MTL-ALL 的性能不如其他两种方法，而在目标任务比较少的情况下，性能较好的是采用 pairwise MTL 方法。

    May, 2022

  • 深度神经网络中的多任务学习概述

    本文概述了多任务学习在深度神经网络中的应用，介绍了常见的两种方法，并讨论了最新的进展，旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。

    Jun, 2017