Jul, 2020

HyperGrid: 具有网格可分解超投影的高效多任务Transformer

HTML
PDF
TL;DR本文提出了一种名为HyperGrid的新型多任务学习方法，其基于一个可分解的超网络，通过学习全局（任务无关）状态和本地（任务特异性）状态之间的相互作用和组成来将加权矩阵的不同部分专门用于不同的任务。实验结果表明，使用这种方法可以在GLUE和SuperGLUE基准测试中实现T5模型的强大性能。
发现论文，激发创造
  • MTI-Net: 多尺度任务交互网络用于多任务学习

    本文介绍了一种新架构MTI-Net，它能够显式地模拟每个尺度的任务交互，并通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度，并通过特征聚合单元汇总所有尺度的任务特征以产生最终的任务预测。该架构通过两个多任务密集标记数据集上的广泛实验证明，相比以前的工作，我们的多任务模型实现了多任务学习的全部潜力，即较小的内存占用，减少计算次数，并与单任务学习相比表现更好。

    Jan, 2020

  • 2020年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习(MTL)的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

    通过使用新的Transformer架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他BERT Large方法在GLUE上相比，我们的八任务模型超过了其他Adapter方法2.8％，而我们的24任务模型在使用MTL和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在26个NLP任务中竞争，并在一些测试和开发集上取得了最先进的结果。

    Sep, 2020

  • 共享超网络的Transformer多任务微调的参数高效方法

    本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的GLUE基准测试中实现了多任务学习的改进性能。

    Jun, 2021

  • 自然语言处理中的多任务学习: 概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • HyperPrompt：基于提示的Transformer任务调节

    HyperPrompt是一种基于HyperNetwork的结构，通过生成超级提示来为自注意力模型提供任务条件，使得在任务之间可以灵活地共享信息和实现参数和计算效率，从而在GLUE和SuperGLUE的自然语言理解基准测试中表现出优异的性能。

    Mar, 2022

  • 超级解码器: 用于多任务自然语言处理的特定实例解码器

    该研究调查了针对NLP的输入条件化超网络用于多任务处理，生成一个基于编码器的输出条件化超网络对解码器的参数高效自适应。该方法应用于序列分类任务、问答和摘要等方面，发现这优于以前的参数优化和基于模型微调的方法。

    Mar, 2022

  • Hyper-X: 一个统一的超网络，用于多任务多语种转移

    本文提出 Hyper-X 模型，它将多任务和多语言学习相结合，并通过适应性生成适配器模块的权重，通过学习结合任务和语言特定的知识，实现对未出现的语言和任务-语言组合的零样本迁移，并在新语言的少样本情况下始终产生强大的结果。

    May, 2022

  • 超调：大型语言模型的自适应调节方法，无需借助反向传播算法

    本文提出了HyperTuning方法用于模型适应，可以生成特定任务的参数并在大量多样化语言任务上进行多任务微调。通过在P3、MetaICL和Super-NaturalInstructions数据集上的表现，证明该方法可以有效地为新任务生成参数，并改善性能。

    Nov, 2022

  • HyperLoader: 将基于Hypernetwork的LoRA和适配器层集成到多任务Transformer中，用于序列标注

    我们介绍了HyperLoader，一种简单的方法，它在多任务设置中结合了不同的参数高效调优方法。通过使用超网络根据任务、Transformer层以及层内位置生成这些模块的权重，我们的模型实现了这一目标。我们的方法通过在生成的权重中封装任务特定知识，综合了多任务学习的优点，同时通过结合不同的参数高效方法以超过完全调优的表现。我们提供实验证据证明HyperLoader在大多数数据集中优于以前的方法，并在高资源和低资源场景中获得最佳的任务平均性能。

    Jul, 2024