Feb, 2024

InterroGate: 学习共享、专精和修剪多任务学习的表示

PDF
TL;DR本研究提出了一种名为 InterroGate 的新型多任务学习架构，用于减轻任务干扰并优化推理计算效率。通过可学习的门控机制自动平衡共享和任务特定的表示，同时保持所有任务的性能。在广泛的实证评估中，我们使用卷积和基于 transformer 的骨干网络，在 CelebA、NYUD-v2 和 PASCAL-Context 上展示了最先进的多任务学习结果。
multi-task learningtask interferencegating mechanismparameter sharinginference computational efficiency
发现论文，激发创造
  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 通过非可学习的基元进行显式任务路由来缓解多任务学习中的任务干扰

    ETR-NLP 通过非可学习的原始提取多样的任务无关特征并将其重新组合到一个共享分支和各个任务的显式分支中，以减少任务干扰，实验证明 ETR-NLP 在所有数据集上用更少的可学习参数和类似的操作数（FLOPs）显著优于最先进的基线模型。

    Aug, 2023

  • 稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

    使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

    Apr, 2022

  • 密集预测任务的多任务学习：综述

    本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

    Apr, 2020

  • 高效可控多任务架构

    我们提出了一种多任务模型，使得用户可以在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练。这使得能够为动态变化的用户需求优化性能，而无需为各种情况训练和保存模型造成沉重的计算开销。

    Aug, 2023

  • 有条件自适应多任务学习：减少参数和数据来提高自然语言处理的迁移学习能力

    通过使用新的 Transformer 架构，包括一种新的条件注意机制以及一组任务条件模块，旨在促进权重共享，我们实现了更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。同时，我们使用了新的多任务数据采样策略来减少任务之间数据不平衡的负面影响。与其他 BERT Large 方法在 GLUE 上相比，我们的八任务模型超过了其他 Adapter 方法 2.8％，而我们的 24 任务模型在使用 MTL 和单任务微调的模型上表现优异。我们还展示了我们的单个多任务模型方法的较大变体在 26 个 NLP 任务中竞争，并在一些测试和开发集上取得了最先进的结果。

    Sep, 2020

  • 任务路由的多任务学习

    本文提出一种名为任务路由的多任务学习方法，应用于卷积层激活上的条件特征转换，实现更高效的多任务训练，在单个模型中成功适配了数百个分类任务，并在 5 个数据集上验证了其性能。

    Mar, 2019

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 具有类别增量对比学习的任务感知异步多任务模型，用于手术场景理解

    提出了一种多任务学习模型，该模型应用于手术报告生成和工具 - 组织相互作用预测，以应对不同手术之间的领域偏移问题，在目标领域处理新奇工具出现，达成了与单任务模型相媲美的手术场景理解性能。

    Nov, 2022

  • 可控的帕累托多任务学习

    本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

    Oct, 2020