端到端注意力多任务学习

CVPRMar, 2018

End-to-End Multi-Task Learning with Attention

Shikun Liu, Edward Johns, Andrew J. Davison

TL;DR本文提出了一种新的多任务学习架构，其中包含了任务特定的特征级别的注意力学习，称之为 Multi-Task Attention Network (MTAN)，它可以在任何前馈神经网络的基础上进行端到端训练，本文在图像分类任务和图像到图像预测上进行了验证，发现相对于现有方法，该架构达到了最先进的水平，而且对多任务损失函数的各种加权方案也不敏感。

Abstract

We propose a novel multi-task learning architecture, which allows learning of task-specific feature-level attention. Our design, the Multi-Task Attention Network (MTAN), consists of a single shared network contai

multi-task learning feature-level attention soft-attention module end-to-end training state-of-the-art

发现论文，激发创造

跨任务注意力网络：改进医学图像应用中的多任务学习

本研究提出了一种新颖的基于注意力的多任务学习框架，通过跨任务的交互作用更好地利用了医学影像任务中的跨任务相互作用，从细粒度级别到图像级别的预测，有效提高了医学影像任务的准确性。

Sep, 2023

MulT: 一种端到端的多任务学习变压器

我们开发了一种称为 MulT 的端到端多任务学习 Transformer 框架，用于同时学习多个高级视觉任务，包括深度估计、语义分割、重着色、表面法线估计、2D 关键点检测和边缘检测。我们的框架基于 Swin transformer 模型，利用任务特定的基于 Transformer 的解码器头为每个视觉任务进行预测，并采用共享的注意机制模型来建模跨任务的依赖关系。我们在多个多任务基准测试中评估了我们的模型，显示出我们的 MulT 框架优于最先进的多任务卷积神经网络模型和所有各自的单任务 Transformer 模型。我们的实验进一步突出了共享所有任务的注意力的优点，并证明我们的 MulT 模型具有鲁棒性和很好的泛化性能。

May, 2022

EMA-Net：用于稠密场景预测的高效多任务亲和学习

通过引入 Efficient Multitask Affinity Learning Network (EMA-Net)，本文提出了一种轻量级框架用于增强多任务网络的任务改进能力，其关键创新点在于使用 Cross-Task Affinity Learning (CTAL) 模块来有效捕捉本地、全局和跨任务交互，并且能够进行信息损失最小化的参数高效分组卷积操作。实验结果表明，在卷积神经网络的解码器重点模型中，我们取得了最先进的多任务学习性能，同时使用了大大较少的模型参数。

Jan, 2024

密集型多任务学习的跨任务注意机制

该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

Jun, 2022

自适应激活网络和功能正则化用于高效灵活深度多任务学习

本文提出了一种新的深度学习模型 Task Adaptive Activation Network (TAAN), 它可以自动学习适用于多任务学习的最佳网络架构，通过两种功能规范化方法，证明了 TAAN 和规范化方法的性能提高。

Nov, 2019

多模式统一关注网络用于视觉语言交互

本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

Aug, 2019

MTL-NAS: 面向通用多任务学习的非特定任务神经架构搜索

本文提出了将神经架构搜索（NAS）应用于通用多任务学习（GP-MTL）中的方法。我们将 GP-MTL 网络分解成单任务骨干和层级分层特征共享 / 融合，设计了一个新颖的通用任务无关搜索空间，并提出了一种新颖的单次梯度基于搜索算法。通过对体系结构权重进行最小熵正则化，使体系结构权重收敛到近离散值，从而实现单个模型，达到可直接用于评估且不必从头开始培训。

Mar, 2020

潜在多任务架构学习

本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

May, 2017

一种用于多任务学习的文本分类泛循环神经网络架构

通过引入四种递归神经层实现多任务结构信息融合，对多个相关任务间的复杂互动进行建模，从而在文本分类任务中显著提升相关任务的性能。

Jul, 2017

深度多模态神经架构搜索

本文提出了一种深度多模态神经网络架构搜索（MMnas）框架，通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

Apr, 2020