本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。

Oct, 2023

通过引入 Efficient Multitask Affinity Learning Network (EMA-Net)，本文提出了一种轻量级框架用于增强多任务网络的任务改进能力，其关键创新点在于使用 Cross-Task Affinity Learning (CTAL) 模块来有效捕捉本地、全局和跨任务交互，并且能够进行信息损失最小化的参数高效分组卷积操作。实验结果表明，在卷积神经网络的解码器重点模型中，我们取得了最先进的多任务学习性能，同时使用了大大较少的模型参数。

Jan, 2024

本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

May, 2017

本文提出了一种通过计算任务在某个参数上的累积更新量来度量参数在各个任务之间的占用程度的度量标准，并以此为基础提出了一种名为 AdaTask 的任务自适应学习率方法，该方法可以有效平衡多任务学习中共享层中的参数，对计算机视觉和推荐系统 MTL 数据集进行的全面实验表明，AdaTask 显著提高了受到支配的任务的性能，实现了 SOTA 平均任务性能。

Nov, 2022

本文提出了一种新的深度学习模型 Task Adaptive Activation Network (TAAN), 它可以自动学习适用于多任务学习的最佳网络架构，通过两种功能规范化方法，证明了 TAAN 和规范化方法的性能提高。

Nov, 2019

我们提出了一种多任务模型，使得用户可以在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练。这使得能够为动态变化的用户需求优化性能，而无需为各种情况训练和保存模型造成沉重的计算开销。

Aug, 2023

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

本文提出了一种基于 LiDAR 传感器和多任务网络的感知系统，用于自主驾驶中的目标检测和道路识别，取得了良好的实验效果和在线定位能力。

Mar, 2021

本文提出了一种自适应多模态学习框架 AdaMML，它使用多模态策略网络在视频识别过程中根据输入选择最佳模态，有效地提高准确性和效率，实验结果表明该方法相比传统基线方法能减少 35%-55% 的计算量，且在准确率方面也取得了一致的提升。

May, 2021

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023