将各种在不同任务上训练的基于 Transformer 的专用模型合并为一个统一的模型，可以同时执行所有任务，通过识别并分离共享知识和任务特定知识，并动态地集成它们，可以在很大程度上减轻参数干扰问题。

Feb, 2024

我们在这篇论文中讨论了使用单个模型权重来合并多个模型以获得多任务能力的方法，并提出了 Elect, Mask & Rescale-Merging (EMR-Merging) 的方式，通过生成轻量级的任务特定调节器来对齐统一模型和每个特定模型之间的方向和幅度，无需调整或训练即可展现出令人瞩目的性能。

May, 2024

本文研究了可视识别算法中增量学习的问题，并探讨了一种基于二进制掩码的深度神经网络多任务学习方法，试验结果表明本方法能够超越传统的微调策略并取得最新公开数据集中的最高水平。

May, 2018

提出了一种基于低维共享的 CONcrete 子空间学习方法来解决合并模型中的潜在冲突问题，并通过元学习框架以及梯度优化技术来找到 CONcrete 子空间掩码。通过在视觉和语言领域进行广泛实验，实验结果验证了方法的有效性。

Dec, 2023

本篇论文探讨了通过合并不同 MuJoCo 运动问题的决策 Transformer 子集，形成多任务模型（无集中式训练），从而更加灵活地创造通用策略的初步方法，同时提出了合并政策的更优结果可能性，并建议使用共同的预先训练初始化，以及在问题特定微调期间共同训练共享辅助任务，以帮助实现通用智能体的民主化和分布式过程。

Mar, 2023

模型合并通过廉价地将个别任务特定模型合并成一个多任务模型。在本研究中，我们将过去的合并方法视为在合并之前利用不同概念的 “任务子空间” 进行模型匹配。我们将给定模型的任务子空间与其损失函数空间联系起来，并确立了模型合并方法可以看作是解线性方程组的形式化过程。我们探讨了使用共轭梯度方法寻找解决方案的可能性，并展示了共轭梯度方法可以超越解析解的性能，实现对其他难以求解线性系统的合并，并且可以灵活选择 “任务子空间” 的初始值和估计值。我们最终证明了我们的合并框架 “在任务子空间中匹配模型”（MaTS）在多任务和中间任务模型合并方面取得了最先进的结果。我们在此网址 https://URL 中发布了我们工作中使用的所有代码和检查点。

Dec, 2023

本文提出了一个跨模型压缩深度神经网络的多任务压缩框架（MTZ），采用一种层次神经元共享和更新方案进行交叉模型压缩，通过 40％参数共享实现了轻微的精度损失。

May, 2018

多任务密集预测的研究中，我们通过引入 Segment Anything Model (SAM) 和基于高斯分布的区域表示，解决了部分标注数据、局部对齐和跨任务关系等挑战，提高了在部分监督多任务密集预测场景中的性能。

Mar, 2024

本研究提出了一种新颖的多任务语言模型压缩方法，使用剪枝方法，通过使用属性方法确定哪些神经元对于执行特定任务是必不可少的，然后对于不重要的神经元进行任务特定的修剪，进一步将该方法扩展到适用于低资源和无监督的场景。通过实验可以发现，该压缩方法不需要训练，使用少量计算资源，且不会破坏语言模型的预先训练的知识，且可以显着优于基线修剪方法，并且在未见过领域的情况下仍然保持性能。

May, 2022

本文提出了 “ZipIt！” 方法，通过特征合并和部分合并层实现两个架构相同的模型的合并，使得合并不同领域训练的模型变得更为可行。

May, 2023