模型合并通过廉价地将个别任务特定模型合并成一个多任务模型。在本研究中，我们将过去的合并方法视为在合并之前利用不同概念的 “任务子空间” 进行模型匹配。我们将给定模型的任务子空间与其损失函数空间联系起来，并确立了模型合并方法可以看作是解线性方程组的形式化过程。我们探讨了使用共轭梯度方法寻找解决方案的可能性，并展示了共轭梯度方法可以超越解析解的性能，实现对其他难以求解线性系统的合并，并且可以灵活选择 “任务子空间” 的初始值和估计值。我们最终证明了我们的合并框架 “在任务子空间中匹配模型”（MaTS）在多任务和中间任务模型合并方面取得了最先进的结果。我们在此网址 https://URL 中发布了我们工作中使用的所有代码和检查点。

Dec, 2023

持续学习中保护之前学习到的知识，同时学习新任务的最终目标。为了减轻对先前知识的遗忘，我们提出了一种新的知识蒸馏技术，它考虑了神经网络的潜在 / 输出空间的流形结构，在学习新任务时将数据流形近似为一阶，并利用线性子空间来建模结构并保持神经网络的知识，从而降低持续学习中的灾难性遗忘。我们还讨论并展示了如何采用我们提出的方法来解决分类和分割问题。在实证上，我们观察到我们提出的方法在包括 Pascal VOC 和 Tiny-Imagenet 在内的几个具有挑战性的数据集上优于各种连续学习方法。此外，我们展示了如何将所提出的方法与现有的学习方法无缝结合，以提高它们的性能。本文的代码将在此 https URL 处提供。

Jul, 2023

本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

Oct, 2023

通过在不同的向量子空间中学习任务并在其中保持正交性来最小化干扰，提出了一种新的连续学习的方法，并证明了其对标准分类基准测试的优越性能。

Oct, 2020

我们提出了一种模型合并的算法，通过使用 TALL-masks 方法识别任务支持，在保留超过 99％的单任务准确性的同时，提高了现有模型合并方法的性能，并且我们的压缩方案将存储减少了 57Gb 到 8.2Gb，保留了 99.7％的原始性能。

May, 2024

本研究提出了一种基于深度学习的共同关注网络，用于多模态数据的子空间学习，能够提取共性信息和补充信息，并通过协同关注机制向最终用户提供预测的解释。通过引入分类器和交叉重构损失以优化潜在表示和加速收敛速度，最终在合成数据和实际数据集上进行了广泛评估。

Feb, 2021

该研究提出了一种新的重新参数化方法，通过将标准神经网络体系结构的卷积重新参数化成一个不可训练的共享部分（滤波器银行）和任务特定部分（调制器），从而使模型能够学习新任务而不会对现有任务的性能产生负面影响。该方法在 PASCAL-Context 和 NYUD 两个任务上达到了最先进的表现，并且证明了其比竞争对手具有更优秀的增量学习能力。

Jul, 2020

本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。

Mar, 2021

本研究提出了一种名为 InterroGate 的新型多任务学习架构，用于减轻任务干扰并优化推理计算效率。通过可学习的门控机制自动平衡共享和任务特定的表示，同时保持所有任务的性能。在广泛的实证评估中，我们使用卷积和基于 transformer 的骨干网络，在 CelebA、NYUD-v2 和 PASCAL-Context 上展示了最先进的多任务学习结果。

Feb, 2024

本文提出了一种将算法组件集成到端到端可训练的神经网络体系结构中的方法，通过条件语句、循环和索引来松弛离散条件，获得连续可微的算法。结果表明，所提出的连续松弛模型可以应用于多种任务。

Oct, 2021