本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

本文介绍一种简单但通用的方法，通过投影任务的梯度到任何具有冲突梯度的其他任务的梯度的法线平面上，解决了多任务学习中的梯度干扰问题。在多项测试中，该方法显著提高了效率和性能，而且适用于不同的模型架构。

Jan, 2020

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了MTL作为一阶方法可以代替计算代价高的二阶方法——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

本文介绍了一种新的多任务学习优化过程 Nash-MTL，提出了一种将多个任务之间的梯度组合看作为协商议价游戏的方法，并将合理的 Nash 议价解作为多任务联合优化的原则方法。在实验中，我们显示 Nash-MTL 取得了各领域多个多任务学习基准测试的最佳结果。

Feb, 2022

采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Apr, 2022

多任务学习中的任务平衡问题通过引入尺度不变的多任务学习方法(SI-MTL)得到缓解，SI-MTL包含对任务损失进行的对数变换以保持尺度不变，并采用尺度不变的梯度平衡方法(SI-G)来规范化所有任务梯度，实验证明SI-G的有效性以及SI-MTL的最先进性能。

Aug, 2023

通过内部循环正则化机制，共享梯度信息并根据元学习参数进行贡献缩放，实现了渐进共享的元学习，从而有效地加速元训练过程，提高内部循环学习速率。

Dec, 2023

使用贝叶斯推断的梯度聚合方法能够考虑梯度不确定性，提高多任务学习的性能表现。

Feb, 2024

多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对MTL的发展进行了全面概述，并将MTL技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了MTL从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及ZSL的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对MTL从1997年到2023年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为MTL研究的机遇和潜在路径指明方向。

Apr, 2024

本研究解决了多任务学习中任务梯度冲突导致的模型训练性能下降问题。我们提出了一种新的方法，将梯度投影算法与任务优先级调整结合起来，通过概率分布来决定在冲突情况下哪些任务梯度被投影。这一方法在多个数据集上的实验结果显示，与传统的梯度投影相比，能够显著提升多任务的性能指标。

Sep, 2024