本文针对多任务学习问题，提出一种学习任务和输入特征之间关系的联合预测方法，通过优化任务协方差和特征协方差矩阵，提出了一种高效的坐标轮流最小化算法，实验结果表明该方法比同类方法快得多，同时提供了一种非线性扩展方法，其泛化能力比现有方法更好。

Feb, 2017

本研究提出了一种使用梯度规范化的算法（GradNorm），在多任务网络的训练中能够自动平衡不同任务的训练误差，从而避免过拟合现象，提高准确率和性能，并且能够适用于各种网络结构、回归和分类任务，证明了梯度操作是解锁多任务学习潜力的关键之一。

Nov, 2017

本文介绍一种简单但通用的方法，通过投影任务的梯度到任何具有冲突梯度的其他任务的梯度的法线平面上，解决了多任务学习中的梯度干扰问题。在多项测试中，该方法显著提高了效率和性能，而且适用于不同的模型架构。

Jan, 2020

本篇文章提出了Conflict-Averse Gradient descent (CAGrad)算法，用于优化多任务学习。CAGrad算法可以自动平衡各项指标的目标，同时还保证可以收敛到平均损失的最小值，并在多任务学习和强化学习任务中取得了优秀的性能。

Oct, 2021

本文提出随机加权方法（包括随机损失权重和随机梯度权重），并进行了收敛性分析和实证评估，结果表明随机加权方法具有可比拟的性能和更好的泛化能力，是多任务学习的重要基线方法之一。

Nov, 2021

采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Apr, 2022

多任务学习中的任务平衡问题通过引入尺度不变的多任务学习方法(SI-MTL)得到缓解，SI-MTL包含对任务损失进行的对数变换以保持尺度不变，并采用尺度不变的梯度平衡方法(SI-G)来规范化所有任务梯度，实验证明SI-G的有效性以及SI-MTL的最先进性能。

Aug, 2023

本研究提出一种新方法来进行多任务学习中的任务分组，弥补了现有方法的关键理论和实践限制。与以前的研究不同，我们的方法提供了一个更具理论基础的方法，不依赖于构建转移增益的限制性假设。同时，我们还提出了一种灵活的数学规划方法，可以适应广泛的资源约束，从而增强了其多样性。在计算机视觉数据集、组合优化基准和时间序列任务等多个领域的实验结果表明，我们的方法优于广泛的基线方法，验证了其在多任务学习中的有效性和普适性。

Feb, 2024

通过连接的强度，基于多任务学习提出了一种基于连接强度的优化方法，包括任务优先级的学习和梯度修改两个阶段，从而在多个任务中找到新的帕累托最优解，大大提升了多任务性能。

Jun, 2024

本研究解决了多任务学习中任务损失平衡的挑战，提出了一种新颖的任务加权方法，基于不确定性加权技术，计算出最佳的不确定性加权。这种方法在多个数据集和架构上的基准测试中表现优异，提供了一种高性价比的替代方案，有望提升多任务学习的性能和效率。

Aug, 2024