本文提出了一种新的梯度正则化方法，旨在通过强制近似正交梯度来减少任务干扰，评估结果表明该方法在多任务学习中取得了竞争性结果。

Dec, 2019

本文研究了多任务学习过程中由于梯度冲突导致的性能下降问题，提出了一种新的方法，在源头处减少了梯度冲突，并将高冲突得分的共享网络层替换为任务特定层，最终实现了更好的性能表现。

Feb, 2023

采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

Apr, 2022

本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

本文提出了一种多目标优化的多任务学习方法，通过迭代传递模型参数在优化过程中解决存在冲突的多个任务，并在图像分类、场景理解和多目标回归问题中进行了实验验证，结果显示该方法显著提升了发现满足 Pareto 优化的模型集合的状态，尤其在大规模图像数据集上的实验中，比现有技术取得了近两倍的超体积收敛速度。

Mar, 2024

通过使用梯度手术来缓解多域数据训练时出现的梯度冲突，进而提高深度学习模型在域偏移场景下的泛化能力。在三个多域数据集上的图像分类任务中验证了所提出的梯度一致性策略的价值。

Aug, 2021

本篇文章提出了 Conflict-Averse Gradient descent (CAGrad) 算法，用于优化多任务学习。CAGrad 算法可以自动平衡各项指标的目标，同时还保证可以收敛到平均损失的最小值，并在多任务学习和强化学习任务中取得了优秀的性能。

Oct, 2021

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

本论文提出了一种名为 DiGrad 的新方法，采用微分策略梯度来实现在单个 actor-critic 神经网络中学习多个共享动作的多个任务，在复杂的机器人系统中实现高效的多任务学习，同时在连续动作空间中优于相关方法。

Feb, 2018