多任务学习中的任务平衡问题通过引入尺度不变的多任务学习方法 (SI-MTL) 得到缓解，SI-MTL 包含对任务损失进行的对数变换以保持尺度不变，并采用尺度不变的梯度平衡方法 (SI-G) 来规范化所有任务梯度，实验证明 SI-G 的有效性以及 SI-MTL 的最先进性能。
Aug, 2023
本文研究多任务学习中的单任务机器学习攻击，提出了基于平均相对损失变化的动态梯度平衡攻击方法（DGBA），并在两个流行的多任务学习基准测试库上进行了广泛评估。结果显示参数共享会提高任务准确性，但对提高模型健壮性有贡献。
May, 2023
通过公平资源分配的灵感，我们提出了一种新的多任务学习优化方法 FairGrad，通过最大化不同公平度量下任务间的损失减少来优化多任务学习，实现了理论上的收敛保证，并在监督学习中的各种多任务基准上取得了最先进的性能。
Feb, 2024
本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。
Mar, 2022
本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。
Jun, 2021
多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。
本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。
Jun, 2023
使用多任务学习的方法，通过考虑过度风险的任务平衡，来解决存在标签噪音的情况下，优化问题中任务权重难以调整的挑战。
本文介绍了多任务学习中的负迁移问题，提出了一种通过指数移动平均进行损失平衡的技术，以达到深度学习模型的高效训练，实现了与当前最佳方法相媲美的效果。
Nov, 2022
本文提出随机加权方法（包括随机损失权重和随机梯度权重），并进行了收敛性分析和实证评估，结果表明随机加权方法具有可比拟的性能和更好的泛化能力，是多任务学习的重要基线方法之一。
Nov, 2021