多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

提出了一种基于手工特征（Data Maps）的新的数据驱动方法，用于解决多任务学习中的任务分组、负干扰和可扩展性等挑战。通过实验证明了该方法的有效性，即使在大量任务（最多 100 个任务）下也能取得显著的效果。

Jul, 2023

我们提出了一个基于预测器驱动的搜索方法，用于任务分组，旨在最小化多任务学习的训练次数，并展示了相较于现有基准方法，我们的方法在四个基准数据集上可以找到更好的任务分组。

Oct, 2023

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

传统的训练方法在多任务学习 (MTL) 的广度与单任务学习 (STL) 的深度平衡方面常常面临挑战。为了解决这个问题，我们引入了多任务到单任务 (MT2ST) 框架，一种创新的方法，可以将 MTL 的普遍性与 STL 的精确性相结合。我们的工作包括两个策略：' 减弱 ' 和' 切换 '。' 减弱 ' 策略将逐渐减小辅助任务的影响，而 ' 切换 ' 策略则涉及在训练过程中的特定时间点从多任务转向单任务。

Jun, 2024

多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及 ZSL 的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为 MTL 研究的机遇和潜在路径指明方向。

Apr, 2024

本文提出了一种解决多任务学习中负迁移问题的方法 —— 不对所有任务赋予相等的影响，而是根据任务损失和可信度进行加权处理，在两个数据集上的实验表明该方法能够有效减少负迁移，提高多任务学习的鲁棒性。

Dec, 2020

本文研究了多任务学习领域的一种新方法，使用名为 Sharpness-aware Minimization 的训练技术，以提高单任务学习的通用性和多任务学习的性能。实验表明，该方法在多个应用程序中都有很好的表现。

Nov, 2022

多任务学习中的任务平衡问题通过引入尺度不变的多任务学习方法 (SI-MTL) 得到缓解，SI-MTL 包含对任务损失进行的对数变换以保持尺度不变，并采用尺度不变的梯度平衡方法 (SI-G) 来规范化所有任务梯度，实验证明 SI-G 的有效性以及 SI-MTL 的最先进性能。

Aug, 2023