传统的训练方法在多任务学习 (MTL) 的广度与单任务学习 (STL) 的深度平衡方面常常面临挑战。为了解决这个问题，我们引入了多任务到单任务 (MT2ST) 框架，一种创新的方法，可以将 MTL 的普遍性与 STL 的精确性相结合。我们的工作包括两个策略：' 减弱 ' 和' 切换 '。' 减弱 ' 策略将逐渐减小辅助任务的影响，而 ' 切换 ' 策略则涉及在训练过程中的特定时间点从多任务转向单任务。

Jun, 2024

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及 ZSL 的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为 MTL 研究的机遇和潜在路径指明方向。

Apr, 2024

通过多任务学习，结合 transformer 编码器，研究了多个 NLP 任务，发现多任务学习的注意力头之间相互干扰，提出干细胞假说解释在某些任务上具有天赋的注意力头不能被同时训练。同时，提出了新的无参考探针来验证该假说，通过标签分析展示了注意力头在五个任务之间如何被转换。

Sep, 2021

通过提出多任务学习技术和自适应上采样方法来减少多领域推荐中的受欢迎度偏差，提出的方法通过上采样来丰富训练样例，并通过利用多任务学习来学习基于地理位置的用户嵌入，实验证明了方法在多个地域上相对于不采用提出的技术的基准模型的有效性，显著改进了 PR-AUC 指标高达 65.27%，并通过案例研究展示了方法在减轻全局物品的受欢迎度偏差方面的优势。

Sep, 2023

通过利用多任务学习来改进 LinkedIn 核心内容推荐模型的语义理解能力，本研究提出了一种方法。我们使用来自不同语义标注任务的数据，通过多任务对比学习，对预训练的基于 Transformer 的 LLM 进行微调。我们观察到正向转移，相比于独立训练每个任务，在所有任务上都表现出更好的性能。我们的模型在零 - shot 学习上优于基准并提供了改进的多语言支持，突显了其广泛应用的潜力。我们模型产生的专门内容嵌入优于 OpenAI 在 Linkedin 数据集和任务上提供的通用嵌入。该工作为 LinkedIn 的垂直团队提供了一个健壮的基础，可以根据他们的特定应用定制和微调 LLM。我们的工作为该领域提供了见解和最佳实践。

May, 2024

我们提出了一个基于预测器驱动的搜索方法，用于任务分组，旨在最小化多任务学习的训练次数，并展示了相较于现有基准方法，我们的方法在四个基准数据集上可以找到更好的任务分组。

Oct, 2023

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

Feb, 2022