Apr, 2024

多任务学习的力量释放：传统、深度和预训练模型时代的综合调查

PDF
TL;DR多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及 ZSL 的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为 MTL 研究的机遇和潜在路径指明方向。
multitask learningmtlmodel architecturecross-domain generalizabilitypretrained foundation models
发现论文，激发创造
  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 视觉场景理解的多任务学习

    研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

    Mar, 2022

  • 深度神经网络中的多任务学习概述

    本文概述了多任务学习在深度神经网络中的应用，介绍了常见的两种方法，并讨论了最新的进展，旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。

    Jun, 2017

  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 密集预测任务的多任务学习：综述

    本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

    Apr, 2020

  • 自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研

    机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。

    Aug, 2023