Jul, 2020
2020 年代自然语言处理的多任务学习：我们将走向何方？
Multi-task learning for natural language processing in the 2020s: where are we going?
Joseph Worsham, Jugal Kalita
TL;DR本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。
Abstract
multi-task learning (MTL) significantly pre-dates the deep learning era, and
it has seen a resurgence in the past few years as researchers have been
applying MTL to →
发现论文，激发创造
深度神经网络中的多任务学习概述
本文概述了多任务学习在深度神经网络中的应用，介绍了常见的两种方法，并讨论了最新的进展，旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。
Jun, 2017
自然语言处理中使用基于 Transformer 的多任务学习的挑战与机遇：一项调研
机器学习模型处理自然语言处理（NLP）中的多任务学习（MTL）及持续学习（CL）的挑战、机会和应用，以及对基于 Transformer 的 MTL 架构的系统分析。
Aug, 2023
多任务学习的力量释放：传统、深度和预训练模型时代的综合调查
多任务学习（MTL）是一个灵活且有效的学习范式，结合了任务特定的和共享的信息，同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势，对 MTL 的发展进行了全面概述，并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法，探讨了任务提示和不可知训练以及 ZSL 的概念，释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述，同时探讨当前挑战和未来可能性，为 MTL 研究的机遇和潜在路径指明方向。
Apr, 2024
多语言神经机器翻译的多任务学习
提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。
Oct, 2020
自然语言处理中的多任务学习调查：关于任务相关性和训练方法
本文对近期自然语言处理领域中的多任务学习方法进行了调查，总结了两种基于任务相关性的多任务训练方法：联合训练和多步训练。文章对自然语言处理领域中几个下游应用案例进行了说明，总结了任务关系，并讨论了未来的研究方向。
Apr, 2022