何时多任务学习有效？在不同数据条件下的语义序列预测

ACLDec, 2016

何时多任务学习有效？在不同数据条件下的语义序列预测

When is multitask learning effective? Semantic sequence prediction under varying data conditions

Héctor Martínez Alonso, Barbara Plank

TL;DR本文介绍了对多任务学习的一系列评估，并且发现仅有其中 1 个语义序列标注任务受到显著的改善。同时作者还探讨了辅助任务和数据依赖条件与多任务学习效果的关系，结果发现，在取得成功时，具有紧凑和更均匀标签分布的辅助任务是更好的选择。

Abstract

multitask learning has been applied successfully to a range of tasks, mostly morphosyntactic. However, little is known on when MTL works and whether there are data characteristics that help to determine its success. In this paper we evaluate a range of →

multitask learning semantic sequence labeling data-dependent conditions auxiliary tasks label distributions

发现论文，激发创造

序列标注的多任务学习：实证研究

通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

Aug, 2018

多任务序列到序列学习

本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

Nov, 2015

一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型，使用了五个数据集 (Geoquery，NLMaps，TOP，Overnight，AMR) 进行实验，我们发现在不增加总参数数量的情况下，全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好，同时也提供了更好的组合推广性，我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。

Jun, 2021

深度神经网络中识别有益的多任务学习任务关系

本文阐述了多任务深度神经网络在 NLP 领域中的应用和优势，并探究了其在不同任务相关性下提高 NLP 性能的条件和作用。

Feb, 2017

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

深度多任务学习和辅助任务学习简述

本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

Jul, 2020

自然语言处理中的多任务学习：概述

本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。